OpenAI-ի Jalapeño չիպը ինֆերենսի թեստերում գերազանցում է Nvidia Blackwell-ին

OpenAI-ը ստեղծել է սեփական ինֆերենս չիպը, և առաջին բենչմարքերը ցույց են տալիս, որ այն կարող է մրցել Nvidia-ի, AMD-ի և Google-ի ապարատային լուծումների հետ։ Օգոստոսի 25-ին հրապարակված արդյունքները ստացվել են SemiAnalysis-ի InferenceX փաթեթով, OpenAI-ի լաբորատորիաներում՝ ընկերության ինժեներների հետ միասին։

Ինչ է Jalapeño-ն

Jalapeño ծածկանունով չիպը ներկայացվել է Hot Chips համաժողովում և մշակվում է Broadcom-ի հետ գործընկերությամբ։ Դիզայնի աշխատանքները սկսվել են 2024 թվականի կեսերին, և առաջին աշխատանքի ընդունումից մինչև արտադրական թեյփ-աութ անցել է մոտ 16 ամիս. CoWoS թեյփ-աութը ավարտվել է 2025 թվականի նոյեմբերին։ Հրապարակված արդյունքները հավաքվել են A0 սթեփինգով՝ ծրագրի մոտավորապես իններորդ ամսին. B0 սթեփինգն արդեն գործարանում է և մեկ վատի հաշվով արտադրողականությունը բարելավում է մոտ 25 տոկոսով։

Արտադրողականությունը մեկ վատի հաշվով

Գլխավոր ցուցանիշը մեկ մեգավատի հաշվով թոքենների թողունակությունն է՝ ներառյալ ենթակառուցվածքի բոլոր ծախսերը։ Այս ցուցանիշով Jalapeño-ն գրեթե բոլոր փորձարկված սցենարներում գերազանցում է Blackwell-ին, ընդ որում միայն մեկ թոքենի կանխատեսմամբ՝ առանց սպեկուլյատիվ ապակոդավորման և առանց prefill-decode բաժանման, մինչդեռ համեմատվող համակարգերը աշխատում էին իրենց լավագույն կազմաձևերով՝ բազմաթոքեն կանխատեսմամբ։ Ցածր ծանրաբեռնվածության դեպքում չիպը DeepSeek R1-ի վրա մեկ օգտատիրոջ համար գերազանցել է վայրկյանում 700 թոքենը, իսկ Kimi K2.5-ի վրա մոտեցել է 700 թոքեն/վրկ-ին և 100 թոքեն/վրկ մակարդակում ավելի քան ինը անգամ արագ էր հաջորդ լավագույն չիպից։ GSM8k գնահատումները եղել են Nvidia-ի չիպերի մակարդակին։

Ընդհանուր չիպ և 2048 արագացուցիչների մասշտաբ

Այն պատկերացման հակառակ, որ նման չիպերը հարմարեցված են միայն սեփականատիրոջ մոդելներին, SemiAnalysis-ը Jalapeño-ն նկարագրում է որպես ընդհանուր ինֆերենս արագացուցիչ. այն աշխատեցրել է մի քանի բաց մոդել և InferenceX փաթեթը, իսկ OpenAI-ը նույնիսկ ցուցադրել է Doom-ը չիպի վրա, որը տեղափոխվել է Codex-ի հուշումներով։ Չիպն օգտագործում է reticle-ի չափի հաշվողական բյուրեղ TSMC-ի N3P գործընթացով, N3E-ով պատրաստված I/O չիպլետ, PCIe Gen 5 կապեր x86 հոսթ-պրոցեսորի հետ և HBM4 հիշողություն՝ մոտ 15.4ՏԲ/վրկ թողունակությամբ յուրաքանչյուր փաթեթի համար։ Մեկ դարակում 128 չիպ կա՝ միացված 102.4Տբ/վրկ Tomahawk 6 կոմուտատորներով, իսկ 16 այդպիսի դարակ՝ 2048 արագացուցիչ, կազմում է մեկ մասշտաբավորման տիրույթ։

Սահմանափակումներ և հաջորդ քայլեր

Հրապարակումը նշում է նաև սահմանափակումները. բոլոր թվերը տրամադրել է OpenAI-ը, տեղում ստուգված աշխատանքները ընդգրկել են 8k1k ծանրաբեռնվածություն, իսկ AgentX-ի արդյունքներ դեռ չկան։ Հեղինակների կարծիքով՝ Jalapeño-ն Blackwell-ի հետ համեմատելը լիովին արդար չէ, քանի որ Jalapeño-ն օգտագործում է HBM4՝ նույն սերունդը, ինչ Rubin-ը։ Թոքենի արժեքով Jalapeño-ն և Vera Rubin-ը մոտավորապես հավասար են, սակայն Jalapeño-ի ցուցանիշները ստացվել են առանց սպեկուլյատիվ ապակոդավորման, որը սովորաբար մի քանի անգամ նվազեցնում է թոքենի արժեքը։ Արտադրությունը 2027 թվականի ընթացքում աստիճանաբար կավելանա, թողարկման հիմնական մասը սպասվում է հաջորդ տարվա վերջին, իսկ հաջորդ նպատակը 100 մեգավատ հզորության տեղակայումն է։