Ինչպես են NVIDIA-ի GPU-ները արագացնում OpenAI-ի GPT-6 Astra Ultrafast-ը

NVIDIA-ի բլոգի տվյալներով, GPT-6 Astra Ultrafast-ը աշխատում է Blackwell GPU-ների վրա և արդեն հասանելի է OpenAI-ի API-ում, իսկ ֆունկցիային մուտք ունեն նաև ChatGPT Work-ի և Codex-ի լիազորված օգտատերերը։

Ultrafast-ը տոկենները Astra Standard ռեժիմի համեմատ 8 անգամ ավելի արագ է գեներացնում։ Արագացումը հիմնված է ինֆերենսի օպտիմիզացիաների վրա, որոնք OpenAI-ի մոդելները ստեղծել են՝ օգտագործելով NVIDIA-ի Blackwell ճարտարագիտության հնարավորությունները։

Ինչ է տալիս արագացումն ագենտային ցիկլերում

Բլոգի տվյալներով, տոկենների ավելի արագ գեներացումը կրճատում է կոդի ագենտների edit-test-debug ցիկլը, նվազեցնում է գործիքների կանչերի միջև պատասխան գեներացման վրա ծախսված ժամանակը և ինտերակտիվ հավելվածները ավելի արագ են արձագանում։

Ավելի արագ պատասխանը հատուկ նշանակություն ունի այն դեպքում, երբ այն կրկնվում է աշխատանքային հոսքում՝ ագենտը գրում է կոդ, օգտագործում գործիք, ստուգում արդյունքը և որոշում՝ ինչ անել հաջորդը։ Հենց այդպիսի ժամանակային զգայուն ցիկլերի համար է նախատեսված Ultrafast-ը, իսկ NVIDIA-ի AI ենթակառուցվածքը օգնում է OpenAI-ին՝ մշակողներին տրամադրել անհրաժեշտ ժամանակին համապատասխան մոդելի պատասխաններ։

«NVIDIA-ի լրջագույն ներդրումը գործիքներում և փաստաթղթավորման մեջ մեզ հնարավորություն է տալիս, որ մեր մոդելները լավագույնս աշխատեն Blackwell-ի և Rubin-ի GPU-ների վրա ծրագրավորման մեջ», — ասաց OpenAI-ի ինֆերենսի ղեկավար Philippe Tillet-ը։ «Astra-ի այս գիտելիքի բարձրարդյունական միջուկների վերածումը հնարավոր է դարձնի, ինչը NVIDIA-ի սարքային ապահովումը գրավիչ է դարձնում լատենտության, թողունակության և ծախսերի ամբողջ դիապազոնում։ Astra Ultrafast-ով սա նշանակում է, որ մոդելը ավելի արագ է պատասխանում, երբ ագենտները գրում են կոդ, օգտագործում գործիքներ և աշխատում դժվար խնդիրների վրա»։

Աշխատանքը դեպի տեղակայումը շարունակվում է

NVIDIA-ի բլոգի տվյալներով, արդյունավետության աճը չի կանգնում մոդելի տեղակայման հետ՝ OpenAI-ն օգտագործում է իր մոդելները NVIDIA-ի GPU-ների վրա մշակող ինֆերենսի ծրագրային ապահովումը բարելավելու համար, իսկ հարթակի ծրագրավորելիությունը տալիս է բարելավման թեստավորման և ներդրման հնարավորություն։ Այս անընդտեղ աշխատանքը ժամանակի ընթացքում արագացնում է պատասխանները և դարձնում է տեղակայված ենթակառուցվածքը ավելի արտադրոտ։

«Աշխատանքը NVIDIA-ի հետ օգնում է մեզ AI-ն ավելի արագ և արդյունավետ դարձնել», — ասաց OpenAI-ի համակարգման տեխնոլոգիաների տնօրեն Uday Ruddarraju-ն։ «Մենք օգտագործել ենք մեր սեփական ներքին մոդելները ինֆերենսի օպտիմիզացիայի համար, իսկ NVIDIA-ի ծրագրավորելիությունը օգնել է մեզ Astra Ultrafast-ի ետևում գտնվող արագացումները մատուցել»։

Մեկ ենթակառուցվածք տարբեր բեռնումների համար

NVIDIA-ի տվյալներով, ծրագրավորելի հարթակը մշակողներին և հետազոտողներին հնարավորություն է տալիս մոդելների զարգացման հետ մեկտեղ նորից օգտագործել ենթակառուցվածքը ուսուցման, ինֆերենսի և reinforcement learning-ի համար։ Այս ճկունությունը օգնում է թիմերին վերաբաշխել հաշվողական ռեսուրսները պահանջների փոփոխության հետ մեկտեղ, ավելացնել օգտագործումը և խուսափել յուրաքանչյուր բեռնման համապատասխան ավելորդ հզորության պահեստի ստեղծումից։

Մշակողները արդեն կարող են օգտագործել GPT-6 Astra Ultrafast-ը API-ի միջոցով։ Մուտքի, գների և ներդրման մանրամասները ներկայացված են OpenAI-ի Ultrafast ուղեցուցակում։