Վերադառնալ

Cerebras-ը գործարկում է տարանջատված եզրակացություն՝ գերարագ թոքենների համար
SiTech AI Team2 րոպե ընթերցում

Cerebras-ը գործարկում է տարանջատված եզրակացություն՝ գերարագ թոքենների համար

Cerebras-ը գործարկել է տարանջատված եզրակացություն, որը GPU-ներով մշակում է հուշումները, իսկ Cerebras համակարգերով գեներացնում է պատասխանները՝ ապահովելով հինգ անգամ ավելի թոքեն՝ մեկ մեգավատտի հաշվով, նույն գերարագ արագությամբ։

Cerebras-ը գործարկել է տարանջատված եզրակացություն, որը հուշումների մշակման համար զուգակցում է GPU-ներ, իսկ պատասխանների գեներացման համար՝ Cerebras համակարգեր, և ապահովում է հինգ անգամ ավելի թոքեն՝ մեկ մեգավատտի հաշվով, նույն գերարագ Cerebras արագություններով։ Ընկերությունը նշում է, որ մոտեցումն արդեն արտադրության մեջ է Cerebras Inference Cloud-ում և նախատեսված է արագ եզրակացության աճող պահանջարկի բավարարման համար։ Ենթակառուցվածքային գործընկերները կարող են լուծումը օգտագործել նաև իրենց սեփական տվյալների կենտրոններում։

Ինչու է աճում պահանջարկը

Muse-ի, Copilot-ի և Codex-ի նման գործակալային հավելվածները արագ են մասշտաբվում և պահանջում են բարձր ինտերակտիվ եզրակացություն՝ օգտատերերին ներգրավված պահելու համար։ Goldman Sachs Research-ը կանխատեսում է, որ AI եզրակացության պահանջարկը 2026 թվականից մինչև 2030 թվականը կարող է աճել 24 անգամ, մինչդեռ տվյալների կենտրոնների հզորությունը նույն ժամանակահատվածում աճում է 2.2 անգամ։ Cerebras-ը նշում է, որ prefill արագացուցչի զուգակցումը իր համակարգի հետ մեծացնում է թոքենների թողունակությունը մեկ մեգավատտի հաշվով՝ պահպանելով գերարագ գեներացման արագությունները և օգնելով մատակարարներին նույն էներգետիկ բյուջեից սպասարկել ավելի շատ հաճախորդների։

Ինչու է Cerebras-ը հարմար decode-ի համար

Եզրակացության հարցումն ունի երկու հիմնական փուլ՝ prefill-ը մշակում է մուտքագրումը և ստեղծում միջանկյալ մոդելային վիճակ, իսկ decode-ը գեներացնում է ելքային թոքենները։ Decode-ը ավտոռեգրեսիվ է, ուստի յուրաքանչյուր նոր թոքեն պահանջում է մոդելային տվյալների կրկին ընթերցում հիշողությունից, ինչի պատճառով հիշողության թողունակությունը կարևոր է դառնում։ Cerebras-ի համակարգերը քաշերը պահում են չիպի վրա գտնվող SRAM-ում և ունեն 350 անգամ ավելի SRAM հզորություն և 5,400 անգամ ավելի հիշողության թողունակություն, քան սովորական GB300 GPU-ն, ըստ ընկերության։

Արտադրական արդյունքներ

Cerebras Inference Cloud-ում արտադրական տեղակայման ժամանակ AMD Instinct GPU-ները մշակում են հուշումները, իսկ Cerebras CS-3 համակարգերը գեներացնում են պատասխանները։ Համակցումը ապահովել է 5X թողունակություն մեկ մեգավատտի հաշվով՝ համեմատած միայն CS-3-ով կազմված կոնֆիգուրացիայի հետ, առանց թոքենների գեներացման արագության կորստի, ըստ նոյեմբերի 14-ին ընդհանուր GPT-OSS-120B վերջնակետում կատարված չափման։ Cerebras-ը նաև նշում է, որ մոտեցումը՝ իր CS-4 համակարգի, մասշտաբված արտադրության և պլանավորված 700MW տվյալների կենտրոնի հզորության հետ միասին, 2027 թվականին և դրանից հետո կօգնի սպասարկել ավելի շատ գերարագ թոքեններ։

Գործընկերների ընդունում և ծրագրային ապահովում

Ենթակառուցվածքային գործընկերները կարող են տեղակայել կլաստերներ՝ օգտագործելով Cerebras հղման ճարտարապետությունը և իրենց ընտրած prefill արագացուցիչները համատեղ տեղակայել Cerebras համակարգերի հետ միասնական ցանցում։ Գործընկերները կարող են ինտեգրվել ամբողջական տարանջատված ծրագրային հավաքածուի կամ decode-միայն SDK-ի հետ։ Հավաքածուն բաղկացած է տարանջատված եզրակացության շրջանակից, prefill շարժիչից, Cerebras decode շարժիչից և KV Portal ծրագրից՝ միջանկյալ մոդելային վիճակը RDMA-ով փոխանցելու համար։ Վաղ հասանելիության գործընկերների թվում են Amazon Web Services-ը, Fireworks AI-ը, Gimlet Labs-ը և General Compute-ը, իսկ Cerebras-ը պլանավորում է լայն տեղակայում հարյուրավոր մեգավատտների վրա մինչև 2027 թվականի վերջը։

Աղբյուրներ: cerebras.ai

SiTech

SiTech — AI-ով հզորացված վեբ մշակում

Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։