Google-ը TPU 8tx և TPU 8i Max համակարգերը ավելացրեց 8-րդ սերնդի AI չիպերի շարքում

Google-ը երկու նոր համակարգ՝ TPU 8tx և TPU 8i Max, ավելացրեց 8-րդ սերնդի AI արագացուցիչների իր շարքում: Ընկերությունը նշում է, որ առաջին անգամ մեկ տարվա ընթացքում թողարկել է չորս TPU համակարգ, իսկ երկու նոր տարբերակներն էլ ստեղծված են արդեն գոյություն ունեցող սիլիկոնի հիման վրա, ոչ թե նոր չիպային սերնդի: Հավելումները թիրախավորում են գաղտնի հաշվարկներն ու հիշողության վրա ծանր աշխատանքները, երբ Google-ը իր սեփական AI չիպերը ավելի լայնորեն է շուկայացնում արտաքին հաճախորդներին:

Գաղտնի հաշվարկներ TPU 8tx-ի հետ

TPU 8tx-ը նախատեսված է գաղտնի տվյալների հետ աշխատող ձեռնարկությունների և կառավարական գործակալությունների համար: Google-ը ասում է, որ տվյալները և մոդելի կշիռները մնում են պաշտպանված և մեկուսացված նույնիսկ ակտիվ մշակման ժամանակ՝ փակելով սովորական բացը, երբ տվյալները պետք է վերծանվեն հիշողությունում, մինչ պրոցեսորը դրանց հետ աշխատում է: Nvidia-ն արդեն առաջարկում է համադրելի հնարավորություն GPU-ների համար՝ իր գաղտնի հաշվարկների ճարտարապետության միջոցով: Համակարգը օգտագործում է Google-ի ցածր լատենտության Boardfly ցանցը և պետք է ապահովի մինչև երկու անգամ լատենտության նվազեցում՝ համեմատած TPU 8t-ի հետ: Google-ը ասում է, որ ձեռնարկությունները կարող են օգտագործել մեկ համակարգ՝ մոդելները ճշգրտելու, մեծ մոդելները փոքր մոդելների վերածելու և AI գործակալներին ուժեղացման ուսուցմամբ վարժեցնելու համար՝ առանց զգայուն տվյալները կլաստերների միջև տեղափոխելու:

Հիշողության վրա ծանր աշխատանքներ TPU 8i Max-ի հետ

TPU 8i Max-ը լուծում է հիշողության թողունակության սահմանափակումները, որոնք կարող են առաջանալ, երբ AI գործակալները աշխատում են մեծ կոդային բազաների կամ ժամերով տեսանյութի հետ: Google-ը մեկ փաթեթի վրա տեղադրեց երկու TPU 8i չիպ, կրկնապատկելով հաշվարկային հզորությունը, հիշողությունը և հիշողության թողունակությունը նույն ռակի ձևաչափում: Ընկերությունը ասում է, որ դա զգալիորեն ավելի շատ արդյունավետություն է ապահովում տվյալների կենտրոնի մեկ քառակուսի մետրի հաշվով:

Ծրագրային ապահովում և արտաքին ընդունում

Google-ը TorchTPU-ն բաց կոդով թողարկեց, որպեսզի PyTorch կոդը կարողանա աշխատել TPU-ների վրա նվազագույն փոփոխություններով, և աջակցում է vLLM և SGLang նման եզրակացման շրջանակներին: Google-ը այժմ հաշվում է գրեթե 100 արտաքին TPU հաճախորդ, ինչը արտացոլում է անցումը՝ TPU-ները ներքին գործիքից մրցակցային հարթակ շուկայացնելուն: Ընկերությունը նաև իր մոդուլային համակարգային մոտեցումը ներկայացնում է որպես դիտավորյալ նախագծման ընտրություն, որը կարող է ապահովել նոր ապարատային տարբերակներ ամիսների, ոչ թե տարիների ընթացքում:

Շուկայական համատեքստ

Քանի որ AI կիրառումները տարածվում են, ուշադրությունը տեղափոխվում է թանկարժեք վերապատրաստման փուլերից դեպի եզրակացում՝ մոդելների առօրյա աշխատանքը: TPU-ների նման մասնագիտացված չիպերը կարող են առավելություն ունենալ այդ ոլորտում: Amazon-ը, Microsoft-ը և OpenAI-ը նույնպես մշակում են իրենց սեփական արագացուցիչները, իսկ Nvidia-ն ուժեղացրել է իր եզրակացման առաջարկը՝ Groq-ի հետ ձեռքբերման և լիցենզավորման գործարքի միջոցով:

Աղբյուրներ: The Decoder