Amazon-ը բացում է TorchNeuron-ի բետային տարբերակը՝ PyTorch կոդը Trainium չիպերի վրա գործարկելու համար

Ավելի քիչ խոչընդոտներով ուղի դեպի Trainium

Amazon-ը TorchNeuron-ը բացել է որպես հանրային բետա՝ փակ բետայից հետո, որը սկսվել էր անցյալ տարվա վերջին: Ծրագրային ապահովումը գտնվում է PyTorch-ի և Amazon-ի Trainium չիպերի միջև՝ թույլ տալով մշակողներին գործարկել գոյություն ունեցող PyTorch կոդը կազմաձևման պարզ փոփոխությունից հետո, փոխանակ այն վերաշարադրեն չիպին հատուկ ինտերֆեյսների համար:

Annapurna Labs-ի տեխնոլոգիական ծրագրային ապահովման գծով փոխնախագահ Քոլին Բրեյսը նպատակը նկարագրեց այսպես՝ «Եթե դուք գիտեք PyTorch, ապա գիտեք նաև Trainium»: Նա ասաց, որ PyTorch կոդը այլ սարքաշարին հարմարեցնելը կարող է ամիսներ տևել, երբ այն կախված է Nvidia-ի CUDA հարթակից, և որ նոր գործիքը նպատակ ունի վերացնելու այդ խոչընդոտը:

Բետայի ներսում

Փակ բետայի ընթացքում TorchNeuron-ը օգտագործել են ավելի քան 30 ընկերություններ և Amazon-ի ներքին թիմեր: Սան Ֆրանցիսկոյի խոսքի AI ստարտափ Deepgram-ը հայտնել է, որ չափումները ցույց են տվել, որ Trainium-ը մեկ դոլարի դիմաց մշակում է մոտ 60%-ով ավելի աուդիո, քան իր գործող GPU համակարգը, և Բրեյսի խոսքով՝ ընկերությունն այժմ Trainium-ը շահագործում է արտադրության մեջ:

Amazon-ը նաև հայտնել է, որ TorchNeuron-ը կթողարկվի որպես բաց կոդ երեքշաբթի՝ Սան Խոսեում (Կալիֆոռնիա) կայանալիք PyTorch կոնֆերանսի հետ միաժամանակ: Մոդելների լայն շրջանակ ընդգրկելու համար Amazon-ը ամեն գիշեր ստուգում է TorchNeuron-ը Hugging Face-ի ավելի քան 100 000 մոդելների վրա:

Amazon-ի ներսում Prime Video-ի թիմը TorchNeuron-ով ստեղծել է Prime 360-ը՝ AI համակարգ, որը NBA-ի խաղային դրվագները վերակառուցում է 3D-ով, որպեսզի կրկնությունները դիտվեն ավանդական տեսախցիկների համար անհասանելի անկյուններից: Գործառույթն աշխատում է Trainium-ի վրա և կհայտնվի Prime Video-ի ընտրված հեռարձակումներում NBA-ի այս մրցաշրջանում:

Պահանջարկ և շուկայական ճնշում

Trainium-ի խոշորագույն օգտագործողների թվում են Amazon-ի հետ սերտ ֆինանսական կապեր ունեցող AI լաբորատորիաները: Anthropic-ը չիպերն օգտագործում է Claude մոդելների մարզման և գործարկման համար, իսկ OpenAI-ն փետրվարին համաձայնել է օգտագործել Trainium-ի 2 գիգավատ հզորություն՝ որպես գործարքի մաս, որով Amazon-ը 50 միլիարդ դոլար է ներդնում OpenAI-ում:

Էնդի Ջասին ապրիլին գրել է, որ Amazon-ի չիպային բիզնեսը, ներառյալ Trainium-ը և Graviton-ը, ունեցել է տարեկան 20 միլիարդ դոլարից ավելի եկամուտների տեմպ, և նա գնահատել է, որ այն կկազմի մոտ 50 միլիարդ դոլար, եթե չիպերը վաճառվեին առանձին չիպային բիզնեսի կողմից: Amazon-ը այս ստորաբաժանման պատմությունը կապում է 2015 թվականին իսրայելական չիպ արտադրող Annapurna Labs-ի ձեռքբերման հետ, որը, ըստ հաղորդումների, արժեցել է 350 միլիոն դոլար:

Աղբյուրներ: GeekWire · About Amazon · PyTorch Blog