Amazon відкриває бета-версію TorchNeuron для запуску коду PyTorch на чипах Trainium

Шлях до Trainium з меншими перешкодами

Amazon відкрила TorchNeuron у відкритій бета-версії після закритої бета-версії, яка почалася наприкінці минулого року. Програмне забезпечення працює між PyTorch і чипами Trainium від Amazon, дозволяючи розробникам запускати наявний код PyTorch після базової зміни конфігурації замість переписування його під інтерфейси конкретних чипів.

Colin Brace, віце-президент Annapurna Labs з технологій програмного забезпечення, описав мету так: «Якщо ви знаєте PyTorch, то ви знаєте Trainium». Він сказав, що адаптація коду PyTorch до іншого апаратного забезпечення може зайняти місяці, якщо вона залежить від платформи CUDA компанії Nvidia, і новий інструмент має на меті усунути цю перешкоду.

Що в бета-версії

Понад 30 компаній і внутрішніх команд Amazon використовували TorchNeuron під час закритої бета-версії. Deepgram, стартап зі штучного інтелекту для розпізнавання мови з Сан-Франциско, заявила, що за результатами бенчмарків Trainium обробляє приблизно на 60% більше аудіо на долар, ніж її наявна конфігурація на GPU, а Brace сказав, що компанія тепер використовує Trainium у продакшені.

Amazon також повідомила, що TorchNeuron буде випущений як відкрите програмне забезпечення у вівторок, паралельно з конференцією PyTorch Conference у Сан-Хосе, штат Каліфорнія. Щоб охопити широкий спектр моделей, Amazon щоденно тестує TorchNeuron на понад 100 000 моделях з Hugging Face.

Усередині Amazon команда Prime Video використала TorchNeuron для створення Prime 360, системи штучного інтелекту, яка відтворює ігри NBA у 3D для повторів з ракурсів, недоступних звичайним камерам. Ця функція працює на Trainium і з’явиться у вибраних трансляціях Prime Video цього сезону NBA.

Попит і тиск ринку

Серед найбільших користувачів Trainium є лабораторії штучного інтелекту з тісними фінансовими зв’язками з Amazon. Anthropic використовує чипи для навчання та запуску моделей Claude, а OpenAI погодилася у лютому використовувати 2 гігавати потужностей Trainium у рамках угоди, за якою Amazon інвестує 50 мільярдів доларів в OpenAI.

Andy Jassy написав у квітні, що річна виручка чипового бізнесу Amazon, включаючи Trainium і Graviton, становить понад 20 мільярдів доларів, і він оцінив її у близько 50 мільярдів доларів, якби чипи продавав окремий чиповий бізнес. Історія цього підрозділу сягає придбання у 2015 році ізраїльського виробника чипів Annapurna Labs, яке, за даними ЗМІ, коштувало 350 мільйонів доларів.

Джерела: GeekWire · About Amazon · PyTorch Blog