AWS запускає TorchNeuron для перенесення застосунків PyTorch на чіпи Trainium

Amazon Web Services випустила новий інструмент для розробників під назвою TorchNeuron, який дозволяє застосункам ШІ, створеним за допомогою PyTorch, працювати на власних чипах Trainium для ШІ від Amazon шляхом зміни лише одного рядка конфігурації, без необхідності переписувати код. Цей випуск є найпрямішим на сьогодні викликом з боку Amazon позиції Nvidia як типового вибору апаратного забезпечення для застосунків ШІ.

Як працює TorchNeuron

TorchNeuron є адаптацією PyTorch, безкоштовного інструментарію з відкритим кодом, який розробники використовують для створення, навчання та запуску моделей ШІ. Amazon стверджує, що близько 85% застосунків ШІ написані за допомогою PyTorch. Оскільки інструмент сам базується на PyTorch, розробники, які вже знають цей фреймворк, можуть використовувати його одразу. PyTorch спочатку розроблялася Facebook, а з 2022 року її підтримує Linux Foundation.

Nvidia витратила роки на те, щоб програмна інфраструктура CUDA, яка дозволяє застосункам працювати на GPU Nvidia та іншому апаратному забезпеченні, безшовно підтримувала застосунки PyTorch, фактично вбудовуючи її апаратне забезпечення у фреймворк за замовчуванням. Amazon не є першою компанією, яка пропонує простий шлях перенесення, оскільки користувачі PyTorch також можуть перенести свої застосунки на GPU AMD або чипи Apple простою зміною конфігурації. Однак AWS стверджує, що Trainium пропонує щось, чого немає в цих варіантах: доступ до всієї хмарної інфраструктури Amazon.

Хмарний аргумент

Colin Brace, віце-президент з питань технологічного програмного забезпечення в AWS Annapurna Labs, підрозділі, який виробляє власні чипи Amazon, сказав, що стартапи, які будують на AWS, уникають робити ставку на постачальника обчислювальних потужностей одного призначення і потім у поспіху будувати все інше навколо нього. Він назвав неоклауди, пов'язані з апаратним забезпеченням Nvidia, такі як Coreweave, Nebius і Firmus, альтернативами, яким бракує інфраструктури, щоб пройти від прототипу до виробництва.

AWS стверджує, що оскільки один і той самий чип Trainium використовується і для навчання, і для інференсу і тісно інтегрований із хмарною інфраструктурою, стартапи заощаджують гроші, навіть якщо AWS не пропонує найдешевшу ціну за токен. Brace назвав Deepgram, постачальника голосових застосунків ШІ, який, за його словами, перейшов на Trainium за допомогою нативної підтримки PyTorch і тепер обробляє на 70% більше аудіо на один долар при точності промислового рівня.

Відрив PyTorch від Nvidia

Amazon стверджує, що вносить зміни в upstream основного проєкту PyTorch, працюючи зі спільнотою PyTorch над видаленням коду, який пов'язує фреймворк із конкретними чипами. Задекларована мета — зробити PyTorch більш незалежним від апаратного забезпечення для всієї спільноти розробників, а не лише для користувачів Trainium. Якщо Amazon глибоко відв'яже PyTorch від Nvidia, вплив на гіганта виробника GPU може виходити далеко за межі конкуренції з боку інших виробників чіпів. Як сказав Brace, справжня історія полягає в усуненні блокування, яке взагалі не давало розробникам реального вибору.

Джерела: TechCrunch · GeekWire · PyTorch Blog