Google додає TPU 8tx і TPU 8i Max до лінійки ШІ-чипів восьмого покоління

Google додала дві нові системи, TPU 8tx і TPU 8i Max, до лінійки ШІ-акселераторів восьмого покоління. Компанія каже, що вперше відвантажила чотири системи TPU протягом одного року, причому обидва нові варіанти створені на основі наявного кремнію, а не нового покоління чипів. Нові системи орієнтовані на конфіденційні обчислення та навантаження з інтенсивним використанням пам'яті, оскільки Google ширше пропонує власні ШІ-чипи зовнішнім клієнтам.

Конфіденційні обчислення з TPU 8tx

TPU 8tx призначений для підприємств і державних установ, які працюють із конфіденційними даними. Google каже, що дані та ваги моделей залишаються захищеними й ізольованими навіть під час активного оброблення, закриваючи звичайний розрив, коли дані доводиться розшифровувати в пам'яті під час роботи процесора з ними. Nvidia вже пропонує подібну можливість для GPU через свою архітектуру конфіденційних обчислень. Система використовує малолатентну мережу Boardfly від Google і має забезпечити до двох разів більше зниження затримки порівняно з TPU 8t. Google каже, що підприємства можуть використовувати одну систему для доналаштування моделей, дистиляції великих моделей у менші та навчання ШІ-агентів із підкріпленням без переміщення чутливих даних між кластерами.

Навантаження з інтенсивним використанням пам'яті з TPU 8i Max

TPU 8i Max вирішує обмеження пропускної здатності пам'яті, які можуть виникати, коли ШІ-агенти працюють із великими кодовими базами або годинами відео. Google розмістила два чипи TPU 8i на одному корпусі, подвоївши обчислювальну потужність, пам'ять і пропускну здатність пам'яті в тому ж форматі стійки. Компанія каже, що це дає значно більшу продуктивність на квадратний метр простору центру оброблення даних.

Програмне забезпечення і зовнішнє впровадження

Google випустила TorchTPU як відкритий код, щоб код PyTorch міг працювати на TPU з мінімальними змінами, і підтримує фреймворки для інференсу, такі як vLLM і SGLang. Тепер Google нараховує майже 100 зовнішніх клієнтів TPU, що відображає зсув від ставлення до TPU як до внутрішнього інструменту до їхнього просування як конкурентної платформи. Компанія також описує свій модульний підхід до систем як свідомий вибір дизайну, який може давати нові варіанти апаратного забезпечення за місяці, а не за роки.

Ринковий контекст

Оскільки застосунки ШІ поширюються, фокус зміщується з дорогих запусків навчання на інференс, тобто повсякденну роботу моделей. Спеціалізовані чипи, такі як TPU, можуть використати свої сильні сторони в цій сфері. Amazon, Microsoft і OpenAI також розробляють власні акселератори, тоді як Nvidia посилила свою пропозицію для інференсу через угоду з наймом команди та ліцензуванням із Groq.

Джерела: The Decoder