OpenAI представила Jalapeño — перший власний чип, створений із Broadcom

У середу OpenAI представила свій перший власний інференс-процесор, розроблений і виготовлений у співпраці з Broadcom. Чип отримав назву Jalapeño, і, за словами компанії, його створювали спеціально під потреби інференс-систем OpenAI. У розробці допомагали й власні ШІ-моделі компанії.

Попередні результати та тестування

Процесор усе ще проходить тестування. OpenAI каже, що попередні результати показують значно кращу продуктивність на ват (performance-per-watt), ніж в наявних найкращих альтернатив — а цей показник прямо впливає на вартість обслуговування моделей у масштабі.

Партнерство з Broadcom офіційно оголосили в жовтні, але плани OpenAI виробляти власний кремній давно обговорювали як спосіб зменшити залежність від GPU Nvidia. Схожі чипи вже побудували Google і Amazon — так звані ШІ-прискорювачі, призначені пришвидшувати навантаження машинного навчання.

Для інференсу, а не для навчання

Jalapeño призначений для інференсу — запуску вже навчених моделей у відповідь на запити користувачів. В оголошенні OpenAI наголосила на низькій вартості роботи чипа з моделями кодування в реальному часі. Ресурсомісткіші задачі, як-от попереднє навчання, ймовірно, і далі залишаться на апаратному забезпеченні Nvidia, але навіть невелике зниження витрат на інференс покращує економіку бізнесу.

Президент OpenAI Грег Брокман описав підхід компанії до розробки чипів у внутрішньому подкасті невдовзі після оголошення про партнерство з Broadcom. «Ми добре розуміємо це навантаження, — сказав Брокман. — Ми справді шукали конкретні навантаження, які залишаються недостатньо охопленими, і питали себе: як збудувати щось, що зможе пришвидшити те, що взагалі можливо?»

Оптимізація всього стеку

OpenAI вже створює агентні продукти на кшталт Codex, моделі, що їх живлять, і дата-центри для їхньої роботи. Власні чипи продовжують цю роботу глибше в стеку. «OpenAI не лише розробляє передові моделі чи будує продукти поверх них; вона проєктує інфраструктуру під ними: архітектуру чипів, ядра, системи пам'яті, мережу, планування, системи розгортання та досвід продукту», — написала компанія. «Оскільки OpenAI працює по всьому стеку, кожен рівень можна оптимізувати навколо однієї мети: зробити її моделі швидшими, надійнішими та доступнішими для користувачів».