Як GPU NVIDIA прискорюють OpenAI GPT-6 Astra Ultrafast

За даними блогу NVIDIA, GPT-6 Astra Ultrafast працює на Blackwell GPU і вже доступний в API OpenAI, а до функції мають доступ також авторизовані користувачі ChatGPT Work та Codex.

Ultrafast генерує токени до 8 разів швидше, ніж у режимі Astra Standard. Прискорення базується на оптимізаціях інференсу, які моделі OpenAI створили з використанням можливостей архітектури Blackwell від NVIDIA.

Що дає прискорення в агентних циклах

За даними блогу, швидша генерація токенів скорочує цикл edit-test-debug кодових агентів, зменшує час, витрачений на генерацію відповідей між викликами інструментів, та змушує інтерактивні застосунки швидше реагувати.

Швидша відповідь має особливе значення, коли вона повторюється в робочому процесі: агент пише код, використовує інструмент, перевіряє результат і вирішує, що робити далі. Саме на таких чутливих до часу циклах розраховано Ultrafast, а AI-інфраструктура NVIDIA допомагає OpenAI забезпечувати розробників відповідями моделі саме тоді, коли вони найбільш потрібні.

«Серйозні інвестиції NVIDIA в інструменти та документацію дозволяють нашим моделям працювати на GPU Blackwell та Rubin надзвичайно добре в програмуванні», — сказав керівник інференсу OpenAI Philippe Tillet. «Astra може перетворити цю експертизу на високопродуктивні ядра, що робить апаратне забезпечення NVIDIA привабливим у всьому діапазоні затримки, пропускної здатності та вартості. Astra Ultrafast означає, що модель відповідає швидше, коли агенти пишуть код, використовують інструменти та працюють над складними завданнями».

Робота триває й після розгортання

За даними блогу NVIDIA, зростання продуктивності не припиняється після розгортання моделі: OpenAI використовує власні моделі для вдосконалення програмного забезпечення інференсу, що працює на GPU NVIDIA, а програмованість платформи дозволяє тестувати та розгортати вдосконалення. Ця безперервна робота прискорює відповіді з плином часу та робить розгорнуту інфраструктуру більш продуктивною.

«Робота з NVIDIA допомагає нам зробити AI швидшим і більш корисним», — сказав директор з комп'ютерних технологій OpenAI Uday Ruddarraju. «Для оптимізації інференсу ми використовували власні внутрішні моделі, а програмованість NVIDIA допомогла забезпечити прискорення, що стоїть за Astra Ultrafast».

Одна інфраструктура для різних навантажень

За даними NVIDIA, програмована платформа дозволяє розробникам і дослідникам повторно використовувати інфраструктуру для навчання, інференсу та reinforcement learning разом із розвитком моделей. Ця гнучкість допомагає командам перерозподіляти обчислювальні ресурси разом із зміною попиту, збільшувати використання та уникати створення резерву зайвої потужності для кожного навантаження.

Розробники вже можуть використовувати GPT-6 Astra Ultrafast через API. Деталі доступу, цін та розгортання наведено в посібнику Ultrafast від OpenAI.