Назад

Cerebras запускає розділений інференс для надшвидких токенів
SiTech AI Team2 хв читання

Cerebras запускає розділений інференс для надшвидких токенів

Cerebras запустила розділений інференс, що поєднує обробку запитів на GPU з декодуванням Cerebras і забезпечує вп'ятеро більше токенів на мегават за тієї ж надшвидкості.

Cerebras запустила розділений інференс, що поєднує GPU для обробки запитів із системами Cerebras для генерування відповідей, забезпечуючи вп'ятеро більше токенів на мегават за тієї ж надшвидкості Cerebras. Компанія каже, що підхід уже працює у виробництві в Cerebras Inference Cloud і має задовольнити зростальний попит на швидкий інференс. Інфраструктурні партнери також можуть використовувати рішення у власних дата-центрах.

Чому попит зростає

Агентні застосунки на кшталт Muse, Copilot і Codex швидко масштабуються й потребують дуже інтерактивного інференсу, щоб утримувати залученість користувачів. Goldman Sachs Research прогнозує, що попит на AI-інференс може з 2026 року до 2030 року зрости у 24 рази, тоді як потужність дата-центрів за той самий період зросте у 2,2 раза. Cerebras каже, що поєднання акселератора prefill з її системою підвищує пропускну здатність токенів на мегават, зберігаючи надшвидкі швидкості генерування, і допомагає провайдерам обслуговувати більше клієнтів із того самого енергобюджету.

Чому Cerebras підходить для декодування

Запит на інференс має два основні етапи: prefill обробляє вхідні дані й створює проміжний стан моделі, тоді як decode генерує вихідні токени. Decode є авторегресивним, тому кожен новий токен знову вимагає читання даних моделі з пам'яті, що робить важливою пропускну здатність пам'яті. Системи Cerebras зберігають ваги у вбудованій SRAM і мають у 350 разів більшу ємність SRAM та у 5 400 разів більшу пропускну здатність пам'яті, ніж типовий GB300 GPU, за даними компанії.

Результати у виробництві

У виробничому розгортанні на Cerebras Inference Cloud GPU AMD Instinct обробляють запити, а системи Cerebras CS-3 генерують відповіді. Комбінація забезпечила пропускну здатність у 5X на мегават порівняно з конфігурацією лише CS-3 без втрати швидкості генерування токенів, за вимірюванням 14 листопада на спільному ендпоінті GPT-OSS-120B. Cerebras також каже, що підхід разом із системою CS-4, масштабованим виробництвом і запланованими 700MW потужностей дата-центрів допоможе обслуговувати більше надшвидких токенів у 2027 році й далі.

Впровадження партнерами й програмне забезпечення

Інфраструктурні партнери можуть розгортати кластери за референсною архітектурою Cerebras і спільно розміщувати обрані акселератори prefill із системами Cerebras в єдиній мережі. Партнери можуть інтегруватися з наскрізним розділеним програмним стеком, що складається з фреймворку розділеного інференсу, рушія prefill, рушія декодування Cerebras і програмного забезпечення KV Portal для передавання проміжного стану моделі через RDMA, або з SDK лише для декодування. Партнери раннього доступу включають Amazon Web Services, Fireworks AI, Gimlet Labs і General Compute, а Cerebras планує широке розгортання на сотнях мегават до кінця 2027 року.

Джерела: cerebras.ai

Поділитися цифровим досвідом

SiTech

SiTech — веброзробка з підтримкою AI

Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.