Віцепрезидент Fireworks AI: локальний AI може марнувати витрати на GPU при зростанні керованого інференсу

Fireworks AI підтримує розгортання AI на власній інфраструктурі, але віцепрезидент Роб Фергюсон стверджує, що багатьом компаніям варто уникати запуску моделей у власних дата-центрах, бо апаратне забезпечення GPU дороге і витратне, якщо його недостатньо використовують. Провайдер керованого інференсу також каже, що маршрутизація завдань між набором моделей, кешування, обробка даних і швидкість можуть змінити реальну вартість роботи AI.

Локальний AI та економіка GPU

Фергюсон розповів The Register, що Fireworks AI намагається відмовити клієнтів від локального AI, бо це просто економіка. Він сказав, що 10 000 GPU становлять мільярд доларів капіталу і що компанії не хочуть, щоб ці системи простоювали. Для чутливих завдань Fireworks пропонує сервіс Sovereign і має партнерів, зокрема Microsoft, хоча Фергюсон сказав, що більшість роботи інференсу, ймовірно, не потребує такого рівня захисту.

Маршрутизація моделей замість однієї моделі

Фергюсон сказав, що найкраща модель — це портфель, а не одна модель, наприклад Astra або Fable, і що маршрутизація між кількома моделями краща за використання лише однієї моделі. Fireworks робить це через Nexus і свій API, поряд із конкурентами Together AI, Baseten і DeepInfra. Компанія каже, що не виконує наївну маршрутизацію, як AI-шлюз; вона оцінює завдання, коли вони надходять, і спрямовує їх до оптимальної моделі.

Fireworks створює власні маршрутизатори, а її автоматична модель постійно оновлюється. Вона оцінює складність завдань і відзначає спорідненість моделей, наприклад Kimi трохи краще працює з JavaScript, ніж з Python. Фергюсон пояснив перевагу компанії роботою інженерної команди та засновників над PyTorch, сказавши, що команда розуміє чисельні методи, топології сумішей експертів, точність чисел з плаваючою комою та маршрутизацію через складні мережеві фабрики, що можуть залучати більше ніж одного провайдера.

Вартість, дані та швидкість

Фергюсон сказав, що AI знову й знову повертається до економіки, зокрема до того, скільки роботи може піти на кешовані або відкриті моделі і коли потрібна спеціалізація. Він сказав, що компанії передових моделей не прозорі щодо частоти кешування, наводячи приклад компанії з аналізу даних, де Fireworks кешувала приблизно 90 відсотків завдань, а Opus від Anthropic — 30 відсотків. Він сказав, що повторна робота в AI є найбільшою витратою, вартість токенів не є реальною вартістю, а клієнти мають відстежувати вартість за завдання.

Фергюсон також сказав, що компанії недооцінюють цінність своїх даних. Fireworks має політику нульового зберігання даних, але він сказав, що інші компанії часто її не мають, і клієнти мають отримувати цінність, якщо їхні дані використовують. Він сказав, що моделі запам'ятовують інформацію і на це є докази. Швидкість, додав він, недооцінена і змінює те, як він працює з AI. Фергюсон заявив, що ансамблювання моделей може зробити рахунок щонайменше на 50 відсотків меншим. Він сказав, що Fireworks каже про вартість у шість-вісім разів нижчу, водночас гарантуючи, що рахунок зменшиться наполовину, коли клієнти все ще використовують суміш закритих і відкритих моделей.

Джерела: The Register