Aiven створює LLM-шлюз після зниження витрат на токени за допомогою моделей з відкритими вагами

Європейський постачальник сервісів відкритих баз даних Aiven каже, що заощадив 80 відсотків внутрішніх витрат на токени AI, перейшовши до моделей з відкритими вагами. Компанія з Фінляндії побудувала свій бізнес на хостингу та наданні відкритих баз даних як сервісу, а за останні кілька років перейшла до машинного навчання. У розмові з The Register Вілле Лехто, віцепрезидент Aiven зі стратегії, сказав, що коли йдеться про інфраструктуру AI з відкритим кодом, зробити щось, що може працювати в різних хмарах, не тривіально. Однак, надаючи своїм розробникам доступ до LLM, компанія хотіла керувати власними витратами на токени й контролювати власну долю щодо використання AI.

Як працює шлюз

Після хвилі дебатів навколо token-maxxing розробники загалом дедалі більше цікавляться зниженням витрат шляхом використання суміші моделей, зокрема дешевших китайських альтернатив західним передовим моделям і моделям з відкритими вагами, які коштують дешевше. Моделі з відкритими вагами мають публічно оприлюднені вивчені параметри, головно їхні ваги та зміщення, і їх можна запускати локально або хостити дешевше, ніж передові моделі від OpenAI та Anthropic. Приклади включають сімейство Llama від Meta, сімейство Qwen від Alibaba Cloud, китайський DeepSeek, Medium 3.5 і Devstral від Mistral AI та Gemma від Google. Лехто сказав, що щодо використання токенів частка користувачів є інтенсивними користувачами, і значну частину їхніх витрат можна заощадити за допомогою моделей з відкритими вагами. Він сказав, що Aiven стояла перед вибором між жорсткими бюджетами на токени або ефективнішим способом використання токенів і обрала друге, впровадивши внутрішній шлюз.

Aiven побудувала свій шлюз навколо відкритої платформи під назвою LiteLLM, яку вона розміщувала. Вона додала такі функції, як бюджетування та керування доступом, і додала інші відкриті компоненти. Вона запускає моделі на орендованих GPU і також самостійно їх хостить. Лехто сказав, що Aiven продовжила використовувати передові моделі, але лише щоб допомогти планувати роботу. Коли йдеться про реальне виконання завдань, вона використовує багато моделей з відкритими вагами. Більшість роботи виконується моделями з відкритими вагами, але найкритичніші частини плануються передовими моделями. Однак, оскільки продуктивність моделей з відкритими вагами та передових моделей відрізняється, важливо було також використовувати інші метрики, такі як вартість за завдання, сказав він. Компанія каже, що бачила зниження витрат приблизно на 80 відсотків серед інтенсивних користувачів.

Клієнти та плани

Aiven планує запропонувати шлюз як сервіс клієнтам, щоб допомогти їм керувати витратами на токени, полегшивши заміну моделей з відкритими вагами у їхніх робочих процесах. Серед її клієнтів німецька компанія електронної комерції Conrad, британська компанія з обробки платежів Dojo, постачальник кібербезпеки Sophos і комунікаційна фірма Avaya. Лехто сказав, що оскільки спадщина Aiven у відкритому коді, пропонування шлюзу як сервісу відповідає потребам підприємств. Компанія має стати лише одним із постачальників, які позиціонують себе, щоб допомагати організаціям знижувати витрати під час використання AI.

Джерела: The Register