Revolut: власні GLM-моделі скоротили витрати на AI-інференс для кодування приблизно на 90 відсотків

Revolut повідомляє, що скоротила витрати на AI-інференс для кодування приблизно на 90 відсотків менш ніж за рік, зробивши саморозміщені моделі типовим вибором замість комерційних сервісів, як-от Claude. David Abitbol, керівник операцій та інфраструктури британської фінтех-компанії, описав результати на конференції AI Engineer у Нью-Йорку минулого місяця. Також після впровадження AI-інструментів для приблизно 2,000 інженерів час кодування покращився на 60 відсотків, а lead time на 70 відсотків.

Тиск витрат змусив перейти на саморозміщення

Revolut почала з GLM-5.1, потім перейшла на GLM-5.3, яку тепер обслуговує 56 GPU Nvidia B200. До GLM Revolut експериментувала з AI: Gemini на початку 2025 року і Claude Code на початку 2026 року. Abitbol сказав, що компанія скептично ставилася до витрат на AI: інженери витрачали $1,000 або $10,000 на місяць без великого ROI, тож інструменти запустили із суворими бюджетними лімітами.

Через обмежену кількість токенів Revolut почала досліджувати саморозміщення власних моделей. За $0.30 за мільйон вхідних і вихідних токенів саморозміщення GLM 5.1 коштувало близько десятої частини Codex від OpenAI або Claude Code від Anthropic. Abitbol сказав, що за дешевих токенів команди перестають турбуватися про їх кількість і призначення. За його словами, найбільшим вузьким місцем був не код. Найбільші вигоди дали AI-моделі для налагодження і заявок у Jira та Confluence.

Обслуговування GLM у масштабі

GLM 5.1 розробила китайська Z.ai, розробник моделей з відкритими вагами. Вона має близько 754 мільярдів параметрів, з яких 40 мільярдів активуються на кожен токен, і потребує приблизно 380 GB пам'яті GPU для ваг плюс 6 до 26 GB на користувача для контексту залежно від точності. Revolut розгорнула 56 GPU Nvidia B200 для GLM-5.3 у масштабі, що еквівалентно семи системам DGX B200 із вісьмома GPU.

Abitbol сказав, що найбільші прирости дало не додавання GPU, а налаштування гіперпараметрів, перехід на квантування NVFP4, розділені prefill і decode та налаштування довжин контексту. Він попередив, що вікно на мільйон токенів не обов'язково корисне чи ефективне, і сказав, що насправді потрібні 256,000 токенів. З оптимізаціями Revolut досягла часу до першого токена менш ніж 3 секунди на вікнах близько 256,000 токенів і швидкості близько 200 токенів за секунду. Abitbol сказав, що після 5 pm інженери отримують ближче до 800 токенів за секунду.

Маршрутизація моделей і безпека

GLM не замінила GPT чи Claude повністю. Китайська модель текстова, тому не ідеальна для роботи з UI. Revolut використовувала маршрутизатор, щоб скеровувати візуальні запити до Gemini чи GPT Luna, залишаючи генерацію коду на GLM. Abitbol сказав, що open source тепер пріоритет у Revolut і його економіка вигідна: фіксована оплата без шоку від рахунку наприкінці місяця, тоді як frontier є винятком.

Abitbol визнав, що китайські моделі з відкритими вагами можуть турбувати через приватність і безпеку, але головне занепокоєння, за його словами, це доступ через API з Китаю. Якщо запускати їх локально або в регіональній хмарі, хвилюватися немає про що, сказав він.

Джерела: The Register