«Малі моделі прийшли»: дешевий інференс змінює економіку AI-продуктів

У тексті, опублікованому 26 серпня, співзасновник Segment Келвін Френч-Оуен доводить, що малі та швидкі мовні моделі непомітно стали достатньо добрими для реальної роботи. Його головний приклад — gpt-5.6-luna, яким він користується кілька тижнів: модель видає близько 100 токенів за секунду і впевнено працює з його кодом, поштою та базою знань.

Ціновий бар'єр для споживчого AI

Френч-Оуен наводить часте питання інвесторів: чому не з'являється більше споживчих AI-компаній? Його відповідь — вартість токенів. До епохи AI рецепт споживчих застосунків був таким: зробити дешевий сайт, залучити користувачів, підняти гроші й масштабуватися, а потім побудувати рекламний майданчик — приблизно цим шляхом ішли Google, Facebook і Snapchat. Додавання AI змінює арифметику, бо кожен запит тягне реальні витрати на інференс, а потрібний капітал різко зростає.

Він ілюструє це власним тестом: запит, який просить агента дослідити людину в інтернеті, підібрати новини, які їй можуть сподобатися, і зібрати персоналізований мікросайт. На моделях попереднього покоління класу Sonnet один запуск коштував близько $1, що робить підписку за $30 на місяць нерентабельною. З luna результати, за його словами, цілком пристойні, а середня вартість — близько $0.10. Він також зазначає, що GLM 5.3 тепер перебуває на фронті Парето і дає покупцям ще один варіант.

Дешеві токени та природа роботи

Френч-Оуен поширює аргумент і на бізнес. Під час недавньої прогулянки його співзасновник у Segment Пітер описав два типи роботи: робота «IQ 180», коли хтось знаходить рішення, про яке ніхто не думав, і робота «розпилювача токенів» — постійно реагувати й просувати десятки напрямів одночасно. Пітер залучив понад $100 млн для Charm Industrial і нещодавно закрив Series A для Revoy, але за його власною оцінкою близько 95% його роботи належить до другої категорії. Більшість «людських токенів» у компаніях сьогодні витрачається так само, і наймання схиляється саме до цього типу.

Його висновок не в тому, що фронтирні моделі втрачають вагу. Він очікує, що попит на найвищі можливості й далі зростатиме у сферах, де потрібні справжні прориви — інженерія, фундаментальна наука, навчання моделей. Але попит на швидкі, дешеві й достатньо добрі моделі, на його думку, ось-ось різко зросте, а для їхнього повноцінного використання в бізнесі ще потрібні нові обв'язки, захист від prompt injection, ролі та дозволи.