Gartner: моделі з відкритими вагами виконують 90% агентної роботи за частку вартості frontier LLM

Аналітики Gartner Марк Петті та Реймонд Паке кажуть, що комерційні розробники моделей прагнутимуть доходу лише приблизно з десяти відсотків кроків у агентних робочих процесах ШІ, бо дев'ять із десяти кроків є рутинними, а моделі з відкритими вагами можуть обробляти їх на рівні за чверть ціни найдешевшої закритої моделі. У найкращих випадках моделі з відкритими вагами можуть виконувати 90 відсотків агентної роботи за вартість, що становить лише одну двадцяту від вартості запуску frontier LLM на кожному кроці. Аналітики також зазначають, що поточні відкриті моделі можуть бути більш багатослівними та частіше повторювати спроби, тож реальна економія порівняно з frontier-моделлю ближча до п'яти або шести разів.

Вартість і контроль

Аналітики написали минулого тижня в документі під назвою Open-Weight Models Will Run 90% of Enterprise Agentic Workflow Steps, що типові операційні робочі процеси передбачають сотні рутинних виконань, зокрема класифікацію, виклик інструментів, передавання, перевірку та узгодження даних. Вони кажуть, що моделі з відкритими вагами можуть обробляти сотні таких рутинних кроків на кожен крок, що потребує frontier-міркування. Порівняно з найдешевшою закритою моделлю з тим самим результатом відкрита модель коштує чверть, а порівняно з frontier-моделлю, запущеною на кожному кроці, коштує лише одну двадцяту.

Петті та Паке стверджують, що вартість є бонусом, а не головною причиною переходу. Багаторічна історія робочих процесів становить значну частину того, за що платить покупець у SaaS-компанії, а кожен рутинний крок, відправлений до frontier API, виносить частину її за межі периметра покупця. Моделі з відкритими вагами зберігають контроль, кажуть вони.

Впровадження та ролі

Аналітики висувають припущення для стратегічного планування: до 2030 року 90 відсотків кроків операційних агентних робочих процесів підприємств виконуватимуться на моделях з відкритими вагами. Вони очікують, що підприємства переважно впроваджуватимуть доменно-специфічні моделі з відкритими вагами, які добре працюють у сценаріях, де невелика кількість дуже стабільних кроків виконується мільйони разів на місяць.

Більшість моделей уже є товарами, тоді як harnesses (інструменти, що запускають агентів і керують ними) є джерелом цінності в продуктах ШІ. Harness спрямовує роботу до найбільш відповідної моделі для завдання так, що користувачі не помічають жодного впливу, а хороший harness економить гроші, встановлює сильні захисні обмеження та керує парками агентів. Менш потужні harnesses залишають користувачам більше роботи.

Ролі frontier- і open-weight-моделей

У документі припускають, що frontier-моделі й надалі відіграватимуть роль рушія досліджень і розробок і фактично є капітальними витратами. Моделі з відкритими вагами стають операційними витратами після того, як frontier-моделі виконують важку роботу.

Джерела: The Register