OpenAI відповів на Jev від TypeSafe Decisions API на базі Luna

OpenAI представила Decisions API на щорічній конференції DevDay у вівторок. Це відповідь компанії на моделі прийняття рішень, які стали популярними завдяки Jev від TypeSafe за останні місяці. Новий API побудований на моделі Luna, найменшій і найдешевшій у поточній лінійці OpenAI.

Що робить Decisions API

На відміну від чат-моделей, модель прийняття рішень не пише текст. Вона повертає один із наперед визначених варіантів відповіді та додає до нього оцінку впевненості. Розробник передає моделі запитання, можливі відповіді й контекст, а натомість отримує оцінку, яку можна використовувати безпосередньо в логіці застосунку.

За словами OpenAI, її модель повертає результат за 150 мілісекунд, тоді як на те саме завдання GPT-6 Luna витрачає 1,6 секунди. Саме ця швидкість і реалістичніші оцінки впевненості роблять такі моделі придатними для класифікації контенту, маршрутизації запитів або вибору агентом наступної дії із обмеженого набору варіантів.

Між промптом і навченим класифікатором

Сьогодні більшість команд розв’язує це завдання звичайною чат-моделлю та ретельно складеним промптом: просить модель вибрати один варіант зі списку, а потім читає ймовірності токенів, щоб приблизно визначити оцінку впевненості.

Альтернатива — навчання маленького класифікатора. Він швидкий і дешевий, але потребує розмічених даних і перенавчання щоразу, коли набір категорій змінюється. Модель прийняття рішень стоїть між цими двома варіантами: нові категорії передаються в промпті, а у відповідь повертається оцінка, корисна розробнику.

Для OpenAI це не зовсім нова ідея: її Moderation API вже давно повертає оцінки за категоріями замість тексту, щоправда, там категорії визначає OpenAI, а не розробник.

Обмежений доступ і відкриті питання

Наразі Decisions API доступний лише з обмеженим доступом, а повний випуск заплановано на найближчі дні. Представник OpenAI сказав The New Stack, що розкриє деталі «під час повного випуску».

Невідомо, скільки коштуватиме один виклик, скільки можливих відповідей вміщує один запит і чи зможуть розробники адаптувати модель до власних даних. Саме ці три відповіді визначать, чи стане Decisions API стандартною частиною фреймворків для агентів, чи залишиться вузьким інструментом поруч із чат-моделями.