OpenAI розглядала відмову від токен-ціноутворення для наступної моделі, каже Sam Altman

OpenAI розглядала припинення токен-ціноутворення для своєї наступної моделі та натомість стягнення фіксованої плати за кожен надісланий промпт, але негативний відгук клієнтів змусив компанію відступити, сказав CEO Sam Altman. Він обговорив цю ідею в подкасті Cheeky Pint з президентом Stripe John Collison. Altman сказав, що розрахунки працювали б «як AWS»: OpenAI надсилала б рахунок після виконання роботи, а не обліковувала б токени.

Ідея фіксованої плати

Altman згадує, що OpenAI «майже зробила те, що стало б поганим рішенням»: повністю припинити цінувати наступну модель у токенах і натомість перейти до схеми, за якою розробник передає промпт, а OpenAI повертає ціну. Він не називає модель, про яку йдеться, і не дає термінів, коли цю зміну розглядали. Розрахунки працювали б «як AWS», пояснив він: ви «просто робите щось, а ми надсилаємо вам рахунок», а не обліковуєте обмін токен за токеном.

Чому клієнти чинили опір

Ідея зіткнулася з опором, коли OpenAI спробувала з'ясувати, як клієнти ставляться до отримання ціни без розбивки. «Відповідь клієнтів на це така негативна», згадує Altman, а покупці кажуть компанії: «Мені якось треба знати, за що я плачу». Розробники вже витрачають багато часу на відстеження вхідних і вихідних токенів, щоб зменшувати витрати та оцінювати майбутні витрати в міру зростання використання. Отримати ціну, не знаючи, як її розрахували, було б ще складніше.

Перевага видимих токенів

Що робить це визнання вартим другого погляду: за словами Altman, люди, з якими він консультувався, радше платили б більше, щоб зберегти цю видимість. Він поставив питання «кільком людям», запитавши, чи погодилися б вони на вищу ставку за той самий результат, якщо б ціна залишалася в послідовних токенах, і відповідь, за його словами, була такою: вони «значно радше, щоб ви завищували кількість токенів і платили більше», бо «я знаю, що там є щось реальне». Розробники чинять опір єдиній непрозорій ціні, вважає він, бо підозрюють, що в довгостроковій перспективі їх «якось ошукають», той самий інстинкт, який колись змушував покупців платити за години CPU замість готової роботи. Пропозиція могла б мати значні наслідки для розробників, які створюють агентів: їхні багатокрокові робочі процеси вже споживають непередбачувані обсяги обчислень і ускладнюють прогнозування витрат навіть за сьогоднішньої токен-моделі. Altman не пояснює, як OpenAI встановлювала б ціни за завдання, або чи могли б клієнти порівнювати одне нарахування з іншим.

Токени залишаються попри обмеження

Тема виникла, коли Collison натиснув на Altman щодо того, чи є токени правильним способом вимірювати використання ШІ. Altman визнав обмеження токен-ціноутворення, але не мав чіткої альтернативи. «Токени є такою фальшивою одиницею», сказав він. «Я маю на увазі, що в якомусь сенсі вони реальні, але це не добра одиниця». Він відхилив напівсерйозну пропозицію Collison придумати токен, еквівалентний інтелекту, порівнявши це з тим, як виробники чипів досі рекламують нанометрові показники, що вже не відповідають жодному фізичному виміру на чипі. Altman визнає, що розробники несуть реальні накладні витрати, коли обирають між дешевшою моделлю та потужнішою, особливо коли їм також доводиться вгадувати, скільки міркування вимагатиме конкретне завдання. «Це просто когнітивні накладні витрати, які, на мою думку, не додають жодної цінності», сказав він. Цей обмін репліками відбувається на тлі того, що OpenAI продовжує покладатися на токен-ціноутворення, навіть попри те, що Altman стверджує: вартість певного рівня ШІ падає приблизно вдесятеро на рік. Наразі токен-ціноутворення залишається чинним, навіть попри те, що Altman визнає його недоліки, а OpenAI намагається знайти кращу альтернативу.

Джерела: The New Stack