Аналіз: OpenAI готова швидко відтворити технологію Jev

Jev від TypeSafe — модель, яка повертає калібровані рішення замість згенерованого тексту, — швидко набула популярності: Vercel називає її найшвидше прийнятою моделлю за всю історію AI Gateway. Аналіз Arcturus Labs від 21 вересня стверджує, що OpenAI має всі шанси швидко повторити Jev.

LLM класифікують уже давно

Вихідне припущення: Jev працює на чомусь близькому до звичайної великої мовної моделі — Latent Space пише, що більшість ранніх клонів Jev побудовані на LLM. За цією логікою Jev читає розподіл імовірностей наступного токена на одному кроці: питання «так/ні» зводиться до співвідношення токенів true і false, питання з вибором — до названих варіантів.

OpenAI робить вужчу версію цього від часів tool calling. Усередині перший токен після заголовка assistant працює як класифікатор: викликати інструмент чи ні, а наступні токени обирають сам інструмент. Це вузькі спеціалісти, зазначає автор, тоді як класифікація Jev має бути загальною.

Захист: дані та RL

Архітектура тут майже не захищає, вважає автор; справжній бар'єр — тренувальні дані та процес TypeSafe. У дискусії в X співзасновник компанії Diogo Almeida сказав, що TypeSafe вважає себе «лабораторією досліджень даних», а її дані — «справді загальними (власне когнітивним ядром)» і «100% синтетичними».

Автор припускає, що такий набір даних поєднує ситуації з відомими наслідками щоб навчити загальної калібрації, а не знань про галузь. Але все це — бар'єр лише за умови, що Jev справді точний: він уже знайшов сфери, де ймовірності моделі не витримують перевірки.

Імовірний наступний крок OpenAI

Очевидний шлях — скопіювати Jev і випустити новий тип моделі; у OpenAI є і навички, і залізо, і гроші. Цікавіший варіант — вбудувати класифікацію у звичайну LLM: модель може посеред роздумів вставити тег <prediction>, а серверний стек зчитає logits для токенів true і false і запише результат назад текстом.

Це дало б моделі змогу перевіряти власні припущення під час міркування, помічати небезпечний виклик інструмента чи спробу prompt injection і розподіляти роботу між більшими та меншими моделями.

Що це означає для TypeSafe

Якщо бар'єр справді важко подолати, TypeSafe, найпевніше, вистоїть — і навіть може стати ціллю поглинання з боку OpenAI, а не програти в конкурентній боротьбі; якщо ж захист слабкий, вікно можливостей TypeSafe закриється швидко. Almeida сказав Latent Space: «Якщо якість моделі має значення, ми ще довго будемо в дуже вигідній позиції».