Cloudflare анонсує Clairic, модель витягування System One на Workers AI

Новий клас моделей System One

Cloudflare анонсувала попередню версію Clairic, першої моделі в новому класі моделей витягування в стилі System One. Модель доступна на Workers AI як @cf/cloudflare/clairic, і Cloudflare заявляє, що має намір незабаром опублікувати модель з відкритими вагами. Анонс відбувається після представлення TypeSafe моделі рішень System One Jev місяць тому, концепція, запозичена з книги Даніеля Канемана «Мислення швидке та повільне», де мислення System One є швидким і точним, тоді як System Two охоплює обмірковане міркування, як-от LLM.

Витягування, обчислення, оцінювання та прогнозування

На відміну від моделей рішень, таких як Jev і Clef, які повертають ймовірності для зазначених варіантів, Clairic відповідає значеннями: витягнутими, обчисленими, оціненими або прогнозованими. Витягнуті значення повертаються як фрагменти з символьними зсувами та показниками впевненості. Обчислювані значення, такі як числа, дати, тривалості та списки, слідують правилам свого типу. Оцінні значення повертаються як розподіл у межах, заданих користувачем, з медіаною та 80-відсотковим інтервалом. Прогнозовані значення дають одну оцінку на крок уперед, кожна зі своїм інтервалом. Оскільки модель не генерує токенів, Cloudflare заявляє, що вона не може видавати неправильно надруковані відповіді або галюцинувати так, як це може робити LLM, хоча вона все одно може помилятися. Результати завжди є значенням оголошеного типу або null, коли модель не може знайти відповідь.

Один прохід, багато полів

Запит складається зі стану (тексту для читання, а також до чотирьох необов'язкових зображень) та карти типізованих полів, кожне з типом і необов'язковими інструкціями зрозумілою мовою. Кожне поле обробляється за один прямий прохід без міркувань і без вихідних токенів, тому модель стягує плату лише за вхідні дані та зазвичай відповідає менше ніж за секунду. Немає обмежень на кількість полів; якщо вони не вміщаються поруч із вхідними даними за один прохід, сервер розбиває їх на паралельні проходи та об'єднує відповіді. Cloudflare продемонструвала Clairic на листі клієнтської підтримки, фотографії чеку, оцінці вартості будинку на основі порівняльних продажів та прогнозі щоденної кількості перевірок TSA на контрольно-пропускному пункті. Протягом 21 дня прогнозів TSA модель помилялася в середньому на 3.3 відсотки, і 17 з 21 фактичних показників потрапили у її 80-відсотковий інтервал.

Конвеєр із моделями рішень та LLM

Cloudflare позиціонує моделі витягування як один крок поряд з моделями рішень та LLM: Clairic перетворює необроблені вхідні дані на типізовані значення, Clef приймає рішення на основі цих значень, а LLM пише відповідь. У живій демонстрації конвеєра для претензії щодо пошкодженого товару каскад завершився за 19.3 секунди проти 61.7 секунд для версії, що повністю базується на LLM, приблизно у 3.2 раза швидше, за ціною $6,032 за мільйон претензій проти $11,740. Кожен крок також отримує чистіші, типізовані вхідні дані, ніж попередній, і LLM бачить лише рішення та факти, які йому потрібні, а не сирий лист.

Джерела: Cloudflare