Чому Featherless каже, що для доставки піци не потрібен танк

Постачальник інференс-сервісів Featherless випустив бібліотеку з відкритим кодом Simple Jev. Вона перетворює відкриті моделі на швидкі класифікатори, які можуть розподіляти вхідні дані за категоріями без прикладів.

Simple Jev базується на Jev, текстовій системі із закритим кодом, випущеній цього місяця TypeSafe, і поширює функцію структурованого рішення також на відкриті моделі. Застосунки можуть оцінювати вхідні дані й повертати категорію або один із двох варіантів без генерації розмовного тексту.

Для доставки піци не потрібен танк

За словами генерального директора Featherless Eugene Cheah, для такого звичайного завдання, як класифікація запиту користувача, використання frontier-моделі схоже на «відправлення танка доставляти піцу»: інструменти надмірні.

«Танк для піци все ж дістанеться до місця, але він повільний, дорогий і це неправильний транспортний засіб», — каже він. «Бізнесу потрібна швидка реакція, і це інший тип AI, який індустрія довго ігнорувала».

Cheah визнає, що великі закриті моделі можуть виконувати ці завдання, але вважає, що вони є неправильним інструментом для цієї роботи: вони дають відповідь через генерацію тексту за допомогою LLM із трильйонами параметрів, і це має frontier-ціну. Simple Jev не «пише» відповідь: він зупиняє модель у місці, де вона робила вибір, зчитує оцінку кожного варіанта й видає ймовірності.

Робота із зображеннями поки що лише на моделях Gemma і Qwen.

Що таке класифікатор, якому не потрібні приклади

Такі системи використовують попередньо навчені мовні моделі, щоб розподіляти вхідні дані за категоріями, для яких їх окремо не навчали. За словами Cheah, класифікатори не є новинкою, в університетах цього навчали ще до появи ChatGPT; новим є добре опрацьований zero-shot API.

На його думку, будь-який випускник курсу AI/ML може відтворити Simple Jev одним реченням, а код опубліковано на GitHub, тож він очікує сотні відкритих клонів Jev.

Ціни та аргумент відкритих моделей

Featherless також відкриває безкоштовні публічні ендпоінти, щоб розробники могли тестувати класифікаційні моделі без API-ключа; демо обмежене контекстом 2 000 токенів і двома запитами на секунду. Для продакшену ціна починається від 0,03 долара за мільйон вхідних токенів, вихідні токени безкоштовні; ціна Jev від TypeSafe — 0,042 долара.

За оцінкою Cheah, класифікація зображення або текстового абзацу споживає від 500 до 1 200 токенів, тобто за ціною 0,03 долара за мільйон токенів одне рішення коштує приблизно три тисячні цента. Featherless закликає індустрію відмовитися від «монолітних універсальних моделей».

Компанія ставить цей крок у ширший контекст: OpenAI представила CLIP на початку 2021 року, а Microsoft Florence-2 — влітку 2024 року. Simple Jev доступний на GitHub.