Subquadratic випустила SubQ Snap — модель прийняття рішень із контекстом 384K токенів

SubQ Snap серед моделей прийняття рішень

Стартап Subquadratic, заснований у Сан-Франциско, випустив SubQ Snap — модель прийняття рішень, яка, за його словами, обробляє до 384 000 токенів тексту та зображень в одному запиті. Це в 12 разів більше за 32K-токенний ліміт конкурента Jev, який TypeSafe представив у середині вересня. Після цього альтернативи випустили OpenAI, Perplexity, Cloudflare, Amazon і Microsoft.

Традиційні великі мовні моделі генерують текст, на відміну від моделей прийняття рішень, які обирають заздалегідь визначені відповіді, наприклад, який інструмент має викликати агент чи пройшов тест. За словами Subquadratic, Snap може обробляти 100 000 токенів і повертати рішення приблизно за одну секунду, що потенційно дозволяє агентам працювати з великими кодовими базами та документами, не розбиваючи інформацію на частини.

Цікава увага та бенчмарки

Snap побудований на технології Subquadratic Sparse Attention (SSA), яку представили в травні і, згідно з компанією, потреба у увазі зростає лінійно з довжиною контексту замість квадратично. Виконавчий директор Alex Whedon повідомив The New Stack, що Snap був створений натхненним Jev і що моделі прийняття рішень усувають потребу декодування для деяких задач.

За даними Subquadratic, Snap на адаптованому бенчмарку RULER набрав від 96,3 до 99,8 бала для довжин від 32K до одного мільйона токенів, тоді як у тесті Decision LCR він отримав 74,0 проти 48,0 у Jev. На Decision Index 0.2.1 Snap отримав 61,7 проти 57,9, а на бенчмарку Nimble від Bespoke Labs — 82,9% проти 76,0%. У 16 корпоративних бенчмарках Snap переміг у 13 і в середньому набрав 67,6 проти 61,6, хоча Jev виграв у трьох тестах, зокрема в When2Call.

Обмеження огляду та ціни

Whedon підтвердив, що всі результати були отримані за допомогою внутрішнього тестування, хоча код адаптованих оцінок довгого контексту було опубліковано. Ліміт 384K — тимчасове обмеження для публічного огляду; Snap також тестувався з одним мільйоном токенів, але для публічної підтримки цього знадобиться приблизно в 2,6 рази більше обчислювальної потужності.

Snap доступний у публічному огляді за 0,05 долара на мільйон вхідних токенів; для вихідних токенів плата не стягується. Відповідно, запит на 100K коштує приблизно пів цента, а повний запит на 384K — приблизно два центи.

Історія компанії

Subquadratic вийшла з тіні в травні: вона отримала стартове фінансування у 29 мільйонів доларів за оцінкою 500 мільйонів доларів, поки працювала під назвою Aldea. Її дебютна модель SubQ заявляла про контекстне вікно в 12 мільйонів токенів. Snap продовжує дослідження цього довгого контексту на перенасиченому ринку моделей прийняття рішень.

Джерела: The New Stack