Subquadratic SubQ Snap qərar vermə modelini 384K kontekst ilə buraxdı

SubQ Snap qərar vermə modelləri yarışında

San-Fransiskoda qurulan startap Subquadratic SubQ Snap qərar vermə modelini buraxdı; onun dediyinə görə, o, bir sorğuda 384 000 tokenə qədər mətn və şəkil emal edir. Bu, TypeSafe-un sentyabrın ortalarında təqdim etdiyi rəqib Jev-in 32K token limitindən 12 dəfə çoxdur. Bundan sonra alternativləri OpenAI, Perplexity, Cloudflare, Amazon və Microsoft buraxdı.

Ənənəvi böyük dil modellərindən, mətn yaradan modellərdən fərqli olaraq, qərar vermə modelləri əvvəlcədən müəyyən edilmiş cavablardan seçir, məsələn, agent hansı aləti çağırmalıdır və ya test keçirmelidir. Subquadratic-in dediyinə görə, Snap 100 000 tokeni emal edib qərarı təxminən bir saniyəyə qaytara bilər; bu agentlərə potensial olaraq böyük kod bazaları və sənədlərdəki məlumatları hissələrə bölmədən işləməyə imkan verir.

Seyrək diqqət və benchmarklar

Snap, mayda təqdim edilən və şirkətin dediyinə görə diqqət tələbinin kontekst uzunluğu ilə birlikdə kvadratik əvəzinə xətti artdığı Subquadratic Sparse Attention (SSA) texnologiyasına əsaslanır. İcraçı direktoru Alex Whedon The New Stack-a Snap-in Jev-dən ilham alaraq yarandığını və qərar vermə modellərinin bəzi tapşırıqlar üçün dekoding ehtiyacını aradan qaldırdığını bildirdi.

Subquadratic-in məlum olduğu kimi, Snap adaptasiya edilmiş RULER benchmarkində 32K-dən bir million tokenə qədər 96,3-dən 99,8-ə qədər bal topladı, Decision LCR testində isə Jev-in 48,0-ına qarşı 74,0 aldı. Decision Index 0.2.1-də Snap 57,9-ə qarşı 61,7 aldı, Bespoke Labs-in Nimble benchmarkində isə 76,0%-ə qarşı 82,9%. 16 korporativ benchmarkində Snap 13ünü qazandı və 61,6-ya qarşı orta 67,6 topladı, lakin Jev üç testdə, o cümlədən When2Call-də qələbə götürdü.

Review məhdudiyyətləri və qiymətlər

Whedon bütün nəticələrin daxili testlər ilə alındığını təsdiqlədi, lakin adaptasiya edilmiş uzun kontekst qiymətləndirmələrinin kodu dərc edildi. 384K limiti ümumi baxış üçün müvəqqəti məhdudiyyətdir; Snap bir million token ilə də sınaqdan keçdi, lakin bunun ümumi dəstəklənməsi üçün təxminən 2,6 dəfə çox hesablama gücü tələb olunacaq.

Snap ümumi baxışda milyon giriş tokeninə 0,05 dollar ilə əlçatandır, çıxış tokenləri üçün isə ödəniş tələb olunmur. Buna görə 100K sorğu təxminən yarım sentə, tam 384K sorğu isə təxminən iki sentə bərabərdir.

Şirkətin tarixi

Subquadratic mayda kölgədən çıxdı: 29 milyon dollarlıq ilk maliyyələşmə aldı, təxminən 500 milyon dollarlıq qiymətləşmə ilə, o vaxta qədər Aldea adı ilə fəaliyyət göstərdi. Onun debüt modeli SubQ 12 milyon tokenlik kontekst pəncərəsini elan etdi. Snap bu uzun kontekst araşdırmasını qərar vermə modellərinin dolğun bazarında davam etdirir.

Mənbələr: The New Stack