Subquadratic-ը թողարկեց SubQ Snap որոշումների կայացնող մոդելը 384K թոկենի կոնտեքստով

SubQ Snap-ը որոշումների մոդելների մրցաշարում

Սան-Ֆրանցիսկոյում հիմնադրված ստարթապը Subquadratic-ը թողարկեց SubQ Snap, որոշումների կայացնող մոդելը, որը, ըստ նրա, մեկ հարցմանը մշակում է մինչև 384 000 թոկեն տեքստ և պատկեր: Սա 12 անգամ գերազանցում է մրցակից Jev-ի 32K թոկենի սահմանաչափը, որը TypeSafe-ը ներկայացրեց սեպտեմբրի կեսին: Դրանից հետո ալտերնատիվներ թողարկեցին OpenAI-ն, Perplexity-ը, Cloudflare-ը, Amazon-ը և Microsoft-ը:

Ավանդական մեծ լեզվական մոդելներից տարբեր, որոնք տեքստ են գեներացնում, որոշումների կայացնող մոդելները ընտրում են նախապես սահմանված պատասխաններից, օրինակ՝ որ գործիքը պետք է կանչի ագենտը կանչե՞լ է թեստը: Subquadratic-ի տեսակով, Snap-ը մշակել 100 000 թոկեն և վերադարձնել որոշումը կարող է մոտավորապես մեկ վայրկյանում, ինչը ագենտներին հնարավորություն է տալիս աշխատել մեծ կոդային բազաներում և փաստաթղթերում՝ առանց տեղեկատվությունը մանր մասերի բաժանելու:

Հետաքցիչ ուշադրություն և բենչմարկներ

Snap-ը կառուցված է Subquadratic Sparse Attention (SSA) տեխնոլոգիայի վրա, որը ներկայացվել է մայիսին և որի համաձայն՝ ընկերության տեսակով, ուշադրության պահանջը կոնտեքստի երկարության հետ միասին ոչ կադրատիկ աճում է գծայինորեն: Գործադիր տնօրեն Alex Whedon-ը The New Stack-ին հայտնեց, որ Snap-ը ստեղծվել է Jev-ի ոգեշնչմամբ և որ որոշումների կայացնող մոդելները հնարավորություն են տալիս հեռացնել դեկոդավորման կարիքը որոշակի խնդրերի համար:

Subquadratic-ի տեսակով, Snap-ը հարմարեցված RULER բենչմարկում 32K-ից մեկ միլիոն թոկենը հավաքեց 96,3-ից 99,8 միավոր, իսկ Decision LCR թեստում ստացեց 74,0՝ Jev-ի 48,0-ի համեմատ: Decision Index 0.2.1-ում Snap-ը ստացեց 61,7՝ 57,9-ի համեմատ, իսկ Bespoke Labs-ի Nimble բենչմարկում՝ 82,9%՝ 76,0%-ի համեմատ: 16 կորպորատիվ բենչմարկում Snap-ը հաղթեց 13-ում և միջինով հավաքեց 67,6՝ 61,6-ի համեմատ, թեև Jev-ը հաղթեց երեք թեստում, այդ թվում՝ When2Call-ում:

Վերանայման սահմանափակումներ և գներ

Whedon-ը հաստատեց, որ բոլոր արդյունքները ստացվել են ներքին փորձարկումներով, թեև հարմարեցված երկար կոնտեքստի գնահատականների կոդը հրապարակվեց: 384K սահմանաչափը ժամանակավոր սահմանափակում է հրապարակային վերանայման համար; Snap-ը փորձարկվել է նաև մեկ միլիոն թոկենով, բայց դրա հասանելիության համար հրապարակային մոտավորապես 2,6 անգամ ավելի շատ հաշվողական հզորություն կպահանջվի:

Snap-ը հասանելի է հրապարակային վերանայման մեկ միլիոն մուտքային թոկենի համար 0,05 դոլարով, իսկ ելքային թոկենների համար վճար չկա: Համապատասխանաբար, 100K հարցումը մոտավորապես կես սենտի է, իսկ ամբողջական 384K հարցումը՝ մոտավորապես երկու սենտ:

Ընկերության պատմություն

Subquadratic-ը մայիսին դուրս եկավ ստվերից: նա ստացեց 29 միլիոն դոլար սկզբնական ֆինանսավորում, մոտավորապես 500 միլիոն դոլար գնահատմամբ, մինչ աշխատում էր Aldea անունով: Նրա դեբյուտային մոդելը SubQ-ն հայտարարեց 12 միլիոն թոկենի կոնտեքստային պատուհան: Snap-ը այս երկար կոնտեքստի ուսումնասիրությունը շարունակում է որոշումների կայացնող մոդելների ծանրաբեռնված շուկայում:

Աղբյուրներ: The New Stack