Subquadratic-მა გამოუშვა SubQ Snap, გადაწყვეტილების მოდელი 384K ტოკენის კონტექსტით

SubQ Snap გადაწყვეტილების მოდელების რბოლაში

სან-ფრანცისკოში დაფუძნებულმა სტარტაპმა Subquadratic-მა გამოუშვა SubQ Snap, გადაწყვეტილების მოდელი, რომელიც, მისი თქმით, ერთ მოთხოვნაში 384 000 ტოკენამდე ტექსტსა და სურათს ამუშავებს. ეს 12-ჯერ აღემატება მეტოქე Jev-ის 32K-ტოკენიან ლიმიტს, რომელიც TypeSafe-მა სექტემბრის შუა რიცხვებში წარმოადგინა. მას შემდეგ ალტერნატივები გამოუშვეს OpenAI-მ, Perplexity-მ, Cloudflare-მ, Amazon-მა და Microsoft-მა.

ტრადიციული დიდი ენობრივი მოდელებისგან განსხვავებით, რომლებიც ტექსტს აგენერირებენ, გადაწყვეტილების მოდელები წინასწარ განსაზღვრული პასუხებიდან ირჩევენ, მაგალითად, რომელი ხელსაწყო უნდა გამოიძახოს აგენტმა ან გავიდა თუ არა ტესტი. Subquadratic-ის თქმით, Snap-ს 100 000 ტოკენის დამუშავება და გადაწყვეტილების დაბრუნება დაახლოებით ერთ წამში შეუძლია, რაც აგენტებს პოტენციურად საშუალებას აძლევს, დიდ კოდბაზებსა და დოკუმენტებზე ინფორმაციის ნაწილებად დაყოფის გარეშე იმუშაონ.

Sparse Attention და ბენჩმარკები

Snap აგებულია Subquadratic Sparse Attention (SSA) ტექნოლოგიაზე, რომელიც მაისში წარმოადგინეს და რომლის მიხედვითაც კომპანიის თქმით, ყურადღების მოთხოვნილება კონტექსტის სიგრძესთან ერთად კვადრატულის ნაცვლად წრფივად იზრდება. აღმასრულებელმა დირექტორმა Alex Whedon-მა The New Stack-ს განუცხადა, რომ Snap Jev-ის შთაგონებით შეიქმნა და რომ გადაწყვეტილების მოდელები ზოგიერთი ამოცანისთვის დეკოდირების საჭიროებას აღმოფხვრიან.

Subquadratic-ის ცნობით, Snap-მა ადაპტირებულ RULER ბენჩმარკზე 32K-დან ერთ მილიონ ტოკენამდე 96,3-დან 99,8-მდე ქულა დააგროვა, ხოლო Decision LCR ტესტზე 74,0 მიიღო Jev-ის 48,0-ის წინააღმდეგ. Decision Index 0.2.1-ზე Snap-მა 61,7 მიიღო 57,9-ის წინააღმდეგ, ხოლო Bespoke Labs-ის Nimble ბენჩმარკზე 82,9% 76,0%-ის წინააღმდეგ. 16 კორპორატიულ ბენჩმარკზე Snap-მა 13-ში იმარჯვა და საშუალოდ 67,6 დააგროვა 61,6-ის წინააღმდეგ, თუმცა Jev-მა სამ ტესტში, მათ შორის When2Call-ში, გაიმარჯვა.

გადახედვის შეზღუდვები და ფასები

Whedon-მა დაადასტურა, რომ ყველა შედეგი შიდა ტესტირებით იქნა მიღებული, თუმცა ადაპტირებული გრძელი კონტექსტის შეფასებების კოდი გამოქვეყნდა. 384K ლიმიტი საჯარო გადახედვისთვის დროებითი შეზღუდვაა; Snap ერთი მილიონი ტოკენითაც გამოიცადა, მაგრამ ამის საჯაროდ მხარდასაჭერად დაახლოებით 2,6-ჯერ მეტი გამოთვლითი სიმძლავრე იქნება საჭირო.

Snap საჯარო გადახედვაში ხელმისაწვდომია მილიონ შემავალ ტოკენზე 0,05 დოლარად, გამომავალი ტოკენებისთვის კი გადასახადი არ არის. შესაბამისად, 100K მოთხოვნა დაახლოებით ნახევარი ცენტი ღირს, სრული 384K მოთხოვნა კი დაახლოებით ორი ცენტი.

კომპანიის ისტორია

Subquadratic-მა მაისში ჩრდილიდან გამოვიდა: მან 29 მილიონი დოლარის საწყისი დაფინანსება მიიღო, სავარაუდო 500 მილიონი დოლარის შეფასებით, მანამდე კი Aldea-ს სახელით ოპერირებდა. მისი სადებიუტო მოდელი SubQ აცხადებდა 12-მილიონიან ტოკენის კონტექსტურ ფანჯარას. Snap ამ გრძელი კონტექსტის კვლევას გადაწყვეტილების მოდელების გადატვირთულ ბაზარზე აგრძელებს.

წყაროები: The New Stack