Subquadratic, 384K token bağlamlı karar verme modeli SubQ Snap'i yayınladı

SubQ Snap, karar verme modeli yarışında

San Francisco merkezli girişim Subquadratic, tek istekte 384 000 kadar token olan metni ve görüntüyü işlediğini iddia ettiği karar verme modeli SubQ Snap'i yayınladı. Bu, TypeSafe'ın Eylül ortasında sunduğu rakip Jev'in 32K token limitinden 12 kat daha fazla. Bunun ardından alternatifleri OpenAI, Perplexity, Cloudflare, Amazon ve Microsoft yayınladı.

Metin üreten geleneksel büyük dil modellerinden farklı olarak, karar verme modelleri önceden belirlenmiş yanıtlar arasından seçim yapar; örneğin ajanın hangi aracı çağırması gerektiğini veya testin geçip geçmediğini belirler. Subquadratic'e göre Snap, 100 000 token'i işlemeyi ve kararı döndürmeyi yaklaşık bir saniyede başarabiliyor; bu, ajanların potansiyel olarak büyük kod tabanları ve belgeler üzerinde bilgiyi parçalara bölmelerine gerek kalmadan çalışabilmelerini sağlıyor.

Dikkat çekici ilgi ve kıyaslamalar

Snap, Subquadratic Sparse Attention (SSA) teknolojisine inşa edilmiştir; bu teknoloji Mayıs'ta tanıtılmış olup, şirkete göre dikkat gereksiniminin bağlam uzunluğuyla birlikte karesel yerine doğrusal olarak büyümesini sağlar. İcra direktörü Alex Whedon, The New Stack'e Snap'in Jev'den ilhamla oluşturulduğunu ve karar verme modellerinin bazı görevler için kod çözme gereksinimini ortadan kaldırdığını açıkladı.

Subquadratic'in gözlemine göre Snap, uyarlanmış RULER kıyaslamasında 32K'dan bir milyon token'a kadar 96,3'ten 99,8'e kadar puan topladı; Decision LCR testinde ise Jev'in 48,0'ına karşı 74,0 aldı. Decision Index 0.2.1'de Snap, 57,9'a karşı 61,7 aldı; Bespoke Labs'in Nimble kıyaslamasında ise 76,0%'a karşı 82,9% alarak geride kaldı. 16 kurumsal kıyaslamada Snap 13'ünü kazandı ve ortalama 61,6'ya karşı 67,6 topladı; ancak Jev, When2Call dahil üç testinde kazandı.

Denetim kısıtlamaları ve fiyatlandırma

Whedon, tüm sonuçların dahili testlerle elde edildiğini doğruladı, ancak uyarlanmış uzun bağlam değerlendirmelerinin kodu yayımlandı. 384K limiti, herkese açık denetim için geçici bir kısıtlama; Snap bir milyon token ile de test edildi, ancak bunun herkese açık hale getirilmesi için yaklaşık 2,6 kat daha fazla hesaplama gücü gerekecek.

Snap, herkese açık denetimde girdi token başına 0,05 dolardan sunulmaktadır; çıktı tokenleri için ise ücret yoktur. Buna göre 100K istek yaklaşık yarım sent, tam 384K istek ise yaklaşık iki sent tutmaktadır.

Şirket tarihçesi

Subquadratic, Mayıs'ta gölgeden çıktı: Aldea adıyla faaliyet gösterirken 29 milyon dolarlık tohum yatırımı aldı ve yaklaşık 500 milyon dolarla değerlendirildi. İlk modeli SubQ, 12 milyon tokenluk bir bağlam penceresi sunuyordu. Snap, bu uzun bağlam araştırmasını, karar verme modellerinin aşırı yüklenmiş piyasasında sürdürmektedir.

Kaynaklar: The New Stack