Subquadratic השיקה את SubQ Snap, מודל החלטות בהקשר של 384K טוקנים

SubQ Snap במרוץ מודלי ההחלטות

סטארטאפ שמוקם בסן-פרנסיסקו, Subquadratic, השיק את SubQ Snap, מודל החלטות שלטענתו מעבד טקסט ותמונה של עד 384 000 טוקנים בבקשה אחת. זה גדול פי 12 ממגבלת 32K טוקנים של המתחרה Jev, שהציגה TypeSafe באמצע ספטמבר. לאחר מכן פרסמו אלטרנטיבות OpenAI, Perplexity, Cloudflare, Amazon ו-Microsoft.

בניגוד למודלי שפה גדולים מסורתיים שמייצרים טקסט, מודלי החלטות בוחרים מתוך תשובות מוגדרות מראש, למשל איזה כלי הסוכן צריך להפעיל או אם עבר בדיקה. לטענת Subquadratic, Snap יכול לעבד 100 000 טוקנים ולהחזיר החלטה בכשנייה אחת, מה שמאפשר לסוכנים פוטנציאלית לעבוד על בסיסי קוד ומסמכים גדולים בלי לפצל מידע לחלקים.

תשומת לב ממוזערת ובנצ'מרקים

Snap בנוי על טכנולוגיית Subquadratic Sparse Attention (SSA), שהוצגה במאי, ולפי החברה דרישת תשומת הלב גדלה באופן ליניארי לאורך ההקשר במקום בריבוע. המנהל הכללי Alex Whedon אמר ל-The New Stack כי Snap נוצרה בהשראת Jev וכי מודלי החלטות מבטלים את הצורך בפענוח עבור חלק מהמשימות.

לפי Subquadratic, Snap אספה ציון של 96,3 עד 99,8 בבנצ'מרק RULER מותאם מ-32K עד מיליון טוקנים, ובבדיקת Decision LCR קיבלה 74,0 מול 48,0 של Jev. ב-Decision Index 0.2.1 Snap קיבלה 61,7 מול 57,9, ובבנצ'מרק Nimble של Bespoke Labs 82,9% מול 76,0%. ב-16 בנצ'מרקים ארגוניים Snap ניצחה ב-13 ואספה בממוצע 67,6 מול 61,6, אך Jev ניצחה בשלוש בדיקות, בהן When2Call.

הגבלות צפייה ומחירים

Whedon אישר שכל התוצאה הושגו עם בדיקות פנימיות, אך קוד ההערכות עבור הקשר ארוך מותאם פורסם. מגבלת 384K היא הגבלה זמנית לצפייה ציבורית; Snap נבדקה גם עם מיליון טוקנים, אך לתמיכה ציבורית בכך תידרש בערך 2,6 פעמים יותר כוח חישוב.

Snap זמין בתצוגה ציבורית בתשלום 0,05 דולר למיליון טוקנים נכנסים, ולא נגבה תשלום על טוקנים יוצאים. בהתאם, בקשה של 100K עולה בערך חצי סנט, ובקשה מלאה של 384K בערך שני סנטים.

היסטוריית החברה

Subquadratic יצאה מהחשכה במאי: היא גייסה 29 מיליון דולר בסבב זרעים, בשווי משוער של 500 מיליון דולר, ולפני כן פעלה בשם Aldea. מודל הבכורה שלה, SubQ, הכריז על חלון הקשר של 12 מיליון טוקנים. Snap ממשיכה את המחקר של הקשר ארוך זה בשוק העמוס של מודלי החלטות.

מקורות: The New Stack