אמזון השיקה את Strands Decider 2B, אנלוג של Jev

ב-1 באוקטובר הציגה Amazon Web Services את המודל בקוד פתוח Strands Decider 2B. במקום ליצור טקסט הוא בוחר מבין אפשרויות מוגדרות מראש ומודד את אמינות התשובה בציון. באותו שבוע הציגה OpenAI API דומה בשם Decisions במצב מוגבל.

המודל מבוסס על הרעיון של Jev מבית TypeSafe. המהנדס הבכיר ב-Amazon Marc Brooker בנה גרסה משלו, שלזמן קצר תפסה את המקום הראשון בקרב מודלים בגודלה בדירוג JevBench. Amazon ניקתה את הפרויקט ו-Strands Labs הוציאה אותו.

איך זה עובד

Strands Decider 2B מבוסס על המודל הפתוח Qwen3.5-2B של Alibaba: AWS הסירה ממנו את חלק יצירת הטקסט והחליפה אותו במנגנון שמעריך תשובות מוצעות. יש לו מעט יותר ממיליון פרמטרים, והגוף הראשי משתמש במתאם rank-16 LoRA. בגלל מרחב התשובות המוגבל, המודל לא יכול להמציא אפשרות שאף אחד לא הציע.

לדוגמה, משתמש שואל על מזג האוויר בלי לציין עיר: הסוכן משער עיר ומתכנן לקרוא לכלי מזג אוויר, אבל לפני הקריאה Decider בודק אם הטיעונים נשענים על השיחה. הבדיקה עוברת דרך מערכת ההתערבות של Strands: הקריאה יכולה להימשך או להיאסר. בהדגמה Decider פועל מקומית.

תוצאות

במאגר הציבורי של JevBench, לפי AWS, המודל נמצא במקום השני בקרב מודלים ציבוריים של כ-2 מיליארד פרמטרים, ובמקום הראשון בקרב אלה שמפרסמים מתכון אימון מלא. הוא עונה נכון לכל שאלה ברמה פשוטה, ומקבל החלטה בפחות מ-100 מילישניות על NVIDIA RTX 3090. המהדורה כוללת גם נתוני אימון וסקריפטים.

למה זה חשוב

Jev של TypeSafe יצא לפני כמה שבועות והחל גל של מודלים דומים: אחריו באו Kev, imajev, Laya ופרויקטים נוספים, וכעת מצטרפות גם חברות גדולות. לדעת Brooker, האתגר הוא לשפר החלטות מהירות בלי לפגוע באינטליגנציה; בניית מודל מעניין לשוק קטן עולה מאות או אלפי דולרים.

TypeSafe עובדת כעת על מודלים עתידיים. המייסד וה-CEO Diogo Almeida אמר ל-TechCrunch: „אני מבין שאנשים חושבים שזה בזק זהב, אבל הם עלולים להמעיט בכמה קשה לעשות מודלים שבאמת חכמים“. נשארת פתוחה השאלה אם המודל יהיה זמין גם בענן של AWS.

מקורות: TechCrunch · The New Stack · Techmeme