TypeSafe AI מציגה את System One Models ואת Jev

הסטארטאפ TypeSafe AI, שפעל שנתיים בחשאי, הכריז על המודל הראשון מסוג System One — סוג חדש של מודלי חזית שנבנו לקבל החלטות מהירות ומובנות שמערכות תוכנה יכולות להשתמש בהן ישירות. המודל הפומבי הראשון, Jev, זמין מגישה מוקדמת. את ההודעה כתב מייסד החברה, דיוגו אלמיידה, שעבד בעבר ב-OpenAI על השיטות שהפכו מודלי שפה לשימושיים בביצוע הוראות.

ממחרוזות להחלטות בטיפוסים

Jev אינו מייצר טקסט. הפלט שלו הוא ערכים מובנים ומוגני טיפוס שצורתם והתשובות האפשריות שלהם מוגדרים מראש, ולכן המודל אינו יכול לבצע שגיאת טיפוס; לפי החברה זו הבטחה מתמטית ולא אמפירית. כל תשובה מגיעה עם הסתברויות מכויילות וציוני ביטחון. אלמיידה מתאר את המודל כקריאה לפונקציה של בינה בחזית: מצב לא מובנה נכנס, החלטות הסתברותיות בטיפוסים יוצאות.

הטענה של TypeSafe היא שצוואר הבקבוק של האוטומציה אינו הבינה אלא הממשק. מחרוזת יכולה להיות תשובת צ'אט, קוד, סירוב או הזיה, וכל תוכנה שצורכת אותה נדרשת לפרסר ולאמת את התוצאה. מכיוון שהפלט מוגבל, Jev אמור להשתלב בקוד רגיל ככלל החלטה מטושטש — לסווג, לנתב, לדרג, לחלץ או להסתעף במקומות שבהם לוגיקה כתובה ביד שברירית מדי.

RLCD, דוגם מקבילי והמספרים שפורסמו

הסטאק בנוי על ארכיטקטורה חדשה, דוגם מקבילי ושיטת אימון שהחברה מכנה Reinforcement Learning for Calibrated Decisions, במקום למידה מחיזוקים עם משוב אנושי ותגמולים ניתנים לאימות. ההבדל המוצהר הוא בקנה מידה: Jev מחזיר את כל הפלטים בשאילתה אחת במקום לייצר טוקן אחר טוקן. TypeSafe מפרסמת מחיר של 0.042 דולר למיליון טוקני קלט, טוקני פלט בחינם, וזמני תגובה של 70 עד 500 אלפיות השנייה לעומת 3 עד 329 שניות במודלי חזית — האצה של פי 40 עד 200.

באתר הבית מופיעים המספרים פי 193.6 מהיר ופי 444.6 זול, שנלקחו מהערכות תהליכי עבודה שבהן כל מודל מקבל אותו גרף חישוב והתחזיות מושוות לממוצע של שני מודלי ייחוס. TypeSafe מציינת שהתהליכים נבנו בידי הצוות שלה, שתשובות הייחוס נוטות למודלים של OpenAI ו-Anthropic, ולכן יש להתייחס לתוצאותיה בזהירות.

הדגמות והשם

הצוות הדגים את Jev משחק Doom ממצב משחק מובנה בקצב של כעשר שאילתות בשנייה ובמחיר של כ-7 דולר לשעה, וכן משחק Wikiracing שבו כל צעד הוא בחירה בין מאות או אלפי קישורים; מעל 255 אפשרויות המודל עובד בשני שלבים — ניקוד ואז בחירה מפורשת. השמות מגיעים מ״לחשוב מהר ולחשוב לאט״ של דניאל כהנמן עבור סוג המודלים, ומוויליאם סטנלי ג'בונס עבור Jev — הכלכלן שפרדוקס שלו קבע שפחם זול יותר לא הפחית את צריכת הפחם. TypeSafe מהמרת על אותו הימור עבור בינה: כל סדר גודל של הוזלה פותח שימושים חדשים.