Jev שימושי בלי נתוני אימון, אבל ההסתברויות שלו לא מכויילות עבורכם

Jev הוא ה-"System One Model" הראשון של TypeSafe. במקום לייצר טקסט, הוא מקבל קלט לא מובנה ומחזיר החלטות מטופּסות מתוך קבוצה של תשובות שהוגדרה מראש, כשלכל אחת מהן מוצמדת הסתברות. החברה אומרת שכל תשובה מלווה בהסתברויות מכויילות. בפוסט שפורסם ב-23 בספטמבר 2026 טוען Alex Molas ש-Jev שימושי, אך שטענת הכיול לא יכולה להתקיים באופן כללי: יש להתייחס לפלט שלו כאל ציונים ולא כאל הסתברויות.

שימושי בלי נתוני אימון

אפשר להפעיל את Jev על כל בעיית סיווג בלי לאסוף נתוני אימון ולקבל תוצאות סבירות. רבים כתבו ב-Twitter שזה "סתם BERT מכוונן", אבל כיוונון BERT דורש נתונים, ולכן כשאין נתונים Jev הוא חלופה טובה. בנוסף, Jev הוא מסווג אוניברסלי, בעוד BERT מכוונן מועיל רק למשימה שלו. ולכן בדיוק ההסתברויות שלו לא יכולות להיות מכויילות עבורכם.

כיול תלוי בהתפלגות הנתונים שלכם

TypeSafe אומרת ש-Jev אומן ב-RLCD, reinforcement learning להחלטות מכויילות, ושההסתברויות שהוא מפיק מכויילות. Molas חולק על כך: מודל יכול להיות מכויל על הנתונים של TypeSafe ועדיין להיות לא מכויל על שלכם. כיול פירושו שלכל הסתברות חזויה p, ההסתברות האמיתית של המחלקה החיובית בהינתן החיזוי הזה היא p. אם Jev מדווח על הסתברות ספאם של 0.7, כ-70% מהודעות כאלה אמורות להיות ספאם.

כיול אינו תכונה של המודל בלבד, אלא גם של התפלגות הנתונים שלכם. אותו מודל יכול להיות מכויל על מערך נתונים אחד ולא על אחר. שתי חברות יכולות להגדיר ספאם באותה צורה ועדיין להחזיק נתונים שונים מאוד; Jev יחזיר לשתיהן את אותה הסתברות לאותו קלט ולאותו פרומפט. גם אם RLCD אכן מאמן את Jev להיות מכויל על התפלגות האימון וההערכה שלו, ההסתברויות שלו עשויות שלא להישאר מכויילות על תעבורת הייצור שלכם.

הבעיה עמוקה יותר מהיסט התפלגות

המחבר גם מצא דוגמאות שבהן Jev אומר שמטבע הוגן נוחת על "עץ" בהסתברות 0.92. ההסתברות האמיתית כתובה בפרומפט, והמודל בכל זאת לא מדווח אותה, וזה חמור יותר מהיסט תפוצה רגיל. אם המשמעות של ההסתברויות משתנה לפי הפרימיטיב שבו משתמשים, מה בכלל אומר "הסתברויות מכויילות"?

כיילו מחדש, או התייחסו לפלט כאל ציון

אם אתם זקוקים להסתברויות מכויילות, תצטרכו לכייל מחדש את המספרים של Jev על הנתונים שלכם. החדשות הטובות שזה זול: כמה מאות דוגמאות מתויגות מהתעבורה שלכם מספיקות בדרך כלל כדי להתאים Platt scaling על גבי הציונים של Jev.

המסקנה היא להתייחס לפלט של Jev כאל ציונים טובים, שמסדרים דוגמאות היטב לפי דירוג, ולא כאל הסתברויות טובות. אם המערכת שלכם תלויה במספר עצמו, לצורך ספים, עלויות או שילוב עם מודלים אחרים, מדדו כיול על הנתונים שלכם.