Taste-Bench חדש: סוכני AI הטובים ביותר בקושי עולים על הטלת מטבע בהחלטות ארוכות טווח
חוקרים מ-Microsoft ומאוניברסיטת העיר הונג קונג יצרו את Taste-Bench, בנצ'מארק שבודק את השיפוט של סוכני AI בהחלטות ארוכות טווח. המודל הטוב ביותר, GPT-5.6 Sol, צבר רק 59,7% בבחירה אקראית.
סוכנים מתקשים להעריך החלטות ארוכות טווח
סוכני AI מבצעים כעת משימות רב־שלביות, למשל כתיבת עבודות מחקר או יצירת פרויקטים תוכנתיים, ובאופן מתמשך מקבלים החלטות לגבי איזו היפותזה לבדוק, באיזה קוד להסתמך או איזה ניסוי לבצע הבא. תוצאותיהן של בחירות אלו לעיתים רחוקות נראות מיד. החלטה גרועה לעיתים קרובות נראית בהתחלה טובה, והמחיר האמיתי שלה מתגלה רק אחרי שהסוכן מוציא את רוב התקציב. חוקרים מ-Microsoft ומאוניברסיטת העיר הונג קונג מכנים את היכולת לעשות את הבחירה הזו היטב “טעם” של הסוכן.
כיצד עובד Taste-Bench
בנצ'מארקים קיימים בודקים רק אם הסוכן השלים את המשימה, ולא את איכות השלבים הביניים שלו. הערכה אנושית הייתה יקרה וקשה להרחבה, ולכן החוקרים בודקים ברטרוספקטיבה. הם לוקחים את תיעוד עבודת הסוכן, עוצרים אותו ב“צומת ההחלטות”, שבו שני ניסיונות מתפצלים, מקדימים מהר את כל העבודה הבאה ומבקשים מהמודל לבחור את הדרך הטובה יותר. מכיוון שהתוצאה הסופית של כל עבודה מוכיחה איזה וריאנט עדיף, העבודות עצמן הן שמספקות את ההשוואה המסווגת. Taste-Bench כולל 502 שאלות מסוג זה, שנבנו מעבודות מדורגות של סוכנים על אלפי משימות תכנות ומחקר AI, ביניהן מ-SWE-bench Pro וממהדורה MALT של התמלילים הציבוריים של METR. מודל מחולל סינן מקרים טריביאליים או בלתי־פתירים, ובדיקה אנושית אישרה כמעט את כל התוויות שנוצרו אוטומטית.
אפילו המודלים הטובים ביותר בקושי עולים על ניחוש
הצוות בדק 14 מודלים ממשפחות Claude, GPT, Grok, DeepSeek, GLM, MiniMax ו-Mistral. כל שאלה הורצה פעמיים עם החלפת וריאנטי התשובה ונחשבה רק אם המודל ענה נכון בשתי הפעמים, מה שמעניק 25 אחוז לזיהוי טהור. המודל הטוב ביותר, GPT-5.6 Sol, צבר בממוצע 59,7 אחוז, ואחריו ממש קרוב GPT-5.5 עם 59,5 אחוז. הדיוק ירד ל-21 אחוז, קרוב לזיהוי אקראי, כשהרמז המרכזי מופיע רק אחרי עבודה המשכית ארוכה, לעומת 62,3 אחוז כשהרמז נראה כבר בשלבים הקודמים. הגדלת תקציב החשיבה כמעט לא שינתה את הדיוק, ומצביעה על כך שהרמז הנחוץ פשוט לא קיים בצמתים האלה.
אפשר לאמן טעם
החוקרים העבירו את השיפוט של מודל מורה אל תוך Qwen3.6-27B, ובכך העלו את הדיוק שלו במשימות לא מוכרות מ-30 ל-47,9 אחוז. כשההמלצות האלו נוצלו בעבודת סוכן עצמאית על 41 משימות SWE-bench Pro שלא נכללו באימון, מדד ההצלחה עלה מ-14,6 ל-33,7 אחוז, קרוב ל-39 אחוז שנותן בחירה נכונה לחלוטין. הבנצ'מארק והקוד זמינים לציבור.
מקורות: The Decoder
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.