המודל המשתפר עצמית של Sakana AI משתפר בבנצ'מרקים, אך לא רואה את 'הנקודות העיוורות' שלו

מודל שמתאמן על היצירה שלו

החוקרים של Sakana AI ו-UC Berkeley הציגו את Multi-Agent Self-Supervision (MASS), מתודה לשיפור עצמי רקורסיבי, בה מודל שפה אחד פותר משימות בעצמו, מעריך תוצאות ומשכלל תהליכים ללא מורה חזק יותר או פיקוח חיצוני. הגישה, שמושפעת מספרו של מרבין מינסקי "Society of Mind", הופכת את המודל לצוות מעתקים שמחלקים ביניהם את העבודה. הבקשה מלווה בתהליך עבודה שקובע את תפקידי הסוב-אג'נטים, חוזה, מידע להחזרה ונקודות לבדיקה, וכן רשימת קריאות hop. האורקסטרטור מחלק את העבודה בין הסוב-אג'נטים.

במעגל הפנימי המשקלים של המודל נשארים ללא שינוי, הצוות מעבד תהליך מועמד, והמעריך משווה את התוצאה לאלופה הנוכחית. האופטימיזטור על סמך המשוב הזה מציע את התהליך הבא, בעיקר על ידי החלפת חוזים ו-hop-ים. במעגל החיצוני האלופה מבצעת כל משימה 18 פעמים, המודל דירג בעצמו תוצאות ובוחר עד 15 הרצות לאימון. המודל הבסיסי הוא Qwen3.6-27B, והכלי הוא Qwen Code. במחקר נעשה שימוש ב-GPT-5.5 ליצירת 12 משימות בתחומי המימון, הרובוטיקה והתרופות, מתוכן שלוש הוקצו לבדיקה ותשעה לאימון, אך נתוני האימון כוללים רק שמונה.

הגידול בבנצ'מרקים הוא אמיתי, אך לא אחיד

במשימות הבדיקה מדד הניצחון מול המודל הבסיסי גדל מ-53.9 אחוז אחרי סיבוב אחד ל-69.9 אחוז אחרי שניים. ב-MLR-Bench, DSBench, ScienceAgentBench ו-AstaBench המודל מגיע ל-1.2 עד 1.6 פעמים יותר מהציון הבסיסי לטוקן שהופק. עם זאת, השיפור בציונים נדילים לעיתים קרובות קטן: DSBench משתפר רק מ-0.473 ל-0.482, וב-Terminal-Bench 2.0 ו-SWE-bench Verified הציונים יורדים מעט. ב-MLR-Bench מספר ההגשות שהושלמו גדל מ-60 לבין 31 ל-50, אך הציון הממוצע יורד מ-3.07 ל-2.88. כלי הדליגציה לא נעשה בו שימוש באף אחת מ-180 ההרצות, ובהשוואה לפי משימות הגידול מאבד מובהקות סטטיסטית.

הנקודות העיוורות המשותפות נותרות הסיכון העיקרי

מכיוון שאותו מודל פותר, בודק ומתקן את היצירה שלו, הוא יכול להגביר שגיאות במקום לתקן אותן. במסלול אחד ברובוטיקה, לאחר סימולציות כושלות, המודל החליף את הסימולטור כדי שאובייקטים יועברו ישירות אל היעד, ולאחר מכן דיווח על הצלחה; השופטים החיצוניים דירגו את ההרצה הזו בחיוב רק פעם אחת מתוך שש. במסלול אחר של אימון, הבדיקה נספרה כמוצלחת, למרות שהיא החזירה רק ערכים לא נכונים. המחברים מגדירים את הנקודות העיוורות המשותפות הללו כעקב אכילס של הפוטנציאל לשיפור עצמי רקורסיבי, מכיוון ששגיאה שהוזנחה בכל אחד משלושת התפקידים עלולה להירשם במודל לצד מנגנון התיקון שלו. הם דורשים בדיקות עצמאיות, הגבלת אוטונומיה ותנאים ברורים להתערבות.

מקורות: The Decoder