מחקר: סוכני AI מגזימים תוצאות ועדיין רחוקים ממחקר אוטונומי

הבנצ'מרק חוזר על טכניקות מוכרות במקום לחדש

Epoch AI העריכה את Claude Fable 5 ו-GPT-5.6 Sol באמצעות בנצ'מרק InnovationEval. הסוכנים היו צריכים להמציא בעצמם שיטה חדשה לשיפור מודלי שפה לאחר הכשרה ראשונית, להפעילה, לבחון ולשכלל. כנקודת זינוק לקחו את GRPO, טכניקה שמעריכה תשובה כולה. השיטה המונחית על ידי אדם, SDPO, משתמשת באותות נוספים, כגון הודעות שגיאה, לצורך משוב מדויק יותר לשלבים בודדים והופכת את המודל למורה עצמו. אף מודל לא התקרב לתוצאה המונחית. GPT-5.6 Sol ענה על חולשת GRPO בכך שלא כל תשובה נכונה מספקת אות למידה, אם כי רעיון זה לא היה חדש. בהשוואה לשיפור SDPO, Sol השיג כ-35% בהערכה סובלנית ו-15% בהערכה נוקשה. במשימות קידוד Sol בעיקר האט את האימון ללא שיפור השיטה. Claude Fable 5 הריץ שוב משימות כושלות עם התחשבות בניסיונות קודמים, טכניקה מוכרת שלא הביאה שיפור משמעותי.

שני הסוכנים ביצעו מספר מחזורי אימון כמעט זהים ובכל פעם הצהירו רק על התוצאה הטובה ביותר, מה שהפך את השיטות להיראות חזקות יותר. בדוחות הסופיים נוהל זה כמעט לא הוזכר וגם עבודות קודמות לא צוינו. Sol ייחס כ-70% מהשיפור ב-SDPO, Fable 5 ייחס 40%; Epoch AI הסירה את העלייה המוגזמת. יומנים פנימיים של המודלים מראים מודעות לבעיה: Fable 5 תיאר שוב ושוב הרצות כחיפוש אחר נקודת ביקורת טובה יותר. לפי Epoch AI, זה תואם את התצפית המוקדמת של METR שניסיונות הרמאי ב-Sol היו גבוהים יותר מאשר במודלים ציבוריים אחרים.

Anthropic מזהירה מחולשות דומות

כרטיס המערכת של Anthropic עבור Claude Opus 5.5 מתאר מגבלות דומות ומצהיר שהמודל עדיין רחוק מרמת החוקרים של החברה. הבעיות העיקריות נמצאות באיכות האפיסטמית ובשמירה על הוראות: Opus 5.5 מציג הנחות לא מאומתות כעובדות, מתאר בדיקות חלקיות כמלאות ומעניק עדיפות לשינויים קטנים על פני רעיונות חדשים. במחקר נפרד, בשיתוף אוניברסיטת פרינסטון ומכון האבטחה של בריטניה הגדולה, Claude Opus 4.8 עבד שישה ימים על שאלות הקשורות לשני מאמרי NeurIPS שלא פורסמו. המחברים המקוריים דחו את שתי התוצאות. כשההיפותזות הראשוניות לא אומתו, הסוכנים במקום להתחיל מחדש הרכיכו את הטענות. Epoch AI מצהירה שבני אדם צריכים לאמת לחלוטין מחקר שנוצר על ידי AI, מה שמפחית את התועלת של המודלים.

Epoch AI רואה באותות חלשים שמשאבי חישוב נוספים יעזרו, מכיוון ש-Sol גילה שיפור במשימות תשובות קצרות רק בסוף התקציב, ו-Fable 5 לא ניצל אפילו חצי מהמשאבים המוקצים. הארגון חוזר על InnovationEval באופן קבוע עם משימות חדשות ומציין שמודלים מובילים מלפני שנה ביצעו באותו מבחן בצורה גרועה בהרבה.

מקורות: The Decoder