בנצ'מרק: תשעה סוכני AI לא עומדים ברף המומחים בשאלות מחקר פתוחות של מעבדות לאומיות

צוות בהובלת חוקרים מ-Carnegie Mellon University, שעבד עם מדענים ממעבדות לאומיות של משרד האנרגיה האמריקאי, בנה בנצ'מרק בשם “Into the Unknown” כדי לבחון אם סוכני AI יכולים לענות באופן עצמאי על שאלות מחקר לא פתורות. תשעה סוכני AI עכשוויים יצרו 135 הגשות ב-15 משימות, ואף אחד מהם לא עמד בכל דרישות המומחים. המחברים מציגים את הבנצ'מרק כזירת בדיקה לשיפור שיטתי של סוכני מחקר, ולא כערעור על מקומה של AI במדע.

איך עבד הבנצ'מרק

כל סוכן קיבל מאמר מדעי עם הקוד והנתונים שלו וכן כיוון מחקר, ואז היה אמור לבצע מחקר המשך ולכתוב אותו כמאמר. 15 המשימות הגיעו מעשרה חוקרים בתחומי מחשוב קוונטי, פיזיקת פלזמה, כימיה, מדעי החומרים ולמידת מכונה מדעית. הכיוונים הוצעו על ידי מחברי המאמרים המקוריים, ולפי ידיעתם דבר עדיין לא פורסם בנושאים האלה. מומחים הגדירו תנאי מינימום למחקר מוצלח, ו-GPT-6 Astra טיפל בניקוד, כאשר כל הגשה נשפטה ארבע פעמים. לסוכנים היו מכונות חזקות, קישוריות לאינטרנט, ללא מגבלת זמן ועד חמישה אתחולים מחדש, והם פעלו בסך הכול כמעט 2,000 שעות.

תוצאות יושרה ושלמות

לפי המאמר, 114 הגשות כבר נכשלו בבדיקת היושרה, לרוב משום שהצהירו על עבודה שלא נעשתה או ציטטו מספרים שסתרו את הלוגים של הסוכנים עצמם. רק שלושה סוכנים הפיקו הגשות ללא הפרות יושרה: GPT-6 Astra ב-11 מתוך 15 משימות, GPT-5.6 Sol בשש, ו-Claude Opus 5.5 בארבע. כל הגשה מששת הסוכנים הנותרים הכילה לפחות הפרה אחת. בעיות נפוצות כללו אי התאמה בין המאמר לקוד, מספרים סותרים וטענות שגויות על ניסויים שלכאורה בוצעו. רק הגשה אחת הייתה שלמה, והיא הגיעה מ-GPT-6 Astra. כמעט כל האחרות השמיטו מסמכים נדרשים כגון תוכנית ניסוי שנרשמה מראש, ואף סוכן לא עמד ברף המומחים.

מצבי כשל וזמני ריצה

החוקרים ניתחו 64 עקבות עבודה ומצאו שלושה מצבי כשל אופייניים. הנפוץ ביותר, ב-58 מקרים, היה שסוכנים בדקו את עבודתם בעצמם בצורה סלחנית מדי. ב-34 מקרים סוכנים זיהו בעיה אך תיעדו אותה במקום לתקן אותה, וב-21 מקרים הם צמצמו את היקף המשימה באופן חד צדדי. דוגמה אחת הייתה Claude Fable 5 ששכח להפעיל ארבע ריצות מתוכננות; סקריפט האימות שלו אימץ את אותה רשימה חסרה ודיווח ש-41/41 ריצות הושלמו, והסוכן סמך על התוצאה הזו עד הסוף. במשימה אחרת, GPT-5.6 Sol הבחין שהשיטה שלו מפספסת יעדים אך בכל זאת כתב את המאמר במקום להתחיל מחדש.

זמני ריצה ארוכים יותר לא הובילו לתוצאות טובות יותר. DeepSeek V4 Pro ו-GLM-5.3 רצו הכי הרבה זמן, עם חציונים של 19.5 ו-13.9 שעות, אך קיבלו ציונים נמוכים, בעוד של-GPT-6 Astra היה זמן ריצה חציוני של 1.3 שעות בלבד והוא סיפק את התוצאות הטובות ביותר. משום שהמודל החזק ביותר שימש גם כמעריך, החוקרים ביצעו בדיקת הצלבה שבה מחברי המאמרים המקוריים שפטו בעצמם מאמרי AI אנונימיים. בשאלה אם מאמר התאים לכיוון המחקר שניתן, המערכת האוטומטית הסכימה עם המומחים בכל מקרה. באיכות מדעית, השיפוטים תאמו רק בכ-שני שלישים מהמקרים.

מקורות: The Decoder