סוכני AI עושים יותר מהעבודה בפיתוח מודלים, אך ההחלטות נשארות בידי בני האדם

חוקרים מאוניברסיטת פודאן בסין בחנו את הפרויקט של עצמם כדי לגלות מי באמת מקבל את ההחלטות כאשר סוכני AI מסייעים בבניית מודל AI, וניתחו יותר מ-700 יומני משימות של 56 משתתפים.

הפרויקט הניב את Atria Dawn Preview, מודל שפה אגנטי בארכיטקטורת mixture-of-experts עם 744 מיליארד פרמטרים. כל משימת אימון מקושרת לסביבת ביצוע אמיתית ונבדקת מול מבחנים, מדדים או ראיות ממקורות. לדברי הצוות, המודל מוביל בחמישה מתוך 16 מבחני ביצוע, ובהם חיפוש באינטרנט וסייבר, אך אין לו יתרון כולל על המתחרים.

סוכנים לוקחים על עצמם יותר מהעבודה

ה-AI שימש ב-96.5% מהמשימות שנבחנו. בתוך ארבעה שבועות עלה החציון של פעולות סוכן לכל קלט אנושי מ-11 ל-28.5, והצוות מזהיר מפני פרשנות של הנתון כצמיחה באוטונומיה: כל החלטה אנושית פשוט הניעה יותר צעדי סוכן.

המשתתפים דירגו גם אם היו יכולים להשלים את חלקם במשימה ללא AI. מתוך 455 משימות שהושלמו בסיוע AI, 151, כשליש בקירוב, היו בלתי אפשריות בלעדיו, והן התפרסו על 27 מתוך 56 המשתתפים. ה-AI איפשר עבודה שאחרת לא הייתה מתחילה כלל.

AI מציע, האדם בוחר

בשיטות ובפרמטרים, הדפוס הנפוץ ביותר היה "AI מציע, האדם בוחר", עם 55.4%. בני האדם קיבלו 85.5% מההחלטות בתחומים אלה לעומת 9.2% של ה-AI, והמילה האחרונה על יעדים והיקף הייתה שלהם ב-93.4% מהמקרים.

אותה תמונה עולה גם כשמשהו משתבש. מתוך 588 משימות שתועדה בהן רמת קושי, 76% התקדמו בזכות התערבות אנושית ו-23% נפתרו בידי הסוכן לבדו; העזרה הגיעה בעיקר כמידע נוסף (35.2%) או אבחון (34.7%), ולא כעבודה מעשית.

הסיכון של חותמת גומי

כשכל החלטה נשענת על שרשרת עבודה של סוכנים ארוכה מכפי שאדם יכול לסקור, הפיקוח נעשה קשה; במקרה הגרוע בני האדם הופכים למבקרים שיכולים רק לתת חותמת גומי למה שהם רואים, כותבים החוקרים. משתתפים רבים הריצו סוכנים במצבים אוטונומיים מטעמי נוחות, ולא מתוך בחירה מכוונת בשאלת היקף סמכותו של ה-AI.

המאמר מתפרסם בעיצומו של ויכוח על שיפור עצמי רקורסיבי: Anthropic סבורה ש-AI שמפתח את ממשיכו עשוי להיות אפשרי מוקדם מהצפוי, והמנכ"ל דריו אמודאי קורא להגבלת מהירות לתעשייה, בעוד יותר מאלף עובדים בחברות AI מובילות הזהירו שהארגונים שלהם עשויים להיות על סף אוטומציה של מחקר AI.