בדיקת Vals AI הראתה: צוותי סוכנים עולים פי 5.1 יותר, אך הרווח הוא מינימלי

צוותים יקרים, אך התוצאה כמעט ומשתפרת

Vals AI בדקה את GPT-6 Sol ואת Claude Opus 5.5 ב-Vibe Code Bench, הן כסוכנים בודדים והן כצוותים, ברמות חשיבה ממוצעות ומקסימליות. תצורות צוותים התגלו יקרות בין 1.8 ל-5.1 פעמים יותר בהשוואה לסוכנים בודדים.

מתוך ארבע השוואות בין צוותים לסוכנים בודדים, רק אחת הראתה שיפור סטטיסטי מובהק. זה היה ב-GPT-6 Sol ברמת חשיבה ממוצעת, שם הצוות קיבל 7.3 נקודות יותר מהסוכן הבודד. ברמת חשיבה מקסימלית, תצורה צוותית לא העניקה יתרון ממשי לא על Sol ולא על Opus 5.5.

קנה מידה משפר קודם את המהירות, ואת האיכות רק אחר כך

לפי Vals AI, הבנצ'מרק שלה ב-Vibe Code Bench השווה את עלות כל אפליקציה לניקוד, בחץ מסוכן בודד לכל מודל ועד לצוות שלו, באותה רמת חשיבה. צוותים יקרים בהרבה, אך הניקוד גדל לאט.

גם Anthropic ראתה בשתי בדיקות עצמאיות עם Opus 5.5 שעם גידול מספר הסוכנים, הרווח באיכות קטן. צוותים גדולים יותר הגיעו לביצועים נתונים מהר יותר, אך המעבר מ-10 ל-100 סוכנים לאחר 24 שעות העלה את הניקוד רק מעט. בבדיקות הבודדות של ProgramBench, רווח המהירות היה מלווה בעלות טוקנים גבוהה יותר. במשימת בסיס ידע, Opus 5.5 קיבל 0.53 נקודות עם סוכן אחד, 0.70 עם עשרה, 0.71 עם 30 ו-0.74 עם 100. במשימת הוכחת משפטי Lean, קיבל 0.39 עם סוכן אחד, 0.66 עם עשרה, 0.66 עם 30 ו-0.68 עם 100.

Fable 5.1 הראתה גידול חזק יותר באיכות במשימת הוכחת משפטי Lean כאשר עברו עשרה סוכנים, אך בכל הבדיקות עדיין קיבלה ניקוד נמוך יותר מ-Opus 5.5. במשימת בסיס ידע, הניקוד של Fable ירד בפועל מעט במעבר מ-30 ל-100 סוכנים.

תיאום מגביל את קבוצות הסוכנים

החוקר של OpenAI, Noam Brown, אמר ב-Dworkesh Podcast שמערכות מרובות סוכנים מרוויחות בעיקר מהירות ולא איכות טובה יותר. לפי דבריו, ארבעה סוכנים פתרו משימות מהר פי שתיים, אך גם עלו פי שתיים; במקרה של 16 סוכנים הדפס זה נשמר, אך היעילות קטנה מעט. הוא ציין שהאפקט תלוי מאוד במשימה: חיפוש ברשת ומתמטיקה מתפזרים היטב, אבל כתיבת רומן – לא. Brown הוסיף ששימוש ב-10,000 סוכנים על רון יהיה חסר משמעות בדיוק כמו 10,000 אנשים, ושהקנה המידה למספרים גדולים כל כך של סוכנים עדיין לא נחקר מספיק, כי העלויות גבוהות מאוד.

המפתח של OpenAI, Eric Provencher, הזהיר משימוש בצוותי סוכנים מאותה סיבה. לפי דעתו, סביר להניח שהם מבזבזים כסף, כי התיאום בין סוכנים נשחק; את הבעיה הזו הוא כינה "מס תיאום".

מקורות: The Decoder