סוכני קידוד AI עדיין זקוקים לניקוי אנושי בכמעט שלוש מתוך ארבע משימות במבחן בעולם האמיתי

חוקרים מ-Alibaba ומכמה אוניברסיטאות באסיה יצרו את Co-Design Bench, מבחן לסוכני קידוד המבוסס על בקשות שינוי אמיתיות של משתמשים באפליקציות ווב קיימות. אפילו הטוב מבין עשרת המודלים שנבדקו, GPT-6 Astra, משלים במלואו רק כמשימה אחת מכל ארבע, בעוד שהוא עומד בכ-70 אחוז מהדרישות בממוצע; ברוב המקרים המשתמש עדיין צריך לנקות ביד לפחות פרט אחד.

מדוע מדדים ישנים נראים קלים מדי

המחברים אומרים שהמדדים הקיימים הפכו לרוויים. כשסוכני קידוד מסוגלים להריץ, לבדוק ולתקן את הקוד של עצמם, הם משיגים יותר מ-99 אחוז במבחנים האלה, וההבדלים בין המודלים בקושי ניתנים למדידה. במדדים ישנים יותר, כמו WebCompass-edit, מודלי קידוד סוכניים מגיעים לציונים כמעט מושלמים, ואילו Co-Design Bench משאיר פער של יותר מ-35 נקודות אחוז.

איך עובד המדד החדש

Co-Design Bench מתבסס על בקשות אמיתיות מסשני קידוד בפועל. החוקרים העדיפו מקרים שבהם משתמשים נאלצו לנסח את הבקשה מחדש כמה פעמים או לבטל שינויים, ולכן המבחן מכיל בעיקר משימות שכבר הקשו על סוכני AI בפועל. המשימות נעות מתיקונים קטנים, כמו חילוץ סכום מקבלה ועדכון כל הסכומים התלויים בה, ועד לשיפוץ מלא של פרויקט. במסלול הרב-מודלי הסוכנים חייבים לחלץ ערכים מקבלות, מטבלאות או מסרטונים ולעדכן בעקביות את כל התצוגות התלויות. ההערכה מחמירה: שופט AI אחד בודק את האפליקציה המוגמרת בדפדפן, ואחר כך שופט שני בודק מחדש כל פסיקה חיובית ומחפש מוקאפים או תוצאות מקודדות מראש. נקודות ניתנות רק לתכונות שפועלות בפועל באפליקציה.

המודלים מתקשים בשינויים משולבים

אחרי GPT-6 Astra תופסים Claude Opus 5 ו-Qwen3.8-Max את המקומות הבאים, ו-Grok 4.6 מסיים אחרון. בשיפוצים גדולים יותר מטפס Qwen3.8-27B, הקטן בהרבה, למקום השני, אך המחברים לא מסיקים מכך יתרון כללי למודל הזה. הביצועים יורדים בכל המודלים ככל שהמשימה משלבת יותר סוגי שינויים, כולל פריסה, עיצוב, אינטראקציה ותוכן. כל עשרת המודלים מקבלים ציון נמוך יותר כשהמשימה דורשת שלושה או ארבעה סוגי שינויים שונים. כוח מחשוב נוסף כמעט לא מתקן את החולשה הזאת: GLM-5.2 שורף כמעט פי שישה יותר טוקנים מ-GPT-6 Astra בשינויים קטנים ובכל זאת מקבל ציון נמוך בהרבה. GPT-6 Astra מוביל בשני המסלולים, אך פותר במלואו רק 41 אחוז ממשימות המולטימודל ורק מעט פחות מ-18 אחוז ממשימות המאגר.

מגבלות של סביבת ההרצה ושל המבחן

בבדיקה נפרדת הריצו החוקרים את אותם מודלים בסביבות הרצה שונות, כלומר בתוכנות שדרכן הסוכן קורא, כותב ומריץ קוד. Qwen3.8-27B קיבל 75 או רק 56 אחוז בשיפוצים גדולים יותר, בהתאם לסביבה, וגם איזה משני המודלים יצא קדימה היה תלוי בסביבה. לכן טבלאות דירוג שמציינות רק את המודל מספרות רק חלק מהסיפור, והמחברים ממליצים לדווח תמיד על המודל ועל סביבת העבודה יחד. עבור חברות שבוחרות סוכן קידוד פירוש הדבר לבדוק את שני הרכיבים כזוג. למבחן יש גם מגבלות: הוא מעריך בקשה קבועה אחת לכל משימה, ולכן שאלות המשך או תיקונים באמצע המשימה אינם חלק מהבדיקה, וגם שופטי ה-AI עלולים לטעות. מחקר של METR הראה שתוצאות של מדדים ומידת השימושיות בעולם האמיתי יכולות לפעור פער: שיעור הקבלה בפועל של קוד שנוצר ב-AI על ידי מובילי פרויקטים נמוך בכ-24 נקודות אחוז מהציונים ב-SWE-bench Verified. גם פגמים בסביבות בדיקה יכולים לאפשר לסוכנים לעבור משימות בלי לפתור אותן באמת. עם זאת, השפעת סביבת העבודה אינה חד-משמעית: מחקר עדכני מצא בקושי תועלת מדידה מסביבות הרצה משוכללות יותר, אף שהן צרכו עד פי שלושה יותר טוקנים.

מקורות: The Decoder