בנצ'מארק החדש של Parsimony מעריך סוכני קידוד AI לפי קוד שנוסף

בנצ'מארקים קיימים של קידוד AI מודדים אחוזי פתרון ועלות, אך לא שופטים קוד מיותר, מה שעלול להסביך את העבודה עם בסיס הקוד עם הזמן. Parsimony, בנצ'מארק חדש, משתמש בגישה שונה: הוא מודד כמה קוד מודלי AI מוסיפים בעת פתרון הבעיה.

כיצד Parsimony עובד

Parsimony לוקח את הפאצ'ים שבנצ'מארקים כבר מפרסמים וסופר יחידות קידוד, כלומר אלמנטים תחביריים כמו הוראות, קריאות, השוואות, שמות וליטרלים. שורות לא נספרות, ולכן אריזת קוד בפחות שורות אינה מתגמלת. קוד שנמחק נחסר, מה שנותן נוסחה פשוטה: יחידות נקיות שוות למה שנוסף פחות מה שנמחק. כל פאץ' מופעל על קוד הבעיה ושתי הגרסאות של כל קובץ ששונה מתנתחות; שום דבר לא באמת רץ. מבחנים, תיעוד וקבצים שנוצרו אוטומטים מוחרגים, ונמדד רק Python. התוצאות המוצלחות והכושלות מגיעות מתוצאות שפורסמו של SWE-bench, ומבחנים לא מופעלים מחדש.

כיצד קוראים את טבלת המובילים

מודלים מדורגים לפי ממוצע יחידות נקיות שנוספו בבעיות שהם פתרו, החל מהנמוך ביותר. התרשים "Net units added (mean)" כולל גם ניסיונות כושלים. העמודה "Solved" מגיעה מ-SWE-bench Verified, בעוד "Measured" מציגה כמה ניסיונות מוצלחים היה ניתן למדוד. Artificial Analysis Intelligence Index מופיע כציון חיצוני, לאור מודל ורמת ההיגיון, אך לא משפיע על הדירוג. הרשומות המקובצות על הלוח הריץ המחבר על בעיות DeepSWE Python מ-3 עד 10 הראשונות, עם pi עבור מודלי OpenAI ו-Claude Code עבור מודלי Anthropic, והעריך כל בעיה עם המבחנים שלה; הן אינן מאומתות או מדורגות. GPT-5.6 Sol רץ בשתי הדרכים, וההרצה של המחבר הוסיפה 0,88 פעמים את קוד ההרצה שפורסם.

מגבלות ואזהרות

הפרויקט מציין שקטן יותר לא תמיד טוב יותר: יחידות מודדות גודל ולא קריאות או עיצוב. מודלים שכותבים יותר קוד בדרך כלל פותרים גם יותר בעיות, עם מתאמי Spearman של 0,33 עד 0,60 בלוחות שבהם 26 מודלים או יותר. כל מודל משתמש באותו סוכן, mini-SWE-agent, אבל הסוכן עדיין משפיע על כמה קוד נכתב.

הוספת בנצ'מארק משלך

קורא שיש לו מספרי גודל קוד מבנצ'מארק אחר יכול להוריד קובץ JSON לדוגמה, למלא את התוצאות שלו ולפתוח אותו כדי לקבל את אותו דיאגרמה וטבלה. הקובץ נשאר בדפדפן.

מקורות: parsimony.lasu.dev