GDPx: מדידת יכולותיהם של מודלי החזית בתחומים בעלי הערך הרב ביותר

GDPx הוא בנצ'מרק המכסה את התחומים בעלי הערך הרב ביותר עבור בינה בחזית המחקר, ושואף להיות הבנצ'מרק הטוב בעולם למדידת יכולות סוכניות כלליות. הוא מקיף תכנון שבבים, אבטחת סייבר, ביולוגיה, פיננסים, משפט, מסחר כמותי, שיפור עצמי רקורסיבי, תכנון חומרה, מדע החומרים, יישור והנדסת תוכנה, ובמכוון אינו כולל ממשל, נדל״ן וביטוח. לפי GDPx, אפילו המודל הטוב ביותר מגיע ל-12% בלבד.

תוצאות ונקודות החוזק של המודלים

GDPx מדווח כי Opus 5.5 ו-GPT-6 Astra הציגו ציונים כוללים מונמכים בגלל מסווגי הבטיחות שלהם. OpenAI ו-Anthropic שולטות בראש הדירוג, בעוד SpaceXAI, Meta והמודלים במשקולות פתוחות מפגרים מאחור. Gemini 4 Carbon הוא המודל היחיד שנמצא בקרבתם של Opus ו-Astra. Muse Wonder Full מוביל בתחום הסייבר. הפערים החדים בין התחומים משמעותיים: Opus 5.5 מנצח במסחר כמותי, בתכנון חומרה ובתכנון שבבים; Gemini 4 Carbon מנצח בביולוגיה ובהנדסת תוכנה; GPT-6 Astra מנצח ב-RSI ובמדע החומרים. משימות הפיננסים והמשפט קשות כל כך שכמעט כל מודל מקבל בדיוק 0. במישור העלות מול הביצועים נמצאים Luna ו-DeepSeek בקצה הנמוך, Opus בקצה הגבוה ו-OpenAI באמצע.

במה שונה GDPx מ-GDPval

GDPx טוען כי GDPval, שיצא ב-25 בספטמבר 2025, אינו מספק למודלי החזית של ימינו, משום שהמשימות שלו אינן אינטראקטיביות ומגישות את ההקשר מראש. משימת פיננסים טיפוסית מבקשת קובץ PDF של עד 15 עמודים מתוך תיאור של כ-500 מילים, בלי סביבה ריאלית. GDPx מצביע גם על מעריכים מבוססי רובריקות שהם רועשים, על רובריקות שבורות, על פתרונות זהב שגויים ועל משימות מיושנות. לעומת זאת, משימת הפיננסים של Living Context נבנית סביב עסקה אמיתית: Bannock Capital רוכשת כ-62% מחברת Haverly Snack Company תמורת 880 מיליון דולר בתוספת תשלום מותנה. בסביבה יש כ-4000 קבצים אנונימיים, ועל ה-AI לנווט בחדר עסקאות של כ-2000 קבצים. גם משימות הסייבר, החומרים והחומרה משתמשות בסביבות ריאליות.

מתודולוגיה ושותפים

GDPx מתמקד בתחומים שצפויים להיות המואצים ביותר על ידי AI בשנה-שנתיים הקרובות, וטוען שבנצ'מרק המבוסס על חלק מהתמ״ג או על טקסונומיית המקצועות SOC/O*NET הוא טעות. הוא שיתף פעולה עם 14 שותפי נתונים מתמחים, ובהם Extrapolate ל-RSI ו-Beautiful Machines לתכנון חומרה. השותפים עברו תהליך בקרת איכות קפדני והיו חייבים לעבור בקרת איכות אוטומטית בניסיון הראשון. מגבלת הזמן המוגדרת כברירת מחדל היא שמונה שעות. המודלים הורצו בהרנס המקורי שלהם כשזה היה זמין, ואחרת ב-OpenCode. המשימות משתמשות בדירוג בינארי או חלקי, והציון הראשי הוא pass@1 על פני שלושה ניסיונות, כאשר כל התחומים משוקללים באופן שווה.

מבט מעמיק: RSI ותכנון חומרה

משימות RSI, שמסופקות בלעדית על ידי Extrapolate, מגדירות RSI כיכולתו של סוכן לבנות באופן אוטונומי את הגרסה הבאה של עצמו. משימה אחת משחזרת דיבוג של ריצת RL בהיקף גדול, שבה באג בהרנס הזריק הודעה בנקודת 32K טוקנים; הסוכנים מקבלים כ-1000 עקבות ריצה הכוללות 21.2 מיליון טוקנים. ב-20 ריצות של Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon ו-GLM 5.3, כל ארבעת המודלים התקשו. משימות תכנון החומרה, שמסופקות בלעדית על ידי Beautiful Machines, משתמשות במפרטים ובארטיפקטים מפרויקטים כגון מערכת רובוטית להעברת מטופלים עם 7000 רכיבים. הריצות מתבצעות בסביבות מבודדות עם SOLIDWORKS, Siemens Designcenter NX, Autodesk Fusion 360, KiCad, AMD Vivado וחבילת Cadence, והדירוג משלב מאמתים דטרמיניסטיים ו-LLM-as-a-judge.

מקורות: Semianalysis