GDPx: вимірювання можливостей моделей переднього краю у найцінніших доменах

GDPx є бенчмарком, що охоплює найцінніші домени для інтелекту переднього краю і прагне стати найкращим у світі бенчмарком для вимірювання загальних агентних можливостей. Він охоплює проєктування чипів, кібербезпеку, біологію, фінанси, право, квантитативну торгівлю, рекурсивне самовдосконалення, апаратне проєктування, матеріалознавство, вирівнювання та розробку програмного забезпечення, навмисно не включаючи уряд, нерухомість та страхування. За даними GDPx, навіть найкраща модель набирає лише 12%.

Результати та сильні сторони моделей

GDPx повідомляє, що Opus 5.5 і GPT-6 Astra мають занижені загальні бали через класифікатори безпеки. OpenAI і Anthropic домінують у верхній частині, тоді як SpaceXAI, Meta та моделі з відкритими вагами відстають. Gemini 4 Carbon є єдиною моделлю, близькою до Opus і Astra. Muse Wonder Full лідирує в кібербезпеці. Нерівномірність результатів має значення: Opus 5.5 перемагає в квантитативній торгівлі, апаратному проєктуванні та проєктуванні чипів; Gemini 4 Carbon перемагає в біології та розробці програмного забезпечення; GPT-6 Astra перемагає в RSI та матеріалознавстві. Завдання з фінансів і права настільки складні, що практично кожна модель набирає рівно 0. Співвідношення вартості та продуктивності розміщує Luna і DeepSeek у нижній частині, Opus у верхній, а OpenAI посередині.

Чим GDPx відрізняється від GDPval

GDPx стверджує, що GDPval, випущений 25 вересня 2025 року, не підходить для сучасних моделей переднього краю, оскільки його завдання неінтерактивні та подають контекст у готовому вигляді. Фінансове завдання просить створити PDF до 15 сторінок із опису приблизно на 500 слів, без реалістичного середовища. GDPx також згадує шумних оцінювачів за рубриками, зламані рубрики, неправильні еталонні розв'язки та застарілі завдання. Натомість фінансове завдання Living Context починається з реальної угоди: Bannock Capital купує близько 62% Haverly Snack Company за $880M плюс earnout. Середовище містить близько 4000 анонімізованих файлів, а ШІ має орієнтуватися в діл-румі приблизно з 2000 файлів. Завдання з кібербезпеки, матеріалів і апаратного проєктування також використовують реалістичні середовища.

Методологія та партнери

GDPx зосереджується на доменах, які, за очікуванням, найбільше прискорить ШІ впродовж наступних одного-двох років, і стверджує, що бенчмарк на основі частки ВВП або професійної таксономії SOC/O*NET є помилкою. Він співпрацював із 14 спеціалізованими партнерами з даних, зокрема Extrapolate для RSI та Beautiful Machines для апаратного проєктування. Партнери проходили суворий контроль якості і мали пройти автоматичний контроль якості з першої спроби. Типовий ліміт часу становить вісім годин. Моделі запускали у власних середовищах виконання, якщо вони були доступні, інакше в OpenCode. Завдання використовують бінарне або часткове оцінювання, а загальний бал є pass@1 за три спроби, при цьому всі домени мають однакову вагу.

Глибокий розбір: RSI та апаратне проєктування

Завдання RSI, які надає виключно Extrapolate, визначають RSI як здатність агента автономно створювати наступну версію самого себе. Одне завдання відтворює налагодження великого запуску RL, де помилка в середовищі виконання вставила повідомлення на 32K токенів; агенти отримують близько 1000 трас запусків, що містять 21,2 мільйона токенів. У 20 запусках від Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon і GLM 5.3 усі чотири моделі мали труднощі. Завдання з апаратного проєктування, які надає виключно Beautiful Machines, використовують специфікації та артефакти з проєктів, таких як роботизована система переміщення пацієнтів із 7000 компонентів. Запуски виконуються в ізольованих середовищах із SOLIDWORKS, Siemens Designcenter NX, Autodesk Fusion 360, KiCad, AMD Vivado та набором Cadence, а оцінювання поєднує детерміновані верифікатори та LLM як суддю.

Джерела: Semianalysis