GDPx՝ առաջատար մոդելների կարողությունները ամենաարժեքավոր ոլորտներում

GDPx-ը բենչմարկ է, որը ընդգրկում է առաջատար բանականության համար ամենաարժեքավոր ոլորտները և նպատակ ունի դառնալ ընդհանուր գործակալական կարողությունները չափելու աշխարհի լավագույն բենչմարկը: Այն ընդգրկում է չիպերի նախագծում, կիբերանվտանգություն, կենսաբանություն, ֆինանսներ, իրավունք, քանակական առևտուր, ռեկուրսիվ ինքնակատարելագործում, ապարատային նախագծում, նյութագիտություն, հավասարեցում և ծրագրային ճարտարագիտություն, իսկ միտումնավոր բաց է թողնում կառավարությունը, անշարժ գույքը և ապահովագրությունը: GDPx-ի համաձայն, նույնիսկ լավագույն մոդելը հավաքում է ընդամենը 12%:

Արդյունքները և մոդելների ուժեղ կողմերը

GDPx-ը հայտնում է, որ Opus 5.5-ը և GPT-6 Astra-ն ունեն միտումնավոր նվազեցված ընդհանուր ցուցանիշներ անվտանգության դասակարգիչների պատճառով: OpenAI-ը և Anthropic-ը գերիշխում են վերին հորիզոնում, իսկ SpaceXAI-ը, Meta-ն և բաց կշիռներով մոդելները հետ են մնում: Gemini 4 Carbon-ը միակ մոդելն է, որը մոտ է Opus-ին և Astra-ին: Muse Wonder Full-ը առաջատար է կիբերում: Կարողությունների անհավասարությունը նշանակալի է. Opus 5.5-ը հաղթում է քանակական առևտրում, ապարատային նախագծման և չիպերի նախագծման մեջ, Gemini 4 Carbon-ը՝ կենսաբանության և ծրագրային ճարտարագիտության մեջ, իսկ GPT-6 Astra-ն՝ RSI-ի և նյութագիտության մեջ: Ֆինանսների և իրավունքի առաջադրանքները այնքան դժվար են, որ հիմնականում յուրաքանչյուր մոդել հավաքում է ճիշտ 0: Արժեքի և արդյունավետության համեմատությունը Luna-ն և DeepSeek-ը դնում է ցածր ծայրում, Opus-ը՝ բարձր ծայրում, իսկ OpenAI-ը՝ մեջտեղում:

Ինչով է GDPx-ը տարբերվում GDPval-ից

GDPx-ը պնդում է, որ GDPval-ը, որը թողարկվել է 2025 թվականի սեպտեմբերի 25-ին, անբավարար է այսօրվա առաջատար մոդելների համար, քանի որ դրա առաջադրանքները ոչ ինտերակտիվ են և համատեքստը նախապես տրված է: Ֆինանսական առաջադրանքը պահանջում է մինչև 15 էջանոց PDF մոտ 500 բառանոց նկարագրությունից և չունի իրատեսական միջավայր: GDPx-ը նաև նշում է աղմկոտ ռուբրիկային գնահատիչներ, կոտրված ռուբրիկաներ, սխալ ոսկե լուծումներ և հնացած առաջադրանքներ: Ի հակադրություն, Living Context ֆինանսական առաջադրանքը սկսվում է իրական գործարքից. Bannock Capital-ը գնում է Haverly Snack Company-ի մոտ 62%-ը 880 միլիոն դոլարով գումարած earnout: Միջավայրն ունի մոտ 4000 անանունացված ֆայլ, և AI-ը պետք է նավարկի մոտ 2000 ֆայլից բաղկացած գործարքային սենյակում: Կիբերի, նյութագիտության և ապարատային առաջադրանքները նույնպես օգտագործում են իրատեսական միջավայրեր:

Մեթոդաբանությունը և գործընկերները

GDPx-ը կենտրոնանում է այն ոլորտների վրա, որոնք, ըստ սպասումների, AI-ը կարագացնի առաջիկա մեկից երկու տարում, և պնդում է, որ GDP-ի բաժնի կամ SOC/O*NET մասնագիտական դասակարգման վրա հիմնված բենչմարկը սխալ է: Այն համագործակցել է 14 մասնագիտացված տվյալների գործընկերների հետ, այդ թվում Extrapolate-ի հետ RSI-ի և Beautiful Machines-ի հետ ապարատային նախագծման համար: Գործընկերները բախվել են խիստ QA-ի և պետք է առաջին փորձից անցնեին ավտոմատացված QA: Լռելյայն ժամանակային սահմանը ութ ժամ է: Մոդելները գործարկվել են իրենց բնիկ հարնեսներում, եթե առկա էին, հակառակ դեպքում՝ OpenCode-ում: Առաջադրանքները օգտագործում են բինար կամ մասնակի գնահատում, իսկ գլխավոր ցուցանիշը pass@1 է երեք փորձից, բոլոր ոլորտները հավասարապես կշռված:

Խորը վերլուծություններ. RSI և ապարատային նախագծում

RSI-ի առաջադրանքները, որոնք բացառիկ կերպով տրամադրում է Extrapolate-ը, RSI-ն սահմանում են որպես գործակալի կարողություն ինքնուրույն կառուցելու իր հաջորդ տարբերակը: Մեկ առաջադրանք վերարտադրում է խոշոր RL-ի աշխատանքի վրա վրիպազերծումը, որտեղ հարնեսի սխալը 32K տոկենում հաղորդագրություն էր ներարկել. գործակալները ստանում են մոտ 1000 rollout trace, որոնք կազմում են 21,2 միլիոն տոկեն: Claude Opus 5.5-ի, GPT-6 Astra-ի, Gemini 4 Argon-ի և GLM 5.3-ի 20 rollout-ների ընթացքում բոլոր չորս մոդելները դժվարություններ են ունեցել: Ապարատային նախագծման առաջադրանքները, որոնք բացառիկ կերպով տրամադրում է Beautiful Machines-ը, օգտագործում են նախագծերի սպեցիֆիկացիաներ և արտեֆակտներ, ինչպիսիք են 7000 բաղադրիչից բաղկացած ռոբոտային հիվանդի տեղափոխման համակարգը: Rollout-ները գործարկվում են ավազատուփային միջավայրերում SOLIDWORKS-ի, Siemens Designcenter NX-ի, Autodesk Fusion 360-ի, KiCad-ի, AMD Vivado-ի և Cadence փաթեթի հետ, իսկ գնահատումը համատեղում է դետերմինիստական վերիֆիկատորները և LLM-as-a-judge-ը:

Աղբյուրներ: Semianalysis