GDPx: Ən Dəyərli Sahələrdə Qabaqcıl Model Bacarıqlarının Ölçülməsi

GDPx ön səviyyəli zəka üçün ən dəyərli sahələri əhatə edən etalonudur və ümumi agentik bacarıqları ölçmək üçün dünyanın ən yaxşı etalonu olmağı hədəfləyir. O, çip dizaynı, kibertəhlükəsizlik, biologiya, maliyyə, hüquq, kvant treydingi, rekursiv özünü təkmilləşdirmə, hardware dizaynı, materialşünaslıq, uyğunlaşma və proqram mühəndisliyini əhatə edir, eyni zamanda hökumət, daşınmaz əmlak və sığorta sahələrini qəsdən kənarda saxlayır. GDPx-ə görə, ən yaxşı model belə yalnız 12% bal toplayır.

Nəticələr və model gücləri

GDPx bildirir ki, Opus 5.5 və GPT-6 Astra təhlükəsizlik təsnifatçıları səbəbilə ümumi ballarını qəsdən aşağı saxlayıblar. OpenAI və Anthropic yuxarı sıralarda üstünlük təşkil edir, SpaceXAI, Meta və açıq çəkili modellər isə geridə qalır. Gemini 4 Carbon Opus və Astra-ya yaxın olan yeganə modeldir. Muse Wonder Full kiber sahəsində liderdir. Performans profili qeyri-bərabərdir və bu mənalıdır: Opus 5.5 kvant treydingi, hardware dizaynı və çip dizaynında qalib gəlir; Gemini 4 Carbon biologiya və proqram mühəndisliyində; GPT-6 Astra isə RSI və materialşünaslıqda qalib gəlir. Maliyyə və hüquq tapşırıqları o qədər çətindir ki, praktiki olaraq hər modelin balı tam 0-dır. Xərc və performans müqayisəsində Luna və DeepSeek aşağı səviyyədə, Opus yüksək səviyyədə, OpenAI isə ortada yerləşir.

GDPx GDPval-dan necə fərqlənir

GDPx bildirir ki, 25 sentyabr 2025-ci ildə çıxan GDPval bugünkü qabaqcıl modellər üçün yetersizdir, çünki onun tapşırıqları qarşılıqlı təsirsizdir və konteksti hazır verir. Maliyyə tapşırığı təxminən 500 sözlük təsvirdən 15 səhifəyə qədər PDF istəyir və realistik mühit yoxdur. GDPx həmçinin səs-küylü rubrika qiymətləndiricilərini, sınıq rubrikaları, yanlış qızıl həlləri və köhnəlmiş tapşırıqları qeyd edir. Bunun əksinə, Living Context maliyyə tapşırığı real əməliyyatla başlayır: Bannock Capital Haverly Snack Company-nin təxminən 62%-ni $880M və earnout qarşılığında alır. Mühitdə təxminən 4000 anonimləşdirilmiş fayl var və AI təxminən 2000 fayllıq deal room-da naviqasiya etməlidir. Kiber, materiallar və hardware tapşırıqları da realistik mühitlərdən istifadə edir.

Metodologiya və partnyorlar

GDPx önümüzdəki bir-iki ildə AI tərəfindən ən çox sürətləndiriləcəyi gözlənilən sahələrə fokuslanır və ÜDM payına və ya SOC/O*NET peşə təsnifatına əsaslanan etalonun səhv olduğunu bildirir. O, RSI üçün Extrapolate və hardware dizaynı üçün Beautiful Machines daxil olmaqla, 14 ixtisaslaşmış data partnyoru ilə əməkdaşlıq edib. Partnyorlar ciddi keyfiyyət yoxlamasından keçib və avtomatlaşdırılmış keyfiyyət yoxlamasından ilk cəhddə keçməli olublar. Standart vaxt limiti səkkiz saatdır. Modellər mövcud olduqda native harnesslərdə, əks halda OpenCode ilə işlədilib. Tapşırıqlar ikili və ya qismən qiymətləndirmədən istifadə edir, başlıq balı isə üç cəhddə pass@1-dir və bütün sahələr bərabər çəkilidir.

Dərin baxış: RSI və hardware dizaynı

RSI tapşırıqları yalnız Extrapolate tərəfindən təqdim edilir və RSI-ni agentin növbəti versiyasını özü muxtar şəkildə qurmaq bacarığı kimi təyin edir. Bir tapşırıq harness xətasının 32K token-də mesaj daxil etdiyi böyük miqyaslı RL işini debug etməni yenidən yaradır; agentlər 21,2 milyon token təşkil edən təxminən 1000 rollout izi alır. Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon və GLM 5.3 üzrə 20 rollout-da hər dörd model çətinlik çəkib. Hardware dizaynı tapşırıqları yalnız Beautiful Machines tərəfindən təqdim edilir və 7000 komponentli robotik xəstə köçürmə sistemi kimi layihələrin spesifikasiya və artefaktlarından istifadə edir. Rolloutlar SOLIDWORKS, Siemens Designcenter NX, Autodesk Fusion 360, KiCad, AMD Vivado və Cadence dəsti ilə izolyasiya edilmiş mühitlərdə işləyir; qiymətləndirmə deterministik yoxlayıcılar və LLM-as-a-judge üsullarını birləşdirir.

Mənbələr: Semianalysis