GDPx: En Değerli Alanlarda En Gelişmiş Model Yeteneklerini Ölçmek

GDPx, en gelişmiş zeka için en değerli alanları kapsayan ve genel ajan yeteneklerini ölçmeyi hedefleyen bir kıyaslama aracıdır. Çip tasarımı, siber güvenlik, biyoloji, finans, hukuk, kantitatif işlem, özyinelemeli öz-geliştirme, donanım tasarımı, malzeme bilimi, hizalama ve yazılım mühendisliği alanlarını kapsar; hükümet, gayrimenkul ve sigortayı bilinçli dışlar. GDPx'e göre en iyi model bile yalnızca %12 puan alır.

Sonuçlar ve model güçlü yönleri

GDPx, Opus 5.5 ve GPT-6 Astra'nın güvenlik sınıflandırıcıları nedeniyle genel puanlarının düşük tutulduğunu bildirir. OpenAI ve Anthropic üst sıralara hâkim olurken SpaceXAI, Meta ve açık ağırlıklı modeller geride kalır. Gemini 4 Carbon, Opus ve Astra'ya yaklaşabilen tek modeldir. Muse Wonder Full, siber güvenlikte liderdir. Performans dalgalanması anlamlıdır: Opus 5.5 kantitatif işlem, donanım tasarımı ve çip tasarımını; Gemini 4 Carbon biyoloji ve yazılım mühendisliğini; GPT-6 Astra RSI ve malzeme bilimini kazanır. Finans ve hukuk görevleri o kadar zordur ki neredeyse her model 0 alır. Maliyet-performans dengesi Luna ve DeepSeek'i düşük, Opus'u yüksek, OpenAI'ı ortada konumlandırır.

GDPx'in GDPval'den farkı

GDPx, 25 Eylül 2025'te çıkan GDPval'in günümüz sınır modelleri için yetersiz olduğunu savunur; görevleri etkileşimsizdir ve bağlamı hazır sunar. Bir finans görevi yaklaşık 500 kelimelik açıklamadan en fazla 15 sayfalık PDF ister ve gerçekçi ortamdan yoksundur. GDPx ayrıca gürültülü rubrik değerlendiricilerini, bozuk rubrikleri, yanlış altın çözümleri ve eski görevleri eleştirir. Buna karşın Living Context finans görevi gerçek bir işlemle tohumlanır: Bannock Capital, Haverly Snack Company'nin yaklaşık %62'sini 880 milyon dolar artı earnout ile alır. Ortamda yaklaşık 4000 anonim dosya vardır; yapay zekânın yaklaşık 2000 dosyalık veri odasında gezinmesi gerekir. Siber güvenlik, malzeme ve donanım görevleri de gerçekçi ortamlar kullanır.

Yöntem ve ortaklar

GDPx, önümüzdeki 1-2 yılda yapay zekânın en çok hızlandıracağı alanlara odaklanır ve GSYH payına veya SOC/O*NET taksonomisine dayalı kıyaslamanın hata olduğunu savunur. 14 uzman veri ortağıyla çalıştı; bunlar arasında RSI için Extrapolate ve donanım tasarımı için Beautiful Machines var. Ortaklar sıkı kalite güvencesinden geçti ve otomatik kalite güvencesini ilk denemede geçmek zorundaydı. Varsayılan süre sınırı 8 saattir. Modeller mevcut olduğunda yerel harness'lerde, yoksa OpenCode üzerinde çalıştırıldı. Görevler ikili veya kısmi puanlama kullanır; başlık puanı, alanlar eşit ağırlıklı olmak üzere üç denemede pass@1'dir.

Derin incelemeler: RSI ve donanım tasarımı

Yalnızca Extrapolate'ın RSI görevleri, RSI'yi bir ajanın bir sonraki sürümünü otonom oluşturabilme yeteneği olarak tanımlar. Bir görev, harness hatasının 32K token'da mesaj enjekte ettiği büyük ölçekli RL çalışmasının hata ayıklamasını yeniden canlandırır; ajanlar 21,2 milyon token içeren yaklaşık 1.000 rollout izi alır. Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon ve GLM 5.3'ten 20 rollout'da dört modelin tamamı zorlandı. Yalnızca Beautiful Machines'ın donanım tasarımı görevleri, 7.000 bileşenli robotik hasta transfer sistemi gibi projelerden spesifikasyon ve artefakt kullanır. Rollout'lar SOLIDWORKS, Siemens Designcenter NX, Autodesk Fusion 360, KiCad, AMD Vivado ve Cadence paketiyle korumalı ortamlarda çalışır; puanlama deterministik doğrulayıcılar ve LLM-as-a-judge kullanır.

Kaynaklar: Semianalysis