GPT-6-Astra, teorik fizik kıyaslamasında %98 doğrulukla lider

Kıyaslama Sonuçları

Teorik Bilimler Uluslararası Merkezi, Harvard Üniversitesi, KU Leuven ve Google DeepMind'den 35 araştırmacı, doğrulanabilir yanıtlara sahip 50 yayımlanmamış teorik fizik araştırma problemi içeren TheoPhysEval kıyaslamasını yayımladı. OpenAI'ın Codex programlama ortamında çalışan GPT-6-Astra, 50 problemden 49'una doğru yanıt verdi, yani %98; tek bir problem için maliyet 3 dolardan az, tüm kıyaslama için ise 116 dolardan biraz daha azdı.

Claude Code ortamında çalışan Anthropic'ın Opus 5.5'i %92 kaydetti. Google'ın Gemini 3.8 Flash'i %68, DeepSeek-V4.1-Flash ve GLM 5.3 sırasıyla %54 ve %42 kaydetti. Her ajan iki kez çalıştırıldı: web aramasıyla ve internetsiz.

Problemler Neyi Test Ediyor

Kıyaslama, akışkan dinamiğinden biyolojik süreçlere, moleküler fizikten kozmolojiye kadar on altı alt alanı kapsıyor. Yazarlar rutin araştırma işlerine odaklandı, ana açık sorulara değil; problemleri, bilinen yöntemlerin biraz değiştirilmiş parametrelerle kullanıldığı "kayıp anahtar" türü görevler olarak tanımlıyorlar. Önde gelen bir uzman tipik bir problemde yaklaşık bir güne veya daha azına ihtiyaç duyarken, komşu alan uzmanları daha fazla zaman harcıyor.

İnternet erişimi neredeyse hiçbir şeyi değiştirmedi. Web araması olmadan Astra ve Opus her birinde %92 kaydetti. Yazarlara göre bu, önde gelen dil modellerinin teorik fizik literatürünün büyük bir bölümünü fiilen ezberlediğini gösteriyor. Birkaç hatanın daha sonra referans çözümlerindeki hatalara atfedildiğini, model hatalarına değil.

Hesaplamalardan Keşfe

Yazarlar, bazı en güçlü modellerin belirli hesaplamalarda en iyi insan araştırmacılarına çoktan geçmiş olabileceğini, ancak teorik fiziğin henüz AI'ın matematikte açık problemleri çözdüğü aşamayı görmediğini söylüyor. Doğrulanabilir hesaplamanın araştırmanın sonunda yer aldığını savunuyorlar. O zamana kadar araştırmacıların bir kuram geliştirmesi, doğru soruları sorması ve problem çok zor olduğunda başa çıkması gerekiyor. Mevcut ajanlar bu yargıdan yoksunlar veya fizikçilerin "zevk" dediği şey.

Yazarlar sonuçları hem eğitim hem de erişim açısından değerlendiriyor. Bir zamanlar başlangıç seviyesi araştırmacıları zorlayan problemler, eğer amaç sadece içeriği ezberlemek değilse artık uygun olmayabilir. Daha zor problemler için maliyetler keskin bir artış göstereceklerini ve teorik fiziğin, yetenekli ajanlar alanı değiştirmeden önce erişimi ve fırsat eşitliğini düşünmesi gerektiğini söylüyorlar.

Kaynaklar: The Decoder