GPT-6-Astra nəzəri fizika testində 98% dəqiqliklə liderlik edir

Test nəticələri

Nəzəri elmlər beynəlxalq mərkəzin, Harvard Universitetinin, KU Leuven və Google DeepMind-in 35 araşdırçısı TheoPhysEval adlı, yoxlana bilən cavabları olan 50 nəzəri fizika araşdırma tapşırığından ibarət testi nəşr etdi. OpenAI-nin Codex proqramlaşdırma mühitində işləyən GPT-6-Astra 50-dən 49-nu düzgün cavablandırdı, yəni 98%, bir tapşırığın orta qiyməti 3 dollar az idi, bütün test üçün isə 116 dollar bir az az.

Claude Code-da işləyən Anthropic-in Opus 5.5-i 92% nişan aldı. Google-ın Gemini 3.8 Flash-ı 68% nişan aldı, DeepSeek-V4.1-Flash və GLM 5.3 isə müvafiq olaraq 54% və 42%. Hər agent iki dəfə işə salındı: veb axtarışı ilə və internet olmadan.

Tapşırıqlar nələri yoxlayır?

Test on üç alt sahəni əhatə edir, maye axınından bioloji proseslərə, molekulyar fizikadan kosmologiyadək. Müəlliflər rutin araşdırma işinə, əsas açıq suallara deyil, fokuslaşdılar; tapşırıqları "kompas dönməsi" tapşırığı kimi təsvir edirlər, burada tanınmış üsulları bir az dəyişdirilmiş mənalardan istifadə edirlər. Tipik tapşırığa qənar sahənin mütəxəssisi günə və ya az tələb olur, qonşu sahə mütəxəssislərə isə daha çox vaxt lazım olur.

İnternetə giriş heç nəyi dəyişmədi. Veb axtarışı Astra və Opus hər ikisi 92% nişan aldı. Müəlliflərə görə, bu onu göstərir ki, aparıcı dil modelləri nəzəri fizika ədəbiyyatının böyük hissəsini faktiki yadda saxlamışdır. Bir neçə səhv sonradan şərh edilmiş həllərin xətalarına aid edildi, modelin səhvlərinə yox.

Hesablamaların qarşısında

Müəlliflər deyir ki, bəzi ən güclü modellər artıq konkret hesablamalarda ən yaxşı insan araşdırçılarını keçə bilər, lakin nəzəri fizika AI-nin riyaziyyatda açıq problemləri həll etdiyi mərhələyə hələ çatmayıb. Onlar əsaslandırır ki, yoxlanıla bilən hesablama araşdırmanın sonunda dayanır. Buna qədər araşdırçılar nəzəriyyə qurmalı, düzgün suallar verməli və tapşırıq çətin olduqda yenidən yönəltməlidir. Bu cari agentlərdə bu qiymətləndirmə yoxdur, ya fiziklərin zövq adlandırdığı bir şey.

Müəlliflər təlim və girişə dairədə nəticələrə baxırlar. yeni başlayan araşdırçılar üçün əvvəllər çətin olan tapşırıqlar, yalnız məzmunu ötürmək məqsədindədirsə, uyğun olmaya bilər. Onlar daha mürəkkəb tapşırıqlara xərclərin kəskin artacağına inanırlar və nəzəri fizikanın bacarıqlı agentlər sahəni əvəz edənə qədər giriş və bərabər imkanlar məsələsini nəzərdən keçirməli olduğunu deyirlər.

Mənbələr: The Decoder