GPT-6-Astra лідирує в бенчмарку з теоретичної фізики з точністю 98%

Результати бенчмарку

35 дослідників із Міжнародного центру теоретичних наук, Гарвардського університету, KU Leuven та Google DeepMind опублікували TheoPhysEval, бенчмарк із 50 неопублікованих дослідницьких задач із теоретичної фізики, які мають перевіряльні відповіді. GPT-6-Astra, що працював у середовищі програмування Codex від OpenAI, правильно відповів на 49 з 50 задач, тобто 98%; середня вартість однієї задачі становила менше 3 доларів, а для всього бенчмарку — трохи менше 116 доларів.

Opus 5.5 від Anthropic, що працював у Claude Code, зафіксував 92%. Gemini 3.8 Flash від Google зафіксував 68%, а DeepSeek-V4.1-Flash і GLM 5.3 — відповідно 54% та 42%. Кожен агент запускався двічі: з вебпошуком та без доступу до інтернету.

Що перевіряють задачі

Бенчмарк охоплює тринадцять субдисциплін, від течії рідин і біологічних процесів до фізики частинок і космології. Автори зосередилися на рутинній дослідницькій роботі, а не на головних відкритих питаннях; задачі вони описують як завдання типу «прокрутити жернов», де відомі методи застосовуються до трохи змінених значень. Провідному спеціалісту на типову задачу потрібно було приблизно день або менше, спеціалістам із сусідніх галузей — більше часу.

Доступ до інтернету майже нічого не змінив. Без вебпошуку Astra та Opus зафіксували по 92%. За словами авторів, це вказує на те, що провідні мовні моделі фактично запам'ятали значну частину літератури з теоретичної фізики. Кілька помилок пізніше приписали помилкам контрольних розв'язків, а не помилкам моделі.

Від обчислень до відкриттів

Автори кажуть, що деякі найсильніші моделі, можливо, вже перевершують найкращих людських дослідників у конкретних обчисленнях, але теоретична фізика ще не досягла стадії, як-от розв'язання відкритих задач у математиці за допомогою AI. Вони стверджують, що перевіряльне обчислення стоїть у кінці дослідження. До того моменту дослідники мають вибудувати теорію, ставити правильні питання та перемикатися, коли задача занадто складна. Сучасним агентам бракує цього судження, або того, що фізики називають смаком.

Автори також бачать наслідки для навчання та доступу. Задачі, які колись ставили перед початківцями-дослідниками, можуть вже не підходити, якщо мета — не лише засвоєння матеріалу. Вони очікують, що витрати на складніші задачі різко зростуть, і кажуть, що теоретична фізика повинна обговорити доступ та рівні можливості, перш ніж здібні агенти змінять галузь.

Джерела: The Decoder