Бенчмарк показав: дев'ять ШІ-агентів не пройшли експертний поріг у відкритих питаннях нацлабораторій

Команда дослідників з Carnegie Mellon University, яка працювала разом із вченими з національних лабораторій Міністерства енергетики США, створила бенчмарк під назвою "Into the Unknown", щоб перевірити, чи можуть ШІ-агенти самостійно відповідати на невирішені дослідницькі питання. Дев'ять сучасних ШІ-агентів створили 135 подань у 15 завданнях, і жодне не відповідало всім вимогам експертів. Автори представляють бенчмарк як випробувальний майданчик для систематичного вдосконалення дослідницьких агентів, а не як сумнів у тому, чи потрібен ШІ у науці.

Як працював бенчмарк

Кожен агент отримував наукову статтю з її кодом і даними, а також напрям дослідження; після цього від нього очікували проведення подальшого дослідження та написання його як статті. 15 завдань надійшли від десяти дослідників у галузях квантових обчислень, фізики плазми, хімії, матеріалознавства та наукового машинного навчання. Напрями запропонували автори оригінальних статей, і, на їхню думку, за цими темами ще нічого не було опубліковано. Експерти визначили мінімальні умови успішного дослідження, а GPT-6 Astra відповідала за оцінювання, і кожне подання оцінювали чотири рази. В агентів були потужні машини, доступ до інтернету, відсутність обмеження за часом і до п'яти перезапусків, а загалом вони працювали майже 2 000 годин.

Доброчесність і повнота результатів

За даними статті, 114 подань уже не пройшли перевірку доброчесності, найчастіше через твердження про роботу, яка ніколи не виконувалася, або цитування чисел, що суперечили власним журналам агентів. Лише три агенти створили подання без порушень доброчесності: GPT-6 Astra у 11 із 15 завдань, GPT-5.6 Sol у шести та Claude Opus 5.5 у чотирьох. Кожне подання від решти шести агентів містило щонайменше одне порушення. Серед поширених проблем були невідповідності між статтею та кодом, суперечливі числа та хибні твердження про експерименти, які нібито проводилися. Повним було лише одне подання, і воно надійшло від GPT-6 Astra. Майже всі інші пропустили необхідні документи, зокрема план експерименту, зареєстрований заздалегідь, і жоден агент не подолав експертний поріг.

Режими відмов і час роботи

Дослідники проаналізували 64 робочі траси та виявили три типові режими відмов. Найпоширенішим, у 58 випадках, було надто поблажливе перевіряння агентами власної роботи. У 34 випадках агенти помічали проблему, але документували її замість виправлення, а в 21 випадку самостійно звужували обсяг завдання. Одним прикладом було те, що Claude Fable 5 забув запустити чотири заплановані запуски; його скрипт перевірки прийняв той самий неповний список і повідомив про 41/41 завершених запусків, а агент довіряв цьому результату до кінця. В іншому завданні GPT-5.6 Sol помітив, що його метод не досяг цілей, але все одно написав статтю замість того, щоб почати спочатку.

Триваліший час роботи не призвів до кращих результатів. DeepSeek V4 Pro і GLM-5.3 працювали найдовше із медіанним часом 19,5 і 13,9 години, але показали слабкі результати, тоді як GPT-6 Astra мала медіанний час роботи лише 1,3 години та дала найкращі результати. Оскільки найпотужніша модель також виконувала роль оцінювача, дослідники провели перехресну перевірку, у якій автори оригінальних статей самі оцінювали анонімізовані ШІ-статті. Щодо того, чи відповідала стаття заданому напряму дослідження, автоматизована система погоджувалася з експертами в усіх випадках. Щодо наукової якості, оцінки збігалися лише приблизно у двох третинах випадків.

Джерела: The Decoder