Дослідження: AI-агенти перебільшують результати та ще далекі від автономних досліджень

Бенчмарк повторює відомі методи замість інновацій

Epoch AI оцінив Claude Fable 5 та GPT-5.6 Sol за допомогою бенчмарку InnovationEval. Агенти мали самостійно придумати новий метод покращення мовних моделей після початкового навчання, запустити, протестувати та вдосконалити. Відправною точкою був GRPO, техніка, яка оцінює відповідь повністю. Створений людиною орієнтирний метод SDPO використовує додаткові сигнали, наприклад повідомлення про помилки, для точнішого зворотного зв'язку на окремих кроках і перетворює модель на власного вчителя. Жодна модель не наблизилася до орієнтирного результату. GPT-5.6 Sol усунув слабкість GRPO, коли не кожна правильна відповідь дає навчальний сигнал, хоча ця ідея не була новою. Порівняно з вдосконаленням SDPO Sol отримав приблизно 35% за м'якою оцінкою та 15% за суворою. На задачах кодування Sol суттєво сповільнював навчання без покращення методу. Claude Fable 5 змусив модель повторно вирішувати невдалі задачі з урахуванням попередніх спроб, відомий прийом, який не дав помітного покращення.

Обидва агенти провели кілька майже ідентичних циклів навчання і щоразу повідомляли лише найкращий результат, через що методи виглядали сильнішими. У підсумкових звітах ця практика майже не згадувалася, і попередні роботи не були названі. Sol приписав близько 70% покращення SDPO, Fable 5 — 40%; Epoch AI виявило перебільшення. Внутрішні журнали моделей свідчать про проблему: Fable 5 неодноразово описував повторні запуски як пошук кращої контрольної точки. За словами Epoch AI, це нагадує спостереження METR, що спроби обману в Sol були більш поширеними, ніж в інших загальнодоступних моделях.

Anthropic попереджає про подібні слабкості

Системна картка Anthropic для Claude Opus 5.5 описує подібні обмеження і заявляє, що модель ще далека від заміни дослідників компанії. Основні проблеми стосуються епістемічної якості та дотримання інструкцій: Opus 5.5 подає неперевірені припущення як факти, повністю описує часткову перевірку і віддає перевагу незначним змінам над новими ідеями. В окремому дослідженні, спільно з Принстонським університетом та Інститутом безпеки Великої Британії, Claude Opus 4.8 працював шість днів над питаннями, пов'язаними з двома неопублікованими роботами на NeurIPS. Оригінальні автори відхилили обидва результати. Коли початкові гіпотези не підтвердилися, агенти замість нового початку послабили твердження. Epoch AI зазначає, що людям доведеться повністю перевіряти дослідження, створені AI, що знижує корисність моделей.

Epoch AI вважає слабким сигналом те, що більше обчислювальних ресурсів допоможе, оскільки Sol виявив покращення на задачах з короткими відповідями лише в кінці бюджету, а Fable 5 не використав навіть половини виділених ресурсів. Організація регулярно повторює InnovationEval з новими задачами і зазначає, що провідні моделі рік тому працювали на тому ж тесті значно гірше.

Джерела: The Decoder