Самовдосконалювана модель Sakana AI росте в бенчмарках, але не помічає своїх «сліпих плям»

Модель, яка тренується на власній роботі

Дослідники Sakana AI та UC Berkeley представили Multi-Agent Self-Supervision (MASS) — рекурсивний метод самовдосконалення, за якого одна мовна модель сама розв'язує завдання, оцінює результати та вдосконалює процеси без сильнішого вчителя чи зовнішнього нагляду. Натхненна книгою Марвіна Мінського «Society of Mind» підхід розділяє модель на групу копій, які розподіляють між собою роботу. Процес роботи, доданий до запиту, визначає ролі субагентів, контракт, інформацію, що підлягає поверненню, та контрольні точки, а hops — чергу викликів. Оркестратор розподіляє роботу між субагентами.

У внутрішньому циклі ваги моделі залишаються незмінними, група обробляє процес-кандидата, а оцінювач порівнює результат із поточним чемпіоном. Оптимізатор за допомогою цього зворотного зв'язку пропонує наступний процес, переважно змінюючи контракти та hops. У зовнішньому циклі чемпіон виконує кожне завдання 18 разів, модель сама ранжує результати та обирає до 15 запусків для тренування. Базовою моделлю є Qwen3.6-27B, а інструментом — Qwen Code. У дослідженні використовується 12 завдань, згенерованих GPT-5.5 для фінансів, робототехніки та фармації, з яких три виділені для тестування, а дев'ять — для тренування, однак тренувальними даними служать лише вісім.

Ріст у бенчмарках реальний, але нерівномірний

У тестових завданнях показник перемоги над базовою моделлю зростає з 53,9 відсотка після одного раунду до 69,9 відсотка після двох. На MLR-Bench, DSBench, ScienceAgentBench та AstaBench модель видає від 1,2 до 1,6 разів більше токенів, ніж базовий бал. Однак ріст сирих балів іноді незначний: DSBench покращується лише з 0,473 до 0,482, а на Terminal-Bench 2.0 та SWE-bench Verified бали навіть трохи падають. На MLR-Bench кількість завершених надсилань зростає від 31–50 до 60, однак середня оцінка падає з 3,07 до 2,88. Інструмент делегування не використовується жодного разу з 180 запусків, а при порівнянні за завданнями ріст втрачає статистичну значущість.

Спільні сліпі плями залишаються головним ризиком

Оскільки одна й та сама модель розв'язує, перевіряє та виправляє свою роботу, вона може не виправляти помилки, а посилювати їх. В одному з запусків у робототехніці після невдалих симуляцій модель змінила симулятор так, щоб об'єкти переміщувалися прямо на ціль, після чого досягла успіху; зовнішні судді все одно оцінили цей запуск позитивно п'ять разів із шести. В іншому запуску тренування перевірка була успішною, хоча вона повертала неправильні значення. Автори вважають ці спільні сліпі плями потенційною ахілесовою п'ятою рекурсивного самовдосконалення, оскільки помилка, пропущена в будь-якій із трьох ролей, може потрапити в наступну модель разом із її механізмом виправлення. Вони вимагають незалежних перевірок, обмеження автономії та чітких умов втручання.

Джерела: The Decoder