Новий Taste-Bench: найкращі AI-агенти ледве перемагають підкидання монети у тривалих рішеннях

Агентам важко оцінювати тривалі рішення

AI-агенти зараз виконують багатоетапні завдання, наприклад, пишуть дослідницькі роботи або створюють програмні проєкти, і постійно ухвалюють рішення про те, яку гіпотезу перевірити, на який код покластися або який експеримент провести далі. Наслідки такого вибору рідко видно одразу. Погане рішення часто спочатку виглядає добре, а його справжня ціна проявляється лише після того, як агент витратить більшу частину бюджету. Дослідники з Microsoft та Гонконгського міського університету називають здатність добре робити такий вибір «смаком» агента.

Як працює Taste-Bench

Наявні бенчмарки перевіряють лише те, чи виконав агент завдання, а не якість його проміжних кроків. Людська оцінка була б дорогою й важко масштабованою, тому дослідники спираються на ретроспективу. Вони беруть записи роботи агента, зупиняють їх на «роздоріжжі рішення», де розходяться дві спроби, швидко проганяють всю подальшу роботу та просять модель вибрати кращий шлях. Оскільки фінальний результат кожної роботи визначає кращий варіант, самі роботи забезпечують розмічене порівняння. Taste-Bench містить 502 такі запитання, складені з тисяч оцінених агентами робочих процесів для завдань із програмування та дослідження в галузі AI, у тому числі з SWE-bench Pro та вибірки публічних транскриптів METR під назвою MALT. Генеративна модель відфільтрувала тривіальні або нерозв’язні випадки, а ручна перевірка підтвердила майже всі автоматично згенеровані мітки.

Найкращі моделі теж ледве перевершують випадковість

Команда перевірила 14 моделей із сімейств Claude, GPT, Grok, DeepSeek, GLM, MiniMax та Mistral. Кожне запитання запускали двічі зі заміною варіантів відповідей, і зарахували лише якщо модель відповіла правильно обидва рази, що дає 25 відсотків для чистої випадковості. Найкраща модель GPT-5.6 Sol набрала в середньому 59,7 відсотка, її дуже близько наздогнала GPT-5.5 з 59,5 відсотка. Точність впала до 21 відсотка, близько рівня випадкового вгадування, коли головна підказка з’являється лише після тривалої подальшої роботи, порівняно з 62,3 відсотка, коли підказка уже видна на попередніх кроках. Збільшення бюджету на міркування майже не змінило точність, що вказує: потрібна підказка на цих роздоріжжях просто ще не існує.

Смак можна натренувати

Дослідники перенесли логіку вчителя моделі в Qwen3.6-27B, піднявши її точність на незнайомих завданнях із 30 до 47,9 відсотка. Коли ці рекомендації використали під час окремої роботи агента на 41 виділеному завданні SWE-bench Pro, показник успішності за такої керівної підказки піднявся з 14,6 до 33,7 відсотка, що близько до 39 відсотків за абсолютно правильного вибору. Бенчмарк і код є публічно доступними.

Джерела: The Decoder