ШІ-агенти для коду потребують ручного доопрацювання майже у трьох із чотирьох завдань

Дослідники з Alibaba та кількох азійських університетів створили Co-Design Bench, тест для агентів із написання коду на основі реальних запитів користувачів на зміни в наявних вебзастосунках. Навіть найкраща з десяти протестованих моделей, GPT-6 Astra, повністю виконує лише приблизно одне з чотирьох завдань, а в середньому задовольняє близько 70 відсотків вимог; у більшості випадків користувачеві все одно доводиться вручну виправити хоча б одну деталь.

Чому старі бенчмарки виглядають надто легкими

Автори кажуть, що наявні бенчмарки стали насиченими. Коли агенти для коду можуть запускати, перевіряти й виправляти власний код, вони набирають понад 99 відсотків на цих тестах, а різницю між моделями ледь можна виміряти. На старіших бенчмарках, таких як WebCompass-edit, агентні моделі для коду досягають майже ідеальних результатів, а Co-Design Bench залишає розрив понад 35 відсоткових пунктів.

Як працює новий бенчмарк

Co-Design Bench ґрунтується на реальних запитах із фактичних сеансів кодування. Дослідники віддавали перевагу випадкам, коли користувачам доводилося кілька разів переформулювати запит або відкочувати зміни, тож тест переважно містить завдання, що вже створювали проблеми для ШІ-агентів на практиці. Завдання варіюються від невеликих правок, наприклад витягнути суму з чека й оновити всі залежні підсумки, до повномасштабних переробок проєкту. У мультимодальному треку агенти мають витягувати значення з чеків, таблиць або відео й узгоджено оновлювати всі залежні подання. Оцінювання суворе: один ШІ-суддя перевіряє готовий застосунок у браузері, а другий повторно перевіряє кожен позитивний вердикт і шукає макети чи жорстко закодовані результати. Бали отримують лише функції, що реально працюють у застосунку.

Моделі мають проблеми з поєднаними змінами

Після GPT-6 Astra наступні місця посідають Claude Opus 5 і Qwen3.8-Max, а Grok 4.6 опиняється на останньому місці. У великих переробках значно менша Qwen3.8-27B піднімається на друге місце, але автори не виводять із цього результату загальну перевагу цієї моделі. Продуктивність усіх моделей падає, коли завдання поєднує більше типів змін, зокрема макет, дизайн, взаємодію та вміст. Кожна з десяти моделей показує гірший результат, щойно завдання вимагає трьох або чотирьох різних типів змін. Додаткові обчислення мало допомагають усунути цю слабкість: GLM-5.2 витрачає майже в шість разів більше токенів, ніж GPT-6 Astra, на невеликих змінах і все одно набирає значно менше балів. GPT-6 Astra лідирує в обох треках, але повністю розв'язує лише 41 відсоток мультимодальних завдань і трохи менше 18 відсотків завдань на репозиторіях.

Обмеження оболонки та тесту

В окремому тесті дослідники запускали ті самі моделі в різних оболонках, програмах, через які агент читає, пише й виконує код. Qwen3.8-27B набрала 75 або лише 56 відсотків на великих переробках залежно від середовища, а яка з двох моделей виявиться попереду, також залежало від середовища. Таблиці лідерів, що вказують лише модель, тому розповідають лише частину історії, а автори рекомендують завжди вказувати разом модель і робоче середовище. Для компаній, що обирають агента для коду, це означає тестувати обидва компоненти як пару. Бенчмарк має й обмеження: він оцінює один фіксований запит на завдання, тож подальші запитання чи виправлення під час завдання не входять до тесту, а ШІ-судді можуть помилятися. Дослідження METR показало, що результати бенчмарків і зручність використання в реальному світі можуть розходитися: фактичний рівень прийняття коду, згенерованого ШІ, керівниками проєктів приблизно на 24 відсоткові пункти нижчий за результати на SWE-bench Verified. Недоліки тестових середовищ також можуть дозволити агентам проходити завдання без реального їх розв'язання. Вплив робочого середовища не є однозначним: нещодавнє дослідження виявило ледь помітну користь від складніших оболонок, хоча вони споживали до трьох разів більше токенів.

Джерела: The Decoder