Тест Vals AI показав: команди агентів у 5,1 рази дорожчі, а користь мінімальна

Команди дорожчі, а результат рідко покращується

Vals AI протестував GPT-6 Sol і Claude Opus 5.5 у Vibe Code Bench як окремими агентами, так і командами, на середньому та максимальному рівні міркування. Конфігурації команд виявилися від 1,8 до 5,1 разів дорожчими порівняно з окремими агентами.

Серед чотирьох порівнянь між командами та окремими агентами лише одне показало статистично значущє покращення. Це було GPT-6 Sol на середньому рівні міркування, де команда набрала на 7,3 бали більше, ніж окремий агент. На максимальному рівні міркування командна конфігурація не дала реальної переваги ні Sol, ні Opus 5.5.

Масштабування спочатку дає швидкість, а якість — потім

За словами Vals AI, її бенчмарк у Vibe Code Bench порівнював вартість кожного застосунку з балами, поступово переходячи від окремого агента кожної моделі до її команди на тому самому рівні міркування. Команди значно дорожчі, а бали ростуть повільно.

Anthropic також у двох власних тестах із Opus 5.5 помітив, що зі збільшенням кількості агентів приріст якості зменшувався. Більші команди досягали заданої продуктивності швидше, однак перехід від 10 до 100 агентів через 24 години підняв бали лише трохи. У деяких тестах ProgramBench виграш у швидкості супроводжувався значно вищою витратою токенів. У завданні з бази знань Opus 5.5 набрав 0,53 бала з одним агентом, 0,70 — з десятьма, 0,71 — з тридцятьма і 0,74 — зі ста. У доведенні теорем Lean він набрав 0,39 бала з одним агентом, 0,66 — з десятьма, 0,66 — з тридцятьма і 0,68 — зі ста.

Fable 5.1 у завданні з доведення теорем Lean показав сильніший приріст якості у випадку більше ніж десяти агентів, однак у всіх тестах усе одно набрав менший бал, ніж Opus 5.5. У завданні з бази знань бал Fable при переході від 30 до 100 агентів справді трохи знизився.

Координація обмежує групи агентів

Дослідник OpenAI Noam Brown у Dworkesh Podcast сказав, що багатоагентні системи отримують переважно швидкість, а не кращу якість. За його словами, чотири агенти вирішували завдання вдвічі швидше, але коштували також вдвічі дорожче; у випадку 16 агентів цей патерн зберігся, хоча ефективність трохи знизилася. Він зазначив, що ефект сильно залежить від завдання: веб-дослідження та математика добре паралелізуються, а написання роману — ні. Brown додав, що використання 10 000 агентів для роману було б таким самим безглуздим, як 10 000 людей, і що масштабування до дуже великої кількості агентів досі недостатньо вивчене, оскільки витрати дуже високі.

Розробник OpenAI Eric Provencher з тієї ж причини застеріг від використання груп агентів. На його думку, вони з великою ймовірністю розсіюють гроші, оскільки координація між агентами погіршується; цю проблему він назвав «податок на координацію».

Джерела: The Decoder