TryAI протиставила Claude Fable 5 і GPT-5.6 Sol на арені музичних відео за $100

TryAI опублікувала змагання, у якому дві фронтирні моделі — Claude Fable 5 і GPT-5.6 Sol — отримали однакову пісню, жорсткий бюджет у доларах і набір інструментів, після чого мали самостійно створити повне музичне відео. Мета — подивитися, як використання інструментів відрізняється між моделями на довгому відкритому завданні.

Як працює арена

Кожна модель працювала в автономному циклі із шістьма інструментами: plan, web_search, get_budget, generate_image, generate_video та run_command. Бюджет витрачають лише два інструменти генерації, а модель сама обирає модель FAL або Replicate та її параметри. Оболонка дає їй ffmpeg і ffprobe для аналізу звуку, нарізки кліпів і зведення фінального відео; коли бюджет вичерпано, платна генерація блокується, але монтаж триває. Усі повідомлення, виклики інструментів, витрати й помилки залогові, а фреймворк відкрито на GitHub.

Усі чотири запуски — дві моделі з бюджетами $25 і $100 — мали ідентичні вхідні дані: «Uptown Funk» Бруно Марса та Марка Ронсона, короткий опис і транскрипт тексту пісні з таймкодами.

Скільки коштували запуски

Усі чотири завершилися самостійно, не досягнувши ліміту кроків чи часу, і кожен видав повноцінне відео з оригінальною піснею. Час виконання коливався від 38 хвилин 56 секунд (Claude Fable 5, $100) до 49 хвилин 39 секунд (GPT-5.6 Sol, той самий бюджет). Витрати на генерацію становили $24.30 і $48.60 для Claude та $23.18 і $36.57 для Sol; з додаванням токенів моделі ($10/$50 за мільйон вхідних/вихідних токенів у Fable 5 та $5/$30 у Sol) загальні суми сягають $41.29, $27.45, $39.82 і $73.65. За запуск моделі генерували від 46 до 80 окремих кліпів.

Маючи вільний вибір, моделі розійшлися. Три запуски з чотирьох були чистим text-to-video; лише GPT-5.6 Sol за $25 збудував конвеєр image-to-video, генеруючи кадри FLUX schnell і анімуючи їх. За $100 Sol поєднав в одному запуску Wan 2.5, Veo 3.1 Lite і Hailuo 2.3 Standard, тоді як Fable 5 використав Seedance 1.0 Pro і видав єдиний результат у 1920x1080. Replicate не торкнулася жодна модель, хоч обидва ключі були доступні.

Що досі не виходить

TryAI оцінює результати прямо: жодне відео не було чудовим. Узгодженість персонажів і сюжету кульгала в усіх чотирьох запусках — герої змінювалися від кадру до кадру, а цілісної історії не витримав жоден. Моделі також читають текст пісні буквально: рядок «make a dragon wanna retire» породжує справжнього дракона. Слабким лишилося й відчуття темпу: монтажні склейки потрапляють у біт, але рух усередині кліпів рідко збігається з піснею.

Монтаж переважно був одноразовим: згенерувавши кліпи, моделі зводили їх докупи, але рідко переробляли чи додавали ефекти, і ніхто серйозно не перевіряв власний матеріал. За висновком TryAI, $100 — це, ймовірно, завеликий бюджет: жодна модель не прагнула наблизитися до ліміту.