TryAI Claude Fable 5 ilə GPT-5.6 Sol-u 100 dollarlıq musiqi videosu arenasında üz-üzə qoydu

TryAI iki qabaqcıl modelin — Claude Fable 5 və GPT-5.6 Sol — eyni mahnını, sərt dollar büdcəsini və alətlər dəstini alaraq tam bir musiqi videosunu müstəqil şəkildə hazırladığı bir müqayisə yayımlayıb. Məqsəd uzunmüddətli və açıq tapşırıqda alətlərdən istifadənin modellər arasında necə fərqləndiyini görmək idi.

Arena necə işləyir

Hər model altı alətdən ibarət muxtar dövrə işlədib: plan, web_search, get_budget, generate_image, generate_video və run_command. Büdcəni yalnız iki generasiya aləti xərcləyir; model FAL və ya Replicate üzərindən öz modelini və parametrlərini seçir. Qabıq səs analizi, kliplərin kəsilməsi və son videonun birləşdirilməsi üçün ffmpeg və ffprobe verir; büdcə bitdikdə ödənişli generasiya dayandırılır, montaj isə davam edir. Hər mesaj, alət çağırışı, xərc və xəta qeydə alınıb, düzənək GitHub-da açıq kod kimi yerləşdirilib.

Dörd işin hamısı — iki model, 25 və 100 dollarlıq büdcələr — eyni girişləri aldı: Bruno Mars və Mark Ronson-un “Uptown Funk” mahnısı, qısa təsvir və zaman nişanlı mahnı sözləri transkripti.

İşlərin xərci

Dördü də addım və ya vaxt limitinə çatmadan özbaşına tamamlandı və hər biri orijinal mahnı ilə tam uzunluqda video verdi. Vaxt 38 dəqiqə 56 saniyədən (Claude Fable 5, 100 dollar) 49 dəqiqə 39 saniyəyə (GPT-5.6 Sol, eyni büdcə) qədər dəyişdi. Generasiya xərci Claude işlərində 24,30 və 48,60 dollar, Sol-da isə 23,18 və 36,57 dollar oldu; milyon giriş/çıxış tokeninə görə 10/50 dollar (Fable 5) və 5/30 dollar (Sol) model haqqı əlavə edildikdə ümumi məbləğlər 41,29, 27,45, 39,82 və 73,65 dollara çatır. Hər işdə 46-dan 80-ə qədər ayrı klip yaradıldı.

Sərbəst buraxıldıqda modellər ayrıldı: dörd işdən üçü təmiz mətndən-videoya getdi; yalnız 25 dollarlıq GPT-5.6 Sol FLUX schnell ilə kadrlar yaradıb onları canlandıran görüntüdən-videoya xətti qurdu. 100 dollarda Sol bir işdə Wan 2.5, Veo 3.1 Lite və Hailuo 2.3 Standard-ı birləşdirdi, Fable 5 isə Seedance 1.0 Pro-dan istifadə edərək yeganə 1920x1080 nəticəni verdi. Hər iki açar mövcud olsa da, heç bir model Replicate-ə toxunmadı.

Hələ nə alınmır

TryAI nəticəni açıq deyir: videoların heç biri əla deyildi. Personaj və süjet ardıcıllığı dörd işdə də problem idi — təkrarlanan personajlar kadrlar arasında dəyişirdi və heç bir iş əvvəldən axıra tutarlı hekayə saxlamadı. Modellər sözləri hərfi oxuyur: “make a dragon wanna retire” sətri ekrana əsl əjdaha gətirir. Temp uyğunluğu da zəif qaldı — kəsiklər ritmə düşür, amma klipin daxilindəki hərəkət mahnının tempinə nadir hallarda uyğun gəlir.

Montaj əsasən bir keçidlə bitdi: kliplər hazır olduqdan sonra modellər onları birləşdirib səsi qoşdu, lakin nadir hallarda yenidən kəsdi və ya effekt əlavə etdi, heç biri öz materialını ciddi yoxlamadı. TryAI-nin qənaətinə görə, 100 dollar çox güman ki həddindən artıq böyük büdcə idi — heç bir model limitə yaxınlaşmaq istəmədi.