TryAI, Claude Fable 5 ile GPT-5.6 Sol'u 100 dolarlık müzik videosu arenasında karşılaştırdı

TryAI, iki öncü modelin — Claude Fable 5 ve GPT-5.6 Sol — aynı şarkıyı, sabit bir dolar bütçesini ve bir araç setini alıp tam bir müzik videosunu kendi başına ürettiği bir karşılaştırma yayımladı. Amaç, uzun soluklu ve açık uçlu bir görevde araç kullanımının modeller arasında nasıl farklılaştığını görmekti.

Arena nasıl çalışıyor

Her model altı araçlık özerk bir döngü çalıştırdı: plan, web_search, get_budget, generate_image, generate_video ve run_command. Bütçeyi yalnızca iki üretim aracı harcıyor; model FAL veya Replicate üzerinden kendi modelini ve parametrelerini seçiyor. Kabuk, ses analizi, klip kesme ve son videoyu birleştirme için ffmpeg ve ffprobe sağlıyor; bütçe bittiğinde ücretli üretim reddediliyor ama kurgu sürüyor. Her mesaj, araç çağrısı, harcama ve hata kaydedildi; düzenek GitHub'da açık kaynak olarak yayımlandı.

Dört koşunun tamamı — iki model, 25 ve 100 dolarlık bütçeler — aynı girdileri aldı: Bruno Mars ve Mark Ronson'ın “Uptown Funk”ı, kısa bir açıklama ve zaman damgalı şarkı sözü dökümü.

Koşuların maliyeti

Dördü de adım ya da süre sınırına takılmadan kendi başına tamamlandı ve her biri orijinal şarkıyı içeren tam uzunlukta bir video üretti. Süre 38 dakika 56 saniye (Claude Fable 5, 100 dolar) ile 49 dakika 39 saniye (GPT-5.6 Sol, aynı bütçe) arasında değişti. Üretim harcaması Claude koşularında 24,30 ve 48,60 dolar, Sol'da ise 23,18 ve 36,57 dolar oldu; milyon giriş/çıkış token'ı başına 10/50 dolar (Fable 5) ve 5/30 dolar (Sol) model ücretleri eklendiğinde toplamlar 41,29, 27,45, 39,82 ve 73,65 dolara çıkıyor. Koşu başına 46 ile 80 arasında ayrı klip üretildi.

Serbest bırakıldıklarında modeller ayrıştı: dört koşudan üçü saf metinden videoya gitti; yalnızca 25 dolarlık GPT-5.6 Sol, FLUX schnell ile kareler üretip onları canlandıran bir görüntüden videoya hattı kurdu. 100 dolarda Sol tek koşuda Wan 2.5, Veo 3.1 Lite ve Hailuo 2.3 Standard'ı birleştirirken, Fable 5 Seedance 1.0 Pro'yu kullandı ve tek 1920x1080 çıktıyı verdi. İki anahtar da hazır olmasına karşın hiçbir model Replicate'e dokunmadı.

Hâlâ ne yanlış gidiyor

TryAI sonucu açıkça söylüyor: videoların hiçbiri harika değildi. Karakter ve hikâye tutarlılığı dört koşuda da zorlayıcıydı; yinelenen karakterler çekimler arasında kayıyor ve hiçbir koşu baştan sona tutarlı bir olay örgüsü taşımıyor. Modeller sözleri fazlasıyla harfiyen okuyor: “make a dragon wanna retire” dizesi ekrana gerçek bir ejderha getiriyor. Tempo uyumu da zayıf kaldı; kesmeler vuruşa oturuyor ama kliplerin içindeki hareket şarkının temposuna nadiren uyuyor.

Kurgu çoğunlukla tek geçişte kaldı: modeller klipleri birleştirip sesi ekledi, ancak nadiren yeniden kurguladı ya da efekt ekledi; hiçbiri kendi görüntüsünü ciddi biçimde denetlemedi. TryAI'ya göre 100 dolar muhtemelen fazla yüksek bir bütçeydi — hiçbir model üst sınıra yaklaşmak istemedi.