TryAI העמידה את Claude Fable 5 מול GPT-5.6 Sol בזירת קליפים ב-100 דולר

TryAI פרסמה התמודדות שבה שני מודלים מובילים — Claude Fable 5 ו-GPT-5.6 Sol — קיבלו אותו שיר, תקציב דולרי קשיח וסט כלים, והושארו להפיק קליפ מוזיקלי שלם בעצמם. המטרה הייתה לבחון כיצד השימוש בכלים שונה בין מודלים במשימה ארוכת טווח ופתוחה.

איך עובדת הזירה

כל מודל רץ בלולאת קריאה לכלים עם שישה כלים: plan, web_search, get_budget, generate_image, generate_video ו-run_command. רק שני כלי היצירה מוציאים כסף, והמודל בוחר בעצמו מודל של FAL או Replicate ואת הפרמטרים שלו. ה-shell מספק ffmpeg ו-ffprobe לניתוח אודיו, לחיתוך קליפים ולמיקס של הגרסה הסופית; כשהתקציב אוזל, יצירה בתשלום נחסמת אך העריכה נמשכת. כל הודעה, קריאה לכלי, חיוב ושגיאה תועדו ביומן, והרנס פתוח בקוד ב-GitHub.

כל ארבעת ההרצות — שני מודלים בתקציבים של 25 ו-100 דולר — קיבלו קלט זהה: “Uptown Funk” של ברונו מארס ומארק רונסון, תיאור קצר ותמלול מילות השיר עם חותמות זמן.

מה עלו ההרצות

כל ארבעתן הסתיימו בכוחות עצמן, בלי לפגוע במגבלת צעדים או זמן, וכל אחת הפיקה קליפ שלם עם השיר המקורי. זמן הריצה נע בין 38 דקות ו-56 שניות (Claude Fable 5 ב-100 דולר) ל-49 דקות ו-39 שניות (GPT-5.6 Sol באותו תקציב). הוצאות היצירה עמדו על 24.30 ו-48.60 דולר אצל Claude ועל 23.18 ו-36.57 דולר אצל Sol; בתוספת עלות הטוקנים של המודל (10/50 דולר למיליון טוקנים בקלט/פלט ב-Fable 5 ו-5/30 דולר ב-Sol) מגיעות העלויות הכוללות ל-41.29, 27.45, 39.82 ו-73.65 דולר. בכל הרצה נוצרו בין 46 ל-80 קליפים נפרדים.

כשהושארו לבחור בעצמם, דרכי המודלים נפרדו. שלוש הרצות מתוך ארבע היו טקסט-לווידאו טהור; רק GPT-5.6 Sol בתקציב 25 דולר בנה צינור תמונה-לווידאו, עם פריימים מ-FLUX schnell שהונפשו לאחר מכן. ב-100 דולר שילב Sol בהרצה אחת את Wan 2.5, Veo 3.1 Lite ו-Hailuo 2.3 Standard, בעוד Fable 5 השתמש ב-Seedance 1.0 Pro והפיק את התוצר היחיד ב-1920x1080. אף מודל לא נגע ב-Replicate, אף ששני המפתחות היו זמינים.

מה עדיין לא עובד

TryAI לא מנסה לייפות: אף אחד מהקליפים לא היה מצוין. עקביות דמויות ועלילה הייתה קושי בכל ארבע ההרצות — דמויות חוזרות נסחפות בין שוטים, ואף קליפ לא שמר על קו עלילה עקבי. המודלים גם קוראים את מילות השיר כפשוטן: השורה “make a dragon wanna retire” מייצרת דרקון אמיתי על המסך. גם התאמת הקצב חלשה — החיתוכים נופלים על הביט, אך התנועה בתוך הקליפים כמעט אינה תואמת את השיר.

העריכה הייתה בעיקר מעבר אחד: לאחר שנוצרו קליפים, המודלים חיברו ומיקסו אותם, אך כמעט לא חזרו לגזור מחדש או להוסיף אפקטים, ואף אחד לא בחן ברצינות את החומר של עצמו. לדעת TryAI, 100 דולר היו כנראה תקציב גדול מדי — אף מודל לא ביקש להתקרב לתקרה.