ByteDance מציגה את Seedance 2.5: קליפים של 30 שניות ורפרנסים מרובי-מודאליות

צוות Seed של ByteDance השיק רשמית את Seedance 2.5, הדור החדש של מודל יצירת הווידאו שלו. בהודעה שפורסמה בבלוג הצוות נאמר שהשחרור נשען על הארכיטקטורה המאוחדת ליצירה משותפת של אודיו ווידאו שהוצגה ב-Seedance 2.0, ומתמקד בשני דברים: יצירה בסיסית ויצירה מונחית רפרנסים.

צילומים ארוכים יותר במעבר אחד

Seedance 2.5 יוצר קליפי אודיו-וידאו באיכות גבוהה של עד 30 שניות במעבר אחד — כפול מ-15 השניות של קודמו — ותומך במספר סבבי הארכה, כך שניתן להוסיף צילומים חדשים לתוצר קיים. לפי הצוות, חל שיפור במעברים בין צילומים ובשינויי סצנה, וכן באיכות התמונה, הסאונד והתנועה; יחד הם מאפשרים להרכיב סרטונים בני כמה דקות בשפה אודיו-ויזואלית אחידה — סיפור שלם בצילום אחד ולא רצף של קליפים מודבקים. אחת הדוגמאות שפורסמו עוקבת אחרי זמרת מחדר ההלבשה, דרך מסדרון מאחורי הקלעים ועד לבמה, בצילום רציף אחד.

עד 30 תמונות, 10 סרטונים ו-10 קטעי אודיו

המודל מקבל עד 30 תמונות, 10 קליפי וידאו ו-10 קטעי אודיו כחומרי רפרנס במעבר אחד. לדברי הצוות, סט רפרנסים גדול ומגוון יותר מביע טוב יותר את כוונת היוצר: המודל מזהה קומפוזיציה, סצנות, סגנונות, דמויות ואביזרים בכל החומרים ומשמר את מראם וקולם של כמה דמויות גם בסצנות קבוצתיות. גם מצבי רפרנס מסוימים חוזקו: ברפרנס של clay render המשתמשים מגדירים מבנה מרחבי, תנוחות, מסלולי תנועה וזוויות מצלמה באמצעות מודלי תלת-ממד חסרי טקסטורה, והמודל פועל לפי המבנה הזה ואף גוזר ממנו תאורה סבירה פיזיקלית.

עריכה ברזולוציית חותמות זמן

בשלב היצירה יכולים הפרומפטים לשלוט בנרטיב, בפרספקטיבת המצלמה, בתנועה ובקצב של פרק זמן מסוים; לאחר היצירה אפשר לשנות דמויות, פעולות או אלמנטים עלילתיים בתוך הקליפ תוך שמירה על רציפות וריאליזם. השחרור גם משפר עריכה על מסך ירוק, עריכת פרספקטיבת מצלמה ועריכה מבוססת רפרנסים. בעבודה על מסך ירוק, למשל, המודל מרנדר כיצד הסובייקט מגיב לפיזיקה של הסביבה החדשה — מכיוון התנופפות הבגד ומצב השיער ועד קצב ההליכה והאינטראקציה עם התאורה.

זמינות ומגבלות מוצהרות

Seedance 2.5 מושק בהדרגה ב-Jimeng AI, ב-Doubao Pro ובפלטפורמות נוספות, וגישה דרך API הובטחה בקרוב דרך BytePlus ModelArk. מעבר לעבודה יצירתית, ByteDance מצביעה על חינוך — הפיכת אירועים היסטוריים, עקרונות מדעיים וניסויים להמחשות, בין היתר בתרחיש Doubao Classroom — ועל תעשייה, שבה המודל משמש לנתוני אימון סינתטיים, לכישורי תפיסה ותפעול של רובוטים ולתרחישי נהיגה אוטונומית נדירים. הצוות מציין גם את המגבלות שנותרו: סבירות פיזיקלית של תנועות מורכבות ויציבות של סצנות שבהן כמה סובייקטים פועלים יחד.