ByteDance-ը ներկայացրել է Seedance 2.5-ը՝ 30 վայրկյանանոց տեսանյութեր և բազմամոդալ հղումներ

ByteDance-ի Seed թիմը պաշտոնապես ներկայացրել է Seedance 2.5-ը՝ վիդեո ստեղծելու մոդելի նոր սերունդը։ Թիմի բլոգում հրապարակված հայտարարության համաձայն՝ թողարկումը հենվում է Seedance 2.0-ում ներդրված աուդիոյի և վիդեոյի միասնական բազմամոդալ համատեղ գեներացիայի ճարտարապետության վրա և կենտրոնանում է երկու բանի վրա՝ հիմնային գեներացիայի և հղումներով կառավարվող գեներացիայի։

Ավելի երկար տեսարաններ մեկ անցումով

Seedance 2.5-ը մեկ անցումով ստեղծում է մինչև 30 վայրկյան տևող բարձրորակ աուդիո-վիդեո հոլովակներ՝ կրկնակի ավելի, քան նախորդ մոդելի 15 վայրկյանը, և աջակցում է երկարաձգման մի քանի փուլեր, որպեսզի օգտատերը գոյություն ունեցող արդյունքին նոր տեսարաններ ավելացնի։ Թիմի տվյալներով՝ բարելավվել են տեսարանների միջև անցումներն ու տեսարանափոխությունները, ինչպես նաև պատկերի, ձայնի և շարժման որակը. արդյունքում հնարավոր է միասնական աուդիովիզուալ լեզվով կառուցել մի քանի րոպե տևող տեսանյութեր՝ ամբողջական պատմություն մեկ տեսարանում, այլ ոչ թե միմյանց կպցված հոլովակների հաջորդականություն։ Հրապարակված օրինակներից մեկը երգչուհուն հանդերձարանից տանում է հետնաբեմի միջանցքով դեպի բեմ՝ մեկ անընդհատ տեսարանում։

Մինչև 30 պատկեր, 10 տեսանյութ և 10 աուդիոհոլովակ

Մոդելը մեկ անցումով որպես հղումային նյութ ընդունում է մինչև 30 պատկեր, 10 տեսահոլովակ և 10 աուդիոհոլովակ։ Թիմի խոսքով՝ ավելի մեծ ու բազմազան հղումային հավաքածուն ավելի լավ է արտահայտում հեղինակի մտադրությունը. մոդելը նյութերում ճանաչում է կոմպոզիցիան, տեսարանները, ոճերը, կերպարներն ու ռեկվիզիտը և պահպանում մի քանի կերպարների արտաքինն ու ձայնը անգամ խմբային տեսարաններում։ Ուժեղացվել են նաև հղման առանձին ռեժիմները. clay render-ի հղմամբ օգտատերերը առանց հյուսվածքի 3D մոդելներով սահմանում են տարածական կառուցվածքը, կեցվածքները, շարժման հետագծերն ու տեսախցիկի անկյունները, իսկ մոդելը հետևում է այդ կառուցվածքին և դրանից բխեցնում ֆիզիկապես հավաստի լուսավորություն։

Մոնտաժ ժամանակային նշումների մակարդակով

Գեներացիայի ընթացքում հուշումներով կարելի է կառավարել կոնկրետ ժամանակահատվածի պատումը, տեսախցիկի հեռանկարը, շարժումն ու ռիթմը, իսկ գեներացիայից հետո՝ փոխել հոլովակի ներսում գտնվող կերպարները, գործողությունները կամ սյուժեի տարրերը՝ պահպանելով շարունակականությունն ու ռեալիզմը։ Թողարկումը բարելավում է նաև կանաչ ֆոնի, տեսախցիկի հեռանկարի և հղումների վրա հիմնված մոնտաժը։ Օրինակ՝ կանաչ ֆոնի հետ աշխատելիս մոդելը մշակում է, թե ինչպես է սուբյեկտն արձագանքում նոր միջավայրի ֆիզիկային՝ հագուստի ծածանքի ուղղությունից ու մազերի վիճակից մինչև քայլքի ռիթմն ու լուսավորության փոխազդեցությունը։

Հասանելիությունը և ընդունված սահմանափակումները

Seedance 2.5-ը աստիճանաբար հասանելի է դառնում Jimeng AI-ում, Doubao Pro-ում և այլ հարթակներում, իսկ API հասանելիությունը շուտով կտրամադրվի BytePlus ModelArk-ի միջոցով։ Ստեղծագործական աշխատանքից բացի՝ ByteDance-ը նշում է կրթությունը՝ պատմական իրադարձությունների, գիտական սկզբունքների և փորձերի ցուցադրությունների վերածումը, ներառյալ Doubao Classroom սցենարը, և արդյունաբերությունը, որտեղ մոդելը կիրառվում է սինթետիկ ուսուցողական տվյալների, ռոբոտների ընկալման և մանիպուլյացիայի հմտությունների ու ինքնավար վարման հազվադեպ սցենարների համար։ Թիմը բացահայտ նշում է նաև մնացած սահմանափակումները՝ բարդ շարժումների ֆիզիկական հավաստիությունը և մի քանի փոխազդող սուբյեկտներով տեսարանների կայունությունը։