ByteDance-მა Seedance 2.5 წარადგინა: 30-წამიანი კადრები და მრავალმოდალური რეფერენსები

ByteDance-ის Seed-ის გუნდმა ოფიციალურად წარადგინა Seedance 2.5 — ვიდეოს შექმნის მოდელის ახალი თაობა. გუნდის ბლოგზე გამოქვეყნებულ განცხადებაში ნათქვამია, რომ გამოშვება ეფუძნება Seedance 2.0-ით დანერგილ აუდიოსა და ვიდეოს ერთიანი მრავალმოდალური გენერაციის არქიტექტურას და ორ რამეზეა ორიენტირებული: საბაზისო გენერაციასა და რეფერენსებით მართულ გენერაციაზე.

უფრო გრძელი კადრები ერთი გადაღებით

Seedance 2.5 ერთ გადაღებაში 30 წამამდე ხანგრძლივობის მაღალხარისხიან აუდიო-ვიდეო კლიპებს ქმნის — ორჯერ მეტს, ვიდრე წინა მოდელის 15 წამი — და გაფართოების მრავალ რაუნდს უჭერს მხარს, რათა მომხმარებელმა უკვე მიღებულ შედეგს დამატებითი კადრები მიუმატოს. გუნდის თქმით, გაუმჯობესდა კადრებს შორის გადასვლები და სცენის ცვლილებები, ისევე როგორც გამოსახულების, ხმისა და მოძრაობის ხარისხი; შედეგად, ერთიანი აუდიოვიზუალური ენით შესაძლებელია რამდენიმეწუთიანი ვიდეოების აწყობა — სრული ისტორია ერთ კადრში და არა ერთმანეთზე მიწებებული კლიპების თანმიმდევრობა. ერთ-ერთი გამოქვეყნებული მაგალითი მომღერალს გასახდელიდან კულისების დერეფანში და შემდეგ სცენაზე მიჰყვება, ერთ უწყვეტ კადრში.

30-მდე სურათი, 10 ვიდეო და 10 აუდიოკლიპი

მოდელი ერთ გადაღებაში რეფერენსად იღებს 30-მდე სურათს, 10 ვიდეოკლიპს და 10 აუდიოკლიპს. გუნდის განმარტებით, მეტი და მრავალფეროვანი რეფერენსი უკეთ ასახავს ავტორის ჩანაფიქრს, ხოლო მოდელი მასალებში ამოიცნობს კომპოზიციას, სცენებს, სტილს, პერსონაჟებსა და რეკვიზიტს და ინარჩუნებს რამდენიმე პერსონაჟის გარეგნობასა და ხმას თუნდაც ჯგუფურ სცენებში. გაძლიერდა რეფერენსის კონკრეტული რეჟიმებიც: clay render-ის რეფერენსით მომხმარებელი სივრცულ სტრუქტურას, პოზებს, მოძრაობის ტრაექტორიებსა და კამერის კუთხეებს უტექსტურო 3D მოდელებით განსაზღვრავს, მოდელი კი ამ სტრუქტურას მიჰყვება და მისგან ფიზიკურად დამაჯერებელ განათებასაც იღებს.

რედაქტირება დროის ნიშნულების დონეზე

გენერაციის დროს პრომპტებით შესაძლებელია კონკრეტული დროის მონაკვეთის ნარატივის, კამერის პერსპექტივის, მოძრაობისა და რიტმის მართვა; გენერაციის შემდეგ კი — კადრში არსებული პერსონაჟების, ქმედებებისა და სიუჟეტის ელემენტების შეცვლა უწყვეტობისა და რეალიზმის შენარჩუნებით. გამოშვება აუმჯობესებს მწვანე ფონის (green screen) რედაქტირებას, კამერის პერსპექტივის რედაქტირებასა და რეფერენსზე დაფუძნებულ რედაქტირებას. მაგალითად, მწვანე ფონზე მუშაობისას მოდელი ახდენს იმის რენდერირებას, თუ როგორ რეაგირებს სუბიექტი ახალი გარემოს ფიზიკურ კანონებზე — ტანსაცმლის რხევის მიმართულებიდან ვარცხნილობის მდგომარეობამდე, სიარულის რიტმსა და განათების ურთიერთქმედებამდე.

ხელმისაწვდომობა და აღიარებული შეზღუდვები

Seedance 2.5 თანდათან ხელმისაწვდომი ხდება Jimeng AI-ზე, Doubao Pro-ზე და სხვა პლატფორმებზე, API წვდომა კი მალე BytePlus ModelArk-ის მეშვეობით იქნება შესაძლებელი. შემოქმედებითი სამუშაოს გარდა, ByteDance გამოყენების სფეროებად ასახელებს განათლებას — ისტორიული მოვლენების, სამეცნიერო პრინციპებისა და ექსპერიმენტების დემონსტრაციებად ქცევას, მათ შორის Doubao Classroom-ის სცენარში — და ინდუსტრიას, სადაც მოდელი სინთეტური სასწავლო მონაცემების, რობოტების აღქმისა და მანიპულაციის უნარების, და ავტონომიური მართვის იშვიათი სცენარებისთვის გამოიყენება. გუნდი ღიად აღნიშნავს დარჩენილ შეზღუდვებსაც: რთული მოძრაობების ფიზიკური დამაჯერებლობა და რამდენიმე ურთიერთმოქმედი სუბიექტის მქონე სცენების სტაბილურობა.