Google-ის ხელმძღვანელობით მომუშავე გუნდმა StreamVibe ვიდეო აგენტი წარადგინა დროული დახმარებისთვის

Google-ის ხელმძღვანელობით მომუშავე ჯგუფმა წარადგინა StreamVibe, ვიდეო აგენტი, რომელიც თავად წყვეტს, როდის ჩაერთოს მუშაობის დროს. პროექტში Google-ის, სტენფორდის, ოქსფორდისა და აშშ-ის რამდენიმე უნივერსიტეტის მკვლევრები მონაწილეობენ. ასისტენტი აკვირდება საქმიანობას, მაგალითად სამზარეულოში მუშაობას ან ავეჯის აწყობას, და მხოლოდ საჭიროებისას ეხმარება. ტესტები აჩვენებს უფრო პროაქტიული ვიდეოდახმარების შესაძლებლობას და იმ სირთულეებს, რომლებიც არსებულ მოდელებს ჯერ კიდევ აქვთ.

რატომ ჩამორჩებიან არსებული ასისტენტები

ნაშრომის მიხედვით, არსებული ვიდეო ასისტენტები მკაფიო ბრძანებებისთვის არიან აწყობილი, მაგალითად „მითხარი, როცა წყალი ადუღებას დაიწყებს“, ამიტომ იშვიათად ამჩნევენ გამოუთქმელ განზრახვებს. მათ უჭირთ უკვე შესრულებული ნაბიჯების თვალყურის დევნება, რაც იწვევს განმეორებით რჩევებს ან დაგვიანებულ პასუხებს. დავალების შუაში მოთხოვნის შეცვლისას ისინი ხშირად თავდაპირველ ინსტრუქციას მიჰყვებიან. StreamVibe-ს მიზანია დავალების დროს განასხვავოს ცხადად ნათქვამი, გამოუთქმელი და ცვალებადი განზრახვები.

ბენჩმარკი და წვრთნა

პრობლემის გასაზომად გუნდმა შექმნა ბენჩმარკი დაახლოებით 4100 მაგალითით, რომელიც 183 საათზე მეტ ყოველდღიურ და პროგრამულ ჩანაწერს მოიცავს. Gemini 2.5 Flash-მა გვთავაზობდა, როდის შეეთავაზებინა დახმარება და რა ეთქვა, ხოლო ოთხი შემფასებელი ყოველ მაგალითს ერთხმად ამტკიცებდა. ტესტი მოიცავს მკაფიო ინსტრუქციებს, ბუნდოვან მიზნებსა და ცვალებად მოთხოვნებს. ერთ მაგალითში მომხმარებელი სათამაშო ექსკავატორს ხსნის, პროგრესის განახლებას ითხოვს და სამი წუთის შემდეგ ხარისხის შემოწმებაზე გადადის.

მკვლევრებმა წვრთნიდნენ StreamVibe-VL-ს, მოდელს, რომელიც, სავარაუდოდ, Alibaba-ის Qwen3.5-9B-ს ეფუძნება და ყოველ წამს წყვეტს, გაჩუმდეს თუ ისაუბროს. წვრთნის მეორე ეტაპზე გამოიყენება გაძლიერებითი სწავლება, რათა მოდელი უფრო თავშეკავებული გახდეს და მუდმივად არ შეაწყვეტინოს. ცალკე მეხსიერების სისტემა აკონტროლებს მოლოდინში მყოფ მოთხოვნებსა და დასრულებულ ნაბიჯებს, თუმცა მხოლოდ მოდელი წყვეტს, ისაუბროს თუ არა და რა თქვას.

შედეგები და შეზღუდვები

მკვლევრების თქმით, StreamVibe-VL სხვა მოდელებთან შედარებით პასუხის დროულობასა და ხარისხს 10,7%-ით აუმჯობესებს, ხოლო მეხსიერების სისტემა გათვლილია იმაზე, რომ პროაქტიული ურთიერთქმედება კიდევ 12,3%-ით გაზარდოს და არასაჭირო შეწყვეტები შეამციროს. StreamVibe-VL დიდი უპირატესობით ჯობნის საბაზისო და სხვა ღია კოდის მოდელებს, თუმცა Google-ის საკუთარი Gemini 3.8 Flash რამდენიმე ტესტში უფრო მაღალ ქულას აფიქსირებს. ვიდეოს ხანგრძლივობის მატებასთან ერთად მოდელები ნაკლებად ახერხებენ პასუხის სწორ დროზე მორგებას.

მოდელები ხშირად სწორად წყვეტენ, როცა მხოლოდ კონკრეტულ მომენტებში უნდა გადაწყვიტონ, მისაღებია თუ არა მინიშნება. მაგრამ მთელი ვიდეოს დამუშავებისას და საკუთარ ადრინდელ პასუხებზე დაყრდნობისას ყველა გამოცდილი სისტემის შედეგი მკვეთრად ვარდება, რადგან შეცდომები გროვდება, ხოლო შინაარსის ძირითადი მეტრიკა სისტემის ისტორიის მიხედვით 61,5%-მდე ეცემა. ხუთ წუთზე ხანგრძლივ ვიდეოებში მოდელები იშვიათად ირჩევენ სწორ მომენტს და განსაკუთრებით უჭირთ შეცვლილი ინსტრუქციის თვალყურის დევნება ხანგრძლივ მონაკვეთზე.

GIMP-ის სახელმძღვანელოში, სადაც ფოტოს შავ-თეთრად გარდაქმნა ხდება, შედარების მოდელი JoyAI აცხადებს, რომ მზა სურათი უკვე შენახულია, თუმცა მომხმარებელს ის არ გახსნია, ხოლო StreamVibe-VL გვთავაზობს შემდეგ ნაბიჯებს, მაგალითად „Colors“ და შემდეგ „Desaturate“. მკვლევრები აღიარებენ, რომ რეალური სიტუაციები, სავარაუდოდ, უფრო რთულია, ვიდრე ტესტური გარემო, და მომავალი სამუშაო შეისწავლის მომხმარებლის პრეფერენციებისა და გარემოს ურთიერთგავლენას დროთა განმავლობაში.

წყაროები: The Decoder