Google komandası StreamVibe video agentini təqdim etdi

Google rəhbərliyindəki tədqiqat qrupu StreamVibe adlı video agentini təqdim edib. Agent istifadəçi işləyərkən nə vaxt söz açacağını özü müəyyən etmək üçün hazırlanıb. Layihə Google, Stanford, Oxford və bir neçə ABŞ universitetinin tədqiqatçılarını birləşdirərək yemək bişirmə və ya mebel yığma kimi fəaliyyətləri izləyə və yalnız lazım olduqda kömək təklif edə bilən köməkçi yaratmaq məqsədi daşıyır. Testlər daha fəal video köməyinin vədinə həm də mövcud modellərin hələ də üzləşdiyi çətinliklərə işarə edir.

Mövcud köməkçilərin çatışmazlıqları

Məqaləyə görə, mövcud video köməkçiləri "su qaynamağa başlayanda mənə xəbər ver" kimi aydın əmrlər üçün qurulub, ona görə də ifadə edilməmiş niyyətləri nadir hallarda anlayırlar. Onlar həmçinin artıq görülmüş işləri izləməkdə çətinlik çəkirlər, bu da təkrar məsləhət və ya gec cavablar yarada bilər. İstifadəçilər tapşırıq ortasında tələblərini dəyişəndə köməkçilər çox vaxt ilkin təlimatlara bağlı qalırlar. StreamVibe tapşırıq zamanı açıq şəkildə ifadə edilən, ifadə edilməmiş və dəyişən istifadəçi niyyətlərini fərqləndirmək üçün hazırlanıb.

Meyar və təlim

Problemi ölçmək üçün qrup gündəlik həyat və proqram təminatı qeydlərindən 183 saatdan çox materialdan təxminən 4,100 nümunədən ibarət meyar toplusu tərtib edib. Gemini 2.5 Flash nə vaxt kömək təklif etmək və nə demək lazım olduğunu təklif edib, dörd insan qiymətləndiricisi isə hər nümunəni yekdilliklə təsdiqləməli olub. Test aydın təlimatları, qeyri-müəyyən məqsədləri və zamanla dəyişən tələbləri əhatə edir. Bir nümunədə oyuncaq ekskavatoru sökən istifadəçi gedişat yeniləmələri istəyir, sonra üç dəqiqədən sonra keyfiyyət yoxlamasına keçir.

Tədqiqatçılar hər saniyə susmaq və ya danışmaq barədə qərar verən, görünür Alibaba-nın Qwen3.5-9B modelinə əsaslanan StreamVibe-VL modelini təlim etdiblər. İkinci təlim mərhələsi modeli daimi olaraq kəsməməsi üçün daha ehtiyatlı etmək məqsədilə möhkəmləndirici öyrənmədən istifadə edir. Ayrı yaddaş sistemi gözləyən tələbləri və tamamlanmış mərhələləri izləyir, lakin danışmaq və nə demək barədə qərarı təkbaşına model verir.

Nəticələr və məhdudiyyətlər

Tədqiqatçılara görə, StreamVibe-VL digər modellərlə müqayisədə cavab vaxtını və keyfiyyətini 10,7 faiz yaxşılaşdırır, yaddaş sistemi isə fəal qarşılıqlı təsiri daha 12,3 faiz artırmaq və lazımsız kəsilmələri azaltmaq üçün nəzərdə tutulub. StreamVibe-VL ümumilikdə öz baza modelini və digər açıq mənbəli modelləri böyük fərqlə üstələyir, lakin Google-un mülkiyyətində olan Gemini 3.8 Flash bir neçə testdə daha yüksək nəticə göstərir. Video uzunluğu artdıqca modellərin cavablarını düzgün vaxtlandırma ehtimalı əhəmiyyətli dərəcədə azalır.

Modellər sorğunun uyğun olub-olmadığını yalnız müəyyən anlarda qərar verməli olduqda tez-tez düzgün qərar verirlər. Lakin bütün videonu emal edib öz əvvəlki cavablarına əsaslananda bütün test edilmiş sistemlərdə performans səhvlər yığıldıqca kəskin şəkildə düşür və əsas məzmun göstəricisi sistemin öz tarixçəsinə əsasən 61,5 faizə qədər azalır. Beş dəqiqədən uzun videolarda modellər düzgün anı nadir hallarda seçir və dəyişdirilmiş təlimatı uzun məsafədə izləməkdə xüsusi çətinlik çəkirlər.

Fotoşəkli ağ-qara rəngə çevirmə üzrə GIMP təlimatında müqayisə modeli JoyAI istifadəçi hələ onu açmamış olmasına baxmayaraq tamamlanmış şəklin artıq saxlandığını deyir, StreamVibe-VL isə "Colors" və sonra "Desaturate" kimi növbəti addımı verir. Tədqiqatçılar real dünya vəziyyətlərinin test quruluşlarından daha mürəkkəb olacağını etiraf edirlər və gələcək işlərdə istifadəçi üstünlükləri ilə mühitin zamanla bir-birinə necə təsir etdiyi araşdırılacaq.

Mənbələr: The Decoder