Google-ի գլխավորած թիմը ներկայացրեց StreamVibe տեսանյութային գործակալ

Google-ի գլխավորած հետազոտական թիմը ներկայացրեց StreamVibe տեսանյութային գործակալը, որը նախատեսված է ինքնուրույն որոշելու՝ երբ խոսել օգտատիրոջ աշխատանքի ընթացքում։ Նախագիծը միավորում է հետազոտողներ Google-ից, Stanford-ից, Oxford-ից և մի քանի ԱՄՆ համալսարաններից՝ ստեղծելու օգնական, որը կարող է դիտել խոհարարություն կամ կահույքի հավաքում նման գործողություններ և օգնություն առաջարկել միայն անհրաժեշտության դեպքում։ Փորձարկումները ցույց են տալիս ինչպես ավելի նախաձեռնող տեսանյութային օգնության խոստումը, այնպես էլ ընթացիկ մոդելների դեռևս ունեցած դժվարությունները։

Ինչու են առկա օգնականները թերի

Ըստ հոդվածի, առկա տեսանյութային օգնականները նախատեսված են հստակ հրամանների համար, ինչպիսին է «Տեղյակ պահիր, երբ ջուրը եռա», ուստի հազվադեպ են ընկալում չարտահայտված մտադրությունները։ Նրանք նաև դժվարությամբ են հետևում արդեն կատարվածին, ինչը կարող է առաջացնել կրկնվող խորհուրդներ կամ ուշ արձագանքներ։ Երբ օգտատերերը առաջադրանքի ընթացքում փոխում են խնդրանքը, օգնականները հաճախ մնում են սկզբնական հրահանգներին։ StreamVibe-ը նախատեսված է տարբերելու առաջադրանքի ընթացքում օգտատիրոջ բացահայտորեն արտահայտված, չարտահայտված և փոփոխվող մտադրությունները։

Չափանիշ և ուսուցում

Խնդիրը չափելու համար թիմը կազմեց մոտ 4,100 օրինակից բաղկացած չափանիշ՝ ավելի քան 183 ժամ տևողությամբ առօրյա կյանքի և ծրագրային գրանցումներից։ Gemini 2.5 Flash-ը առաջարկում էր, թե երբ օգնություն առաջարկել և ինչ ասել, իսկ չորս մարդկային գնահատողները պետք է միաձայն հաստատեին յուրաքանչյուր օրինակ։ Փորձարկումը ընդգրկում է հստակ հրահանգներ, մշուշոտ նպատակներ և ժամանակի ընթացքում փոփոխվող խնդրանքներ։ Մեկ օրինակում օգտատերը, որը ապամոնտաժում է խաղալիք էքսկավատոր, խնդրում է առաջընթացի թարմացումներ, ապա երեք րոպե անց անցնում է որակի ստուգման։

Հետազոտողներն ուսուցանեցին StreamVibe-VL-ը՝ ըստ երևույթին Alibaba-ի Qwen3.5-9B-ի վրա հիմնված մոդել, որը ամեն վայրկյան որոշում է՝ լռել, թե խոսել։ Ուսուցման երկրորդ փուլը օգտագործում է ուժեղացնող ուսուցում՝ մոդելը ավելի զուսպ դարձնելու համար, որպեսզի այն մշտապես չընդհատի։ Առանձին հիշողության համակարգը հետևում է սպասվող խնդրանքներին և կատարված քայլերին, թեև միայն մոդելն է որոշում՝ խոսել, թե ոչ, և ինչ ասել։

Արդյունքներ և սահմանափակումներ

Ըստ հետազոտողների, StreamVibe-VL-ը 10.7 տոկոսով բարելավում է արձագանքման ժամանակը և որակը այլ մոդելների համեմատ, իսկ հիշողության համակարգը նախատեսված է ևս 12.3 տոկոսով բարձրացնելու նախաձեռնող փոխազդեցությունը և նվազեցնելու անհարկի ընդհատումները։ StreamVibe-VL-ը ընդհանուր առմամբ զգալի տարբերությամբ գերազանցում է իր բազային մոդելը և այլ բաց կոդով մոդելները, թեև Google-ի սեփական Gemini 3.8 Flash-ը մի քանի փորձարկումներում ավելի բարձր միավոր է ստանում։ Տեսանյութի երկարության աճի հետ մոդելները զգալիորեն ավելի քիչ են հավանական ճիշտ ժամանակին արձագանքելու։

Մոդելները հաճախ ճիշտ որոշում են կայացնում, երբ պետք է միայն որոշակի պահերին որոշել, թե արդյոք հուշումը տեղին է։ Սակայն երբ նրանք մշակում են ամբողջ տեսանյութը և հիմնվում են իրենց նախորդ արձագանքների վրա, բոլոր փորձարկված համակարգերի արդյունքները կտրուկ նվազում են, քանի որ սխալները կուտակվում են, և բովանդակության կարևոր ցուցանիշը կարող է նվազել մինչև 61.5 տոկոս՝ համակարգի սեփական պատմության հիման վրա։ Հինգ րոպեից երկար տեսանյութերում մոդելները հազվադեպ են ընտրում ճիշտ պահը և հատկապես դժվարությամբ են երկար հատվածում հետևում փոփոխված հրահանգին։

GIMP ուսուցողականում՝ լուսանկարը սև-սպիտակի վերածելու մասին, համեմատության մոդել JoyAI-ն ասում է, որ պատրաստ պատկերը արդեն պահպանվել է, թեև օգտատերը այն դեռ չի բացել, մինչդեռ StreamVibe-VL-ը տալիս է հաջորդ քայլը, օրինակ՝ «Colors», ապա «Desaturate»։ Հետազոտողները ընդունում են, որ իրական իրավիճակները հավանաբար ավելի բարդ են, քան իրենց փորձարկման կարգավորումը, և ապագա աշխատանքը կուսումնասիրի, թե ինչպես են ժամանակի ընթացքում օգտատիրոջ նախապատվությունները և միջավայրը ազդում միմյանց վրա։

Աղբյուրներ՝ The Decoder