צוות בהובלת Google מציג את סוכן הווידאו StreamVibe לסיוע בזמן

צוות מחקר בהובלת Google הציג את StreamVibe, סוכן וידאו שנועד להחליט בעצמו מתי להתערב בזמן שמשתמש עובד. הפרויקט מכנס חוקרים מ-Google, Stanford, Oxford ומספר אוניברסיטאות בארה״ב כדי לבנות עוזר שיכול לצפות בפעילויות כמו בישול או הרכבת רהיטים ולהציע עזרה רק כשצריך. הניסויים מראים גם את ההבטחה שבסיוע וידאו יזום יותר וגם את הקושי שעומד עדיין בפני המודלים הנוכחיים.

מדוע העוזרים הקיימים אינם מספיקים

לפי המאמר, עוזרי הווידאו הקיימים בנויים לפקודות חד-משמעיות כמו "תגיד לי מתי המים מתחילים לרתוח," ולכן לעיתים רחוקות הם קולטים כוונות שלא נאמרו. הם גם מתקשים לעקוב אחרי מה שכבר נעשה, מה שעלול לגרום לעצות חוזרות או לתגובות מאוחרות. כשמשתמשים משנים בקשות באמצע משימה, העוזרים נוטים להישאר עם ההוראות המקוריות. StreamVibe נועד להבחין בין כוונות משתמש מפורשות, כוונות שלא נאמרו וכוונות משתנות במהלך משימה.

מדד ביצועים ואימון

כדי למדוד את הבעיה, הצוות הרכיב מדד ביצועים של כ-4,100 דוגמאות מתוך יותר מ-183 שעות של הקלטות מחיי היום-יום ומתוכנה. Gemini 2.5 Flash הציע מתי להציע עזרה ומה לומר, ואילו ארבעה מעריכים אנושיים היו צריכים לאשר כל דוגמה פה אחד. המבחן מכסה הוראות ברורות, מטרות מעורפלות ובקשות שמשתנות עם הזמן. בדוגמה אחת, משתמש שמפרק מחפר צעצוע מבקש עדכוני התקדמות ואז עובר לבדיקת איכות לאחר שלוש דקות.

החוקרים אימנו את StreamVibe-VL, מודל שלפי הנראה מבוסס על Qwen3.5-9B של Alibaba ושמחליט בכל שנייה אם לשתוק או לדבר. שלב אימון שני משתמש בלמידת חיזוק כדי להפוך את המודל למרוסן יותר, כך שהוא לא יפריע כל הזמן. מערכת זיכרון נפרדת עוקבת אחרי בקשות ממתינות ושלבים שהושלמו, אף שהמודל לבדו מחליט אם לדבר ומה לומר.

תוצאות ומגבלות

לפי החוקרים, StreamVibe-VL משפר את תזמון התגובות ואת איכותן ב-10.7 אחוז לעומת מודלים אחרים, ואילו מערכת הזיכרון נועדה להגדיל את האינטראקציה היזומה ב-12.3 אחוז נוספים ולצמצם הפרעות מיותרות. StreamVibe-VL בדרך כלל גובר על מודל הבסיס שלו ועל מודלים אחרים בקוד פתוח בפער ניכר, אף ש-Gemini 3.8 Flash הקנייני של Google משיג ציון גבוה יותר בכמה מבחנים. ככל שאורך הווידאו עולה, הסבירות שהמודלים יתזמנו נכון את התגובות שלהם פוחתת באופן משמעותי.

מודלים מקבלים לעיתים קרובות את ההחלטה הנכונה כשהם צריכים להחליט רק ברגעים מסוימים אם הנחיה מתאימה. אבל כשהם מעבדים וידאו שלם ובונים על תגובות קודמות משלהם, הביצועים בכל המערכות שנבדקו צונחים ככל שהשגיאות מצטברות, ומדד תוכן מרכזי יורד בעד 61.5 אחוז בהתבסס על ההיסטוריה של המערכת עצמה. בסרטונים ארוכים מחמש דקות, המודלים ממעטים לבחור את הרגע הנכון ומתקשים במיוחד לעקוב אחרי הוראה שהשתנתה לאורך קטע ארוך.

במדריך GIMP להמרת תמונה לשחור-לבן, מודל ההשוואה JoyAI אומר שהתמונה המוגמרת כבר נשמרה אף שהמשתמש לא פתח אותה, ואילו StreamVibe-VL נותן את השלב הבא, כמו "Colors" ואז "Desaturate." החוקרים מודים שסיטואציות בעולם האמיתי כנראה מורכבות יותר מסביבת המבחן שלהם, ועבודה עתידית תבחן כיצד העדפות משתמש והסביבה משפיעות זו על זו עם הזמן.

מקורות: The Decoder