Google liderliğindeki ekip zamanında yardım için StreamVibe video aracısı tanıttı

Google liderliğindeki bir araştırma ekibi, kullanıcı çalışırken ne zaman konuşacağını kendi başına belirleyen bir video aracısı olan StreamVibe'ı tanıttı. Proje, yemek pişirme veya mobilya montajı gibi etkinlikleri izleyebilen ve yalnızca gerektiğinde yardım sunabilen bir asistan oluşturmak için Google, Stanford, Oxford ve birkaç ABD üniversitesinden araştırmacıları bir araya getiriyor. Testler, daha proaktif video yardımının vaadini ve mevcut modellerin hâlâ karşılaştığı zorluğu birlikte gösteriyor.

Mevcut asistanlar neden yetersiz kalıyor

Makaleye göre mevcut video asistanları, "Su kaynamaya başladığında haber ver" gibi net komutlar için tasarlanmış; bu yüzden söylenmemiş niyetleri nadiren fark ediyorlar. Daha önce ne yapıldığını izlemekte de zorlanıyorlar; bu da tekrarlanan tavsiyelere veya gecikmeli yanıtlara yol açabiliyor. Kullanıcılar bir görevin ortasında isteklerini değiştirdiğinde asistanlar çoğu zaman özgün talimatlara bağlı kalıyor. StreamVibe, bir görev sırasında açıkça belirtilen, söylenmemiş ve değişen kullanıcı niyetlerini birbirinden ayırt etmek için tasarlandı.

Kıyaslama ve eğitim

Sorunu ölçmek için ekip, günlük yaşam ve yazılım kayıtlarından oluşan 183 saatten fazla malzemeden yaklaşık 4.100 örnek içeren bir kıyaslama derledi. Gemini 2.5 Flash, ne zaman yardım sunulacağını ve ne söyleneceğini önerdi; her örneğin onaylanması için dört insan değerlendiricinin oybirliği gerekiyordu. Test, net talimatları, belirsiz hedefleri ve zaman içinde değişen istekleri kapsıyor. Bir örnekte, oyuncak bir ekskavatörü söken bir kullanıcı ilerleme güncellemeleri istiyor, ardından üç dakika sonra kalite kontrolüne geçiyor.

Araştırmacılar, her saniye sessiz kalıp kalmayacağına veya konuşacağına karar veren ve görünüşe göre Alibaba'nın Qwen3.5-9B modeline dayanan StreamVibe-VL modelini eğitti. İkinci bir eğitim aşaması, modeli sürekli kesintiye yol açmaması için daha çekingen hâle getirmek amacıyla pekiştirmeli öğrenme kullanıyor. Ayrı bir bellek sistemi bekleyen istekleri ve tamamlanan adımları izliyor; ancak konuşup konuşmayacağına ve ne söyleyeceğine yalnızca model karar veriyor.

Sonuçlar ve sınırlar

Araştırmacılara göre StreamVibe-VL, diğer modellere kıyasla yanıt zamanlaması ve kalitesini yüzde 10,7 artırıyor; bellek sistemi ise proaktif etkileşimi yüzde 12,3 daha fazla desteklemek ve gereksiz kesintileri azaltmak için tasarlandı. StreamVibe-VL genellikle temel modelini ve diğer açık kaynak modelleri büyük farkla geçiyor; ancak Google'un tescilli Gemini 3.8 Flash, birkaç testte daha yüksek puan alıyor. Video uzunluğu arttıkça modellerin yanıtlarını doğru zamanda yapma olasılığı belirgin biçimde düşüyor.

Modeller çoğu zaman yalnızca belirli anlarda bir istemin uygun olup olmadığına karar vermek zorunda kaldıklarında doğru kararı veriyor. Ancak tüm videoyu işleyip kendi önceki yanıtlarına dayandıklarında, test edilen tüm sistemlerde performans hatalar biriktikçe düşüyor ve sistemin kendi geçmişine dayalı olarak önemli bir içerik ölçütü yüzde 61,5'e kadar azalıyor. Beş dakikadan uzun videolarda modeller nadiren doğru anı seçiyor ve uzun bir süre boyunca değişen bir talimatı izlemekte özellikle zorlanıyor.

Bir fotoğrafı siyah-beyaza dönüştürme konulu GIMP eğitimi sırasında karşılaştırma modeli JoyAI, kullanıcı henüz açmamış olsa bile bitmiş görüntünün zaten kaydedildiğini söylüyor; StreamVibe-VL ise "Colors" ve ardından "Desaturate" gibi bir sonraki adımı veriyor. Araştırmacılar, gerçek dünya durumlarının test düzeneklerinden daha karmaşık olma ihtimali olduğunu kabul ediyor; gelecek çalışmalar, kullanıcı tercihleri ile çevrenin zaman içinde birbirini nasıl etkilediğini inceleyecek.

Kaynaklar: The Decoder