Google DeepMind Genie 4 Dünya Modelini Səs və Real Vaxt Yönləndirmə ilə Buraxdı

Google DeepMind çərşənbə axşamı Genie 4 adlı ən yeni dünya modelini tədqiqat önizləməsində buraxdı. Model indiyədək ən fotorealistik və interaktiv dünyaları yaradır və istifadəçilərə simulyasiya zamanı prompt yazaraq səhnəni dəyişməyə imkan verir. Həmçinin simulyasiya olunan dünyaya uyğun real vaxt səsi yaradır; bura musiqi, fon səsləri və interaktiv dialoq daxildir.

Model təkmilləşdirmələri

Genie 4 havanı və ya kamera bucağını real vaxtda dəyişmək və ya yeni insanlar, obyektlər əlavə etmək kimi sərbəst redaktələrə imkan verir. O, ardıcıl səhnəni əvvəlki modelin limitini iki dəfə artıraraq iki dəqiqəyə qədər saxlaya bilir və daha yaxşı fizika, daha insanabənzər personajlar təqdim edir. Gemini Genie 4 ilə daha sıx inteqrasiya olunub; o, addımları planlaşdıran və kadrı yoxlayan rejissor kimi çıxış edir, Genie isə vizualları yaradır.

Robototexnika təcrübəsi

Gemini Robotics ilə bağlı tədqiqat təcrübəsində Gemini 4 Argon modeli tapşırıqları addımlara böldü və Genie 4 onları real vaxtda simulyasiya etdi. Təcrübə robot ssenarilərini real dünyada baş verməzdən əvvəl simulyasiyada sınaqdan keçirməyin mümkün yolunu göstərir. Google-da tədqiqat direktoru Tejas Kulkarni bildirdi ki, gələcək hibrid dünya modelləri Gemini-nin kod və mətn yazması ilə Genie-nin bunu real vaxtda qəbul edib reallığı müxtəlif abstraksiya səviyyələrində simulyasiya etməsini birləşdirə bilər.

Sənaye konteksti və istifadə sahələri

Buraxılış Runway-in ikinci dünya modeli olan GWM Worlds 2-ni buraxmasından bir neçə ay sonra baş verir; bu model istifadəçi girişlərinə dinamik cavab verən və səs yaratmasını əhatə edən oynana bilən modeldir. Dünya modeli sənayesi də birləşir: Fei-Fei Li-nin World Labs şirkəti AMD tərəfindən alınır, Amazon Decart-ı almaq üçün danışıqlar aparır və Rivian Third Dimension-ı əldə edərək özünü idarə edən avtomobillər üçün simulyasiya imkanlarını daxilə gətirir. Genie 4 Google-ın sıx rəqabətli sahədə öndə qalmaq üçün ən son addımıdır. Təklif olunan kommersiya istifadə sahələrinə oyun, interaktiv təhsil və robototexnika daxildir. Spekulyativ interaktiv təhsil nümunəsi tarixi səhnənin rəsminə daxil olub və rəsmdəki şəxslərlə həmin hadisə barədə söhbət etmək ola bilər. Etibarlı testerlər yeni mümkün istifadəyə işarə edirlər: film prototiplərinin hazırlanması. Google DeepMind mühəndisi Diego Rivas bildirdi ki, real vaxt xüsusiyyəti yaradıcılıq sahəsində axın vəziyyətini qorumağın faydalı olduğu yerlərdə, məsələn, ideya yaratma və storyboard hazırlamaqda ən çox dəyər qazanır. Google həmçinin Veo adlı AI video yaratma modeli təklif edir; o, mətn, şəkil və ya video promptlarından yüksək keyfiyyətli kliplər və daxili sinxron səs yaradır və filmçilər arasında populyarlığı artır. Rivas əlavə etdi ki, istifadəçilər sonda Gemini Omni adlı, şəkil, səs və mətnlərdən video yarada bilən multimodal böyük dil modelinə etibar edə bilərlər ki, prototipləri yaradıcı aktivlərə çevirsin, lakin bu imkanlar hələ çox uzaqdadır.

Məhdudiyyətlər və mövcudluq

Rivas vurğuladı ki, Genie 4 üçün hələ erkən günlərdir və tam məhsul təcrübəsinin nə olacağı hələ aydın deyil. Komanda qəbul etdi ki, simulyasiya nə qədər uzun işləsə, detallar və obyektlər bir o qədər sürüşə bilər və səsin dəqiq olacağına, həmçinin dünyadakı mətnin oxunaqlı olacağına necə əmin olmağı hələ tam tapmayıblar. Genie 4 indi etibarlı testerlər üçün tədqiqat önizləməsi kimi mövcuddur. Gələn həftələrdə model Project Genie-də, yəni Google-ın mətn və ya şəkil promptlarından interaktiv dünyalar yaradan AI vasitəsində, Google AI Ultra abunəçilərinə, həmçinin Gemini API və Google AI Studio-nun erkən giriş partnyorlarına təqdim olunacaq.

Mənbələr: TechCrunch · Ars Technica · The Verge