Google DeepMind, Sesli ve Gerçek Zamanlı Yönlendirmeli Genie 4 Dünya Modelini Yayınladı

Google DeepMind, en yeni dünya modeli Genie 4'ü Salı günü araştırma önizlemesinde yayınladı. Model, şu ana kadar en fotogerçekçi ve etkileşimli dünyaları üretiyor ve sahneyi değiştirmek için kullanıcıların simülasyon sırasında istem yazmasına izin veriyor. Ayrıca simüle edilen dünyayla eşleşen gerçek zamanlı ses üretiyor; müzik, ortam sesleri ve etkileşimli diyalog buna dahil.

Model iyileştirmeleri

Genie 4, havayı veya kamera açısını gerçek zamanlı değiştirmek ya da yeni insanlar ya da nesneler eklemek gibi serbest biçimli düzenlemelere izin veriyor. Tutarlı bir sahneyi iki dakikaya kadar koruyabiliyor; bu, önceki modelin sınırının iki katı. Ayrıca daha iyi fizik ve daha insan benzeri karakterler sunuyor. Gemini, Genie 4 ile daha yakından bütünleşiyor; adımları planlayan ve kareleri kontrol eden yönetmen olarak hareket ederken Genie görselleri oluşturuyor.

Robotik deneyi

Gemini Robotics ile bağlantılı bir araştırma deneyinde Gemini 4 Argon modeli görevleri Genie 4'ün gerçek zamanlı olarak simüle ettiği adımlara ayırdı. Deney, robot senaryolarını gerçek dünyada olmadan önce simülasyonda test etmenin olası bir yolunu gösteriyor. Google'da araştırma direktörü Tejas Kulkarni, gelecekteki hibrit dünya modellerinin Gemini'nin kod ve metin yazmasını Genie'nin bunu gerçek zamanlı alması ve farklı soyutlama düzeylerinde gerçekliği simüle etmesiyle birleştirebileceğini söyledi.

Sektör bağlamı ve kullanım alanları

Yayın, Runway'in ikinci dünya modeli GWM Worlds 2'yi yayınlamasından birkaç ay sonra geldi. Bu model, kullanıcı girdilerine dinamik biçimde yanıt veren ve ses üretimi içeren oynanabilir bir model. Dünya modeli endüstrisi de birleşiyor: Fei-Fei Li'nin World Labs'ı AMD tarafından satın alınıyor, Amazon Decart'ı satın almak için görüşmeler yapıyor ve Rivian, sürücüsüz test için simülasyon yeteneklerini şirket içine almak üzere Third Dimension'ı satın aldı. Genie 4, Google'ın kalabalık alanda önde kalmak için son hamlesi. Önerilen ticari kullanım alanları oyun, etkileşimli öğrenme ve robotik içeriyor. Spekülatif bir etkileşimli öğrenme örneği, tarihi bir sahnenin tablosuna girip tablodaki kişilerle tasvir edilen olay hakkında sohbet etmek olurdu. Güvenilir test kullanıcıları, olası yeni bir kullanım işaret ediyor: film prototipleme. Google DeepMind mühendisi Diego Rivas, gerçek zamanlı yönün akış durumunu sürdürmenin yaratıcılık alanında yararlı olduğu yerlerde, örneğin fikir üretimi ve storyboard'da en değerli hale geldiğini söyledi. Google ayrıca Veo sunuyor; bu AI video üretim modeli metin, görüntü veya video istemlerinden yerleşik senkronize sesli yüksek çözünürlüklü klipler üretiyor ve film yapımcıları arasında popülerliği artan bir araç. Rivas, kullanıcıların prototipleri yaratıcı varlıklara dönüştürmek için sonunda görüntülerden, sesten ve metinden video üretebilen çok modlu bir büyük dil modeli olan Gemini Omni'ye güvenebileceğini ekledi; ancak bu yetenekler hâlâ biraz uzakta.

Sınırlamalar ve kullanılabilirlik

Rivas, Genie 4 için hâlâ erken günler olduğunu ve uçtan uca ürün deneyiminin ne olacağı henüz belli olmadığını vurguladı. Ekip, simülasyon ne kadar uzun sürerse ayrıntıların ve nesnelerin kayabildiğini kabul etti ve sesin doğru olmasını ve dünyadaki herhangi bir metnin okunabilir olmasını nasıl sağlayacaklarını tam olarak bulamadıklarını söyledi. Genie 4 şu anda güvenilir test kullanıcıları için araştırma önizlemesi olarak kullanılabilir. Önümüzdeki haftalarda model, metin veya görüntü istemlerinden etkileşimli dünyalar üreten Google'ın AI aracı Project Genie'deki Google AI Ultra abonelerine ve Gemini API ile Google AI Studio'nun erken erişim ortaklarına sunulacak.

Kaynaklar: TechCrunch · Ars Technica · The Verge