Google DeepMind випустила модель світу Genie 4 з аудіо та керуванням у реальному часі

Google DeepMind випустила свою найновішу модель світу Genie 4 у дослідницькому попередньому перегляді у вівторок. Модель створює найреалістичніші та найінтерактивніші світи на сьогодні й дозволяє користувачам вводити запити під час симуляції, щоб змінити сцену. Вона також генерує аудіо в реальному часі, що відповідає змодельованому світу, зокрема музику, фонові звуки та інтерактивний діалог.

Покращення моделі

Genie 4 дозволяє довільні редагування, наприклад зміну погоди або кута камери в реальному часі, або додавання нових людей чи об'єктів. Вона може підтримувати узгоджену сцену до двох хвилин, що вдвічі більше за обмеження попередника, а також пропонує кращу фізику та більш людиноподібних персонажів. Gemini тісніше інтегрована з Genie 4 і виступає режисером, який планує кроки та перевіряє кадри, а Genie створює візуальні елементи.

Експеримент з робототехнікою

У досліді, пов'язаному з Gemini Robotics, модель Gemini 4 Argon розбила завдання на кроки, які Genie 4 симулювала в реальному часі. Експеримент показує можливий спосіб тестувати робототехнічні сценарії в симуляції до їхнього виконання у реальному світі. Теджас Кулкарні, директор з досліджень у Google, сказав, що майбутні гібридні моделі світу можуть поєднувати написання коду та тексту Gemini із засвоєнням цього Genie в реальному часі та симуляцією реальності на різних рівнях абстракції.

Галузевий контекст і застосування

Випуск відбувся за кілька місяців після того, як Runway випустила свою другу модель світу GWM Worlds 2, ігрову модель, що динамічно реагує на введення користувачів і генерує аудіо. Індустрія моделей світу також консолідується: World Labs Фей-Фей Лі буде придбана AMD, Amazon веде переговори про купівлю Decart, а Rivian придбала Third Dimension для внутрішнього тестування автономного водіння. Genie 4 є останнім кроком Google, щоб залишатися попереду в переповненому сегменті. Запропоновані комерційні варіанти використання включають ігри, інтерактивне навчання та робототехніку. Один спекулятивний приклад інтерактивного навчання: увійти в картину історичної сцени та поспілкуватися з персонажами картини про зображену подію. Довірені тестувальники вказують на можливе нове застосування: прототипування фільмів. Дієго Рівас, інженер Google DeepMind, сказав, що аспект реального часу стає найціннішим там, де корисно зберігати стан потоку в творчому просторі, наприклад під час генерування ідей і сторібордінгу. Google також пропонує Veo, модель генерації відео зі штучного інтелекту, що створює відеокліпи високої чіткості зі вбудованим синхронізованим аудіо з текстових, графічних або відеозапитів, інструмент, популярний серед кінематографістів. Рівас додав, що користувачі зрештою можуть покластися на Gemini Omni, мультимодальну велику мовну модель, що генерує відео з зображень, аудіо та тексту, щоб перетворювати прототипи на творчі активи, хоча ці можливості ще далекі.

Обмеження та доступність

Рівас наголосив, що для Genie 4 ще ранні дні й поки не зрозуміло, яким буде повний досвід продукту. Команда визнала, що деталі та об'єкти можуть дрейфувати, чим довше працює симуляція, і ще не з'ясувала, як забезпечити точність аудіо та читабельність будь-якого тексту всередині світу. Genie 4 доступна зараз як дослідницький попередній перегляд для довірених тестувальників. У найближчі тижні модель розгорнуть для підписників Google AI Ultra в Project Genie, інструменті Google зі штучного інтелекту для створення інтерактивних світів із тексту чи зображень, а також для партнерів раннього доступу Gemini API та Google AI Studio.

Джерела: TechCrunch · Ars Technica · The Verge