Gemini 4 Argon від Google націлений на фізичний AGI для повного стеку роботики

Google представила Gemini 4 Argon, модель загального фізичного мислення, яка ставить за мету прискорення просування до фізичного AGI. За даними компанії, Argon набрав 87% на бенчмарку ERQA (Embodied Reasoning); цей тест перевіряє здатність моделі з чистого розуму зрозуміти та вирішувати фізичні та просторові задачі у 3D-середовищі. Згідно з Google Developers Blog, Argon перевершує всі інші провідні моделі на цьому бенчмарку.

Керування роботом та zero-shot можливості

Модель можна використовувати на всьому життєвому циклі роботики. У керуванні роботом Argon демонструє мобільні маніпуляції з чотириногим роботом Boston Dynamics Spot: спочатку тренується на педалі для ніг у цифровому твіні MuJoCo, потім керує реальною педаллю. Система також здійснює zero-shot керування роботизованим маніпулятором, щоб перевернути перекинуту чашку і покласти в неї серветку; для цього вона використовує візуальну систему координат та примітиви дій у кількох кроках. Крім того, Argon може керувати роботами в Gemini Omni World Model, щоб так переставити розсипані фішки Scrabble, щоб скласти слово A-R-G-O-N; вона генерує промпти дій з часовими мітками та перевіряє проміжні кадри rollout у замкненому візуальному циклі.

Real2Sim та фізичне розуміння

Argon відновлює фізично відкалібровані симуляційні твіни з різних джерел. З потоку камери робота вона створює цифрові твіни, які відповідають візуалу та контактній динаміці реального світу. З егоцентричного відео людини вона розпізнає об'єкти, важливі для задачі, та переносить траєкторії рук людини на 76-DoF двоманіпуляторний гуманоїд з 22-DoF п'ятипалими руками. З намальованого від руки олівцем і папером ескізу модель будує GPU-прискорену сцену mujoco_warp та синтезує траєкторію кидка всього тіла для гуманоїда Apollo 2.

Для фізичного розуміння Argon виконує агентне мультимодальне hindsight розмічування. На основі відео зверху, де бимануальний робот ALOHA 2 протягом 136 секунд складає папір оригамі, вона створює чотирирівневу ієрархію анотацій: цілі епізоду, семантичні підзадачі, атомарні примітиви та перезважування контролю якості. Модель також працює як загальна функція цінності: генерує щільні прогреси задач та сегментує траєкторії на позитивні, нейтральні та негативні з нахилом.

Самовдосконалення та симуляція

Argon може генерувати нові дані в симуляції для покращення загальних моделей зору-мови-дії. З одного RGB-фото реального столу вона будує відкалібровану симуляційну копію MuJoCo, визначає нові задачі та синтезує генератор руху замкненого циклу. Цей процес зібрав 4 500 рандомізованих за доменом епізодів, що збільшило показник успіху робота в реальному світі з 56% до 75%, а час виконання скоротило з 35 до 24 секунд.

Модель також демонструє ітеративне самовдосконалення на обладнанні. На простому 6-DoF маніпуляторі Argon шляхом саморефлексії та оптимізації покращила швидкість виконання та точність розміщення у задачі pick-and-place. За три ітерації час виконання впав з 58,9 до 17,4 секунд, а остання ітерація досягла точного центрування об'єкта при опусканні.

Джерела: developers.googleblog.com