Дослідники Stanford і Caltech під'єднали GPT-6 Astra до гуманоїда й дозволили йому прибрати незнайому кухню

Дослідники зі Stanford і Caltech створили HomeBody — систему, яка дозволяє гуманоїду Unitree G1 самостійно пересуватися незнайомою кухнею, прибирати й діставати речі з шухляд. Рішення робота ухвалює GPT-6 Astra, який працює як змінна модель «зору-мови», а не як частина традиційного, важко навченого робототехнічного стеку.

Головне питання проєкту: чи потрібен гуманоїду окремий навчений шар керування між високорівневим мисленням і моторикою, чи такий модeль уже здатен керувати цими навичками напряму.

Без навченого шару керування

Типовий стек автономії гуманоїда складається з трьох частин: System 2 (VLM) інтерпретує спостереження та інструкції, навчена System 1 (VLA) формує команди, а System 0 виконує рух. HomeBody прибирає середню ланку: змінна VLM, у цьому випадку GPT Astra, викликає розширювану бібліотеку навичок для захоплення, навігації та відкривання шухляд.

Спершу робот досліджує кімнату: збирає знімки з камер, виміряну геометрію SLAM, позиції суглобів і вибрані точки маршруту. На цих даних будується реконструкція Real2Sim — цифровий двійник кухні в Isaac Sim від NVIDIA, де гуманоїд локалізується через Super Odometry, а його карта вирівнюється із симуляцією методом ICP. Об'єкти та їхні позиції зберігаються у просторовій пам'яті в спільній системі координат, тож робот знаходить речі навіть після того, як вони зникають із поля зору.

Довгі завдання та самокоригування

У завданні на кшталт «прибери на кухні» мовна модель планує кожен крок і переглядає наступне рішення, коли дія або перехід не вдаються. У незнайомій кухні G1 під керуванням GPT Astra прибрав кімнату й дістав згаданий предмет за неконкретним запитом — без навчання під конкретне середовище і без додаткового навчання політики.

Обмеження і питання безпеки

Дослідники називають реальні обмеження: затримку Astra, перегрів сервоприводів пальців і високу вартість обчислень. Код відкрито на GitHub. Раніші тести показали значне покращення просторового мислення моделі, а окреме оцінювання зафіксувало проблеми безпеки, коли Astra керує роботом. OpenAI вже оголосила про плани повернутися в робототехніку, зокрема для персонального використання. Автори роботи: Gio Huh, Cayden Gu, Takara E. Truong, C. Karen Liu і Guy Tevet.