Stanford ve Caltech araştırmacıları GPT-6 Astra'yı insansı robota bağladı: bilmediği mutfağı topladı

Stanford ve Caltech araştırmacıları, Unitree G1 insansı robotunun bilmediği bir mutfakta kendi başına gezinmesini, ortalığı toplamasını ve çekmecelerden eşya çıkarmasını sağlayan HomeBody sistemini geliştirdi. Robotun kararları, ağır eğitilmiş geleneksel bir robotik yığınının parçası değil, değiştirilebilir bir görsel-dil modeli olan GPT-6 Astra'dan geliyor.

Temel soru şu: Bir insansı robot, üst düzey akıl yürütme ile motor beceriler arasında ayrı bir eğitilmiş kontrol katmanına hâlâ ihtiyaç duyuyor mu, yoksa böyle bir model bunları doğrudan yönetebiliyor mu?

Eğitilmiş kontrol katmanı olmadan

Tipik insansı otonomi yığını üç parçadan oluşuyor: System 2 (VLM) gözlemleri ve talimatları yorumluyor, eğitilmiş System 1 (VLA) komut üretiyor, System 0 ise hareketi yürütüyor. HomeBody ortadaki halkayı çıkarıyor: değiştirilebilir VLM, burada GPT Astra, kavrama, gezinme ve çekmece açma için genişletilebilir bir beceri kütüphanesini doğrudan çağırıyor.

Robot işe koyulmadan önce odayı keşfediyor: kamera gözlemlerini, ölçülen SLAM geometrisini, eklem pozisyonlarını ve ara noktaları topluyor. Bu verilerle NVIDIA'nın Isaac Sim'inde mutfağın dijital ikizi kuruluyor; robot Super Odometry ile konumlandırılıyor, haritası ICP ile simülasyona hizalanıyor. Nesneler ve konumları ortak bir koordinat sistemindeki uzamsal bellekte saklanıyor; böylece robot, görüş alanından çıkan eşyaları da bulabiliyor.

Uzun soluklu görevler ve öz düzeltme

"Mutfağı topla" gibi bir görevde dil modeli her adımı planlıyor ve bir eylem ya da geçiş başarısız olduğunda sonraki kararını düzeltiyor. Görmediği bir mutfakta GPT Astra yönetimindeki G1 odanın öbür ucuna kadar topladı ve belirsiz bir istekten hatırladığı nesneyi getirdi; bunun için ortama özel veri ya da ek politika eğitimi gerekmedi.

Sınırlar ve güvenlik sorusu

Araştırmacılar gerçek kısıtları sıralıyor: Astra'nın gecikmesi, parmak servolarının aşırı ısınması ve yüksek hesaplama maliyeti. Kod GitHub'da. Önceki karşılaştırmalar modelin uzamsal akıl yürütmesinin belirgin şekilde geliştiğini gösterdi; ayrı bir değerlendirme Astra bir robotu kontrol ederken güvenlik sorunlarına işaret etti. OpenAI robotik sektörüne, kişisel kullanım dahil, dönme planlarını zaten açıklamıştı. Makalenin yazarları: Gio Huh, Cayden Gu, Takara E. Truong, C. Karen Liu ve Guy Tevet.