חוקרים מ-Stanford ו-Caltech חיברו את GPT-6 Astra ישירות להומנואיד והוא סידר מטבח לא מוכר

חוקרים מ-Stanford ו-Caltech בנו את HomeBody, מערכת שמאפשרת להומנואיד Unitree G1 לנווט באופן עצמאי במטבח לא מוכר, לסדר אותו ולהוציא חפצים ממגירות. ההחלטות של הרובוט מגיעות מ-GPT-6 Astra, שפועל כמודל חזותי-לשוני מתחלף ולא כחלק ממערכת רובוטיקה קונבנציונלית שאומנה באופן כבד.

השאלה המרכזית של הפרויקט: האם הומנואיד עדיין זקוק לשכבת בקרה מאומנת נפרדת בין החשיבה לבין כישורי התנועה, או שמודל מתקדם כבר מסוגל לתזמר את הכישורים האלה ישירות.

בלי שכבת בקרה מאומנת

מערכות אוטונומיה טיפוסיות להומנואיד מורכבות משלושה חלקים: System 2 (VLM) מפרש תצפיות והוראות, System 1 (VLA) שאומן מייצר פקודות, ו-System 0 מבצע את התנועה. HomeBody מסירה את החוליה האמצעית: VLM מתחלף, כאן GPT Astra, קורא ישירות לספריית כישורים ניתנת להרחבה ללכידה, ניווט ופתיחת מגירות.

הרובוט סורק את החדר לפני שהוא פועל: אוסף תצפיות מצלמה, גאומטריית SLAM נמדדת, תנוחות מפרקים ונקודות מסלול נבחרות. על הנתונים האלה נבנה שחזור Real2Sim: תאום דיגיטלי של המטבח ב-Isaac Sim של NVIDIA, שבו ההומנואיד מאותר באמצעות Super Odometry והמפה שלו מיושרת לסימולציה ברישום ICP. חפצים ומיקומיהם נשמרים בזיכרון מרחבי במערכת קואורדינטות משותפת, כך שהרובוט מוצא אותם גם אחרי שהם יוצאים משדה הראייה.

משימות ארוכות ותיקון עצמי

במשימה כמו "לסדר את המטבח" המודל מתכנן כל צעד ומעדכן את ההחלטה הבאה כשפעולה או מעבר נכשלים. במטבח שלא נראה קודם ה-G1 בהובלת GPT Astra סידר את החדר והביא חפץ שנזכר בו לפי בקשה לא מפורטת, בלי נתוני אימון ייעודיים לסביבה ובלי אימון מדיניות נוסף.

מגבלות ושאלת בטיחות

החוקרים מונים מגבלות אמיתיות: השהיה של Astra, התחממות מנועי הסרוו באצבעות ועלות חישוב גבוהה. הקוד זמין ב-GitHub. מבחנים קודמים הראו שיפור ניכר בחשיבה המרחבית של המודל, בעוד הערכה אחרת סימנה בעיות בטיחות כשהמודל שולט ברובוט. OpenAI כבר הודיעה על תוכניות לחזור לרובוטיקה, כולל לשימוש אישי. כותבי המאמר: Gio Huh, Cayden Gu, Takara E. Truong, C. Karen Liu ו-Guy Tevet.