Google DeepMind משיקה את Genie 4 עם אודיו והיגוי בזמן אמת

Google DeepMind שחררה ביום שלישי את מודל העולם החדש ביותר שלה, Genie 4, בתצוגת מחקר מקדימה. המודל מייצר את העולמות הפוטוריאליסטיים והאינטראקטיביים ביותר עד כה ומאפשר למשתמשים להקליד הנחיות במהלך הסימולציה כדי לשנות את הסצנה. הוא גם מייצר אודיו בזמן אמת שמתאים לעולם המדומה, כולל מוזיקה, רעשי סביבה ודיאלוג אינטראקטיבי.

שיפורי המודל

Genie 4 מאפשר עריכות חופשיות כגון שינוי מזג האוויר או זווית המצלמה בזמן אמת או הוספת אנשים או אובייקטים חדשים. הוא יכול לשמור על סצנה עקבית עד שתי דקות, כפול מהמגבלה של קודמו, ומציע פיזיקה טובה יותר ודמויות דומות יותר לבני אדם. Gemini משולב באופן הדוק יותר עם Genie 4, ופועל כבמאי שמתכנן שלבים ובודק פריימים בזמן ש-Genie יוצר את החזות.

ניסוי רובוטיקה

בניסוי מחקרי הקשור ל-Gemini Robotics, מודל Gemini 4 Argon פירק משימות לשלבים, ו-Genie 4 הריץ אותם בסימולציה בזמן אמת. הניסוי מציג דרך אפשרית לבחון תרחישי רובוטים בסימולציה לפני שהם מתרחשים בעולם האמיתי. Tejas Kulkarni, מנהל מחקר ב-Google, אמר שמודלי עולם היברידיים עתידיים עשויים לשלב את Gemini כותב קוד וטקסט עם Genie קולט זאת בזמן אמת ומדמה מציאות ברמות שונות של הפשטה.

הקשר תעשייתי ושימושים

ההשקה מגיעה כמה חודשים אחרי ש-Runway שחררה את מודל העולם השני שלה, GWM Worlds 2, מודל שניתן לשחק בו שמגיב באופן דינמי לקלט משתמשים וכולל יצירת אודיו. תעשיית מודלי העולם גם מתרכזת: World Labs של Fei-Fei Li נרכשת על ידי AMD, Amazon במגעים לרכוש את Decart, ו-Rivian רכשה את Third Dimension כדי להביא יכולות סימולציה פנימה לבדיקות נהיגה עצמית. Genie 4 הוא המהלך האחרון של Google כדי להישאר בחזית בתחום הצפוף. מקרי שימוש מסחריים מוצעים כוללים גיימינג, למידה אינטראקטיבית ורובוטיקה. דוגמה ספקולטיבית אחת ללמידה אינטראקטיבית תהיה להיכנס לתוך ציור של סצנה היסטורית ולשוחח עם הדמויות בציור על האירוע המתואר. בודקים מהימנים מצביעים על שימוש חדש אפשרי: יצירת אבות טיפוס לסרטים. Diego Rivas, מהנדס ב-Google DeepMind, אמר שההיבט בזמן אמת הופך ליקר ערך במיוחד במקומות שבהם שמירה על מצב זרימה במרחב היצירתי מועילה, כמו גיבוש רעיונות וסטוריבורד. Google גם מציעה את Veo, מודל ליצירת וידאו ב-AI שמייצר קליפים באיכות גבוהה עם אודיו מסונכרן מובנה מהנחיות טקסט, תמונה או וידאו, כלי שצובר פופולריות בקרב יוצרי סרטים. Rivas הוסיף שמשתמשים יוכלו בסופו של דבר להסתמך על Gemini Omni, מודל שפה גדול מולטימודלי שיכול לייצר וידאו מתמונות, אודיו וטקסט, כדי להפוך אבות טיפוס לנכסים יצירתיים, אם כי היכולות האלה עדיין רחוקות.

מגבלות וזמינות

Rivas הדגיש שאלה עדיין ימים מוקדמים עבור Genie 4 ושאין עדיין בהירות מה תהיה חוויית המוצר מקצה לקצה. הצוות הודה שפרטים ואובייקטים יכולים לסטות ככל שהסימולציה נמשכת זמן רב יותר, ושהם עדיין לא ממש הבינו איך להבטיח שהאודיו יהיה מדויק ושכל טקסט בתוך העולם יהיה קריא. Genie 4 זמין כעת בתצוגת מחקר מקדימה עבור בודקים מהימנים. בשבועות הקרובים המודל יופץ למנויי Google AI Ultra ב-Project Genie, כלי ה-AI של Google ליצירת עולמות אינטראקטיביים מהנחיות טקסט או תמונה, ולשותפי גישה מוקדמת של Gemini API ו-Google AI Studio.

מקורות: TechCrunch · Ars Technica · The Verge