Google DeepMind-ը թողարկել է Genie 4 աշխարհի մոդելը՝ աուդիոյով և իրական ժամանակի ղեկավարմամբ

Google DeepMind-ը երեքշաբթի օրը հետազոտական նախադիտման տեսքով թողարկել է իր նորագույն աշխարհի մոդելը՝ Genie 4-ը։ Մոդելը ստեղծում է մինչ այժմ առկա ամենաֆոտոռեալիստական և ինտերակտիվ աշխարհները և թույլ է տալիս օգտատերերին սիմուլյացիայի ընթացքում մուտքագրել հարցումներ՝ տեսարանը փոխելու համար։ Այն նաև ստեղծում է իրական ժամանակի աուդիո, որը համապատասխանում է սիմուլյացված աշխարհին, այդ թվում՝ երաժշտություն, շրջակա միջավայրի ձայներ և ինտերակտիվ երկխոսություն։

Մոդելի բարելավումները

Genie 4-ը թույլ է տալիս ազատ ձևի խմբագրումներ, օրինակ՝ եղանակի կամ տեսախցիկի անկյունի փոփոխություն իրական ժամանակում կամ նոր մարդկանց ու օբյեկտների ավելացում։ Այն կարող է պահպանել հետևողական տեսարանը մինչև երկու րոպե, ինչը կրկնակի է նախորդ մոդելի սահմանաչափից, և առաջարկում է ավելի լավ ֆիզիկա և ավելի մարդանման կերպարներ։ Gemini-ն ավելի սերտորեն է ինտեգրված Genie 4-ի հետ՝ գործելով որպես ռեժիսոր, որը պլանավորում է քայլերը և ստուգում կադրերը, մինչ Genie-ն ստեղծում է վիզուալները։

Ռոբոտաշինության փորձ

Gemini Robotics-ի հետ կապված հետազոտական փորձում Gemini 4 Argon մոդելը խնդիրները բաժանել է քայլերի, որոնք Genie 4-ը սիմուլյացրել է իրական ժամանակում։ Փորձը ցույց է տալիս հնարավոր եղանակ՝ ռոբոտների սցենարները սիմուլյացիայում փորձարկելու մինչև դրանք իրական աշխարհում տեղի ունենալը։ Google-ի հետազոտական տնօրեն Թեջաս Կուլկարնին ասել է, որ ապագա հիբրիդային աշխարհի մոդելները կարող են միավորել Gemini-ի կողմից կոդի և տեքստի գրումը Genie-ի հետ, որը դա իրական ժամանակում կինտեգրի և կսիմուլյացնի իրականությունը տարբեր աբստրակցիայի մակարդակներում։

Ոլորտային համատեքստ և կիրառումներ

Թողարկումը տեղի է ունենում մի քանի ամիս անց այն բանից հետո, երբ Runway-ը թողարկել է իր երկրորդ աշխարհի մոդելը՝ GWM Worlds 2-ը, որը խաղարկելի մոդել է, դինամիկ կերպով արձագանքում է օգտատիրոջ մուտքագրումներին և ներառում է աուդիոյի ստեղծում։ Աշխարհի մոդելների ոլորտը նաև միավորվում է. Fei-Fei Li-ի World Labs-ը ձեռք է բերվում AMD-ի կողմից, Amazon-ը բանակցում է Decart-ը գնելու շուրջ, իսկ Rivian-ը ձեռք է բերել Third Dimension-ը՝ ինքնավար մեքենաների փորձարկման համար սիմուլյացիայի հնարավորությունները ներսում բերելու նպատակով։ Genie 4-ը Google-ի վերջին քայլն է՝ մնալու համար մրցակցային դաշտում առջևում։ Առաջարկվող կոմերցիոն կիրառումները ներառում են խաղերը, ինտերակտիվ ուսուցումը և ռոբոտաշինությունը։ Մեկ ենթադրական ինտերակտիվ ուսուցման օրինակ կլիներ պատմական տեսարանի նկարի մեջ մտնելը և նկարի կերպարների հետ զրուցելը պատկերված իրադարձության մասին։ Վստահելի փորձարկողները նշում են հնարավոր նոր կիրառում՝ ֆիլմերի նախատիպավորում։ Google DeepMind-ի ինժեներ Դիեգո Ռիվասը ասել է, որ իրական ժամանակի ասպեկտը ամենաշատ արժեք ունի այնտեղ, որտեղ ստեղծագործական տարածությունում հոսքի վիճակը պահելը օգտակար է, ինչպես գաղափարների ստեղծումը և սթորիբորդինգը։ Google-ը նաև առաջարկում է Veo-ն՝ AI տեսանյութեր ստեղծող մոդել, որը տեքստից, պատկերից կամ տեսանյութի հարցումներից ստեղծում է բարձր հստակության հոլովակներ՝ ներկառուցված սինխրոն աուդիոյով, գործիք, որը հանրաճանաչություն է ձեռք բերում կինոստեղծողների շրջանում։ Ռիվասը ավելացրել է, որ օգտատերերը ի վերջո կարող են հույս դնել Gemini Omni-ի վրա՝ բազմամոդալ մեծ լեզվական մոդել, որը կարող է պատկերներից, աուդիոյից և տեքստից ստեղծել տեսանյութ, որպեսզի նախատիպերը վերածի ստեղծագործական ակտիվների, թեև այդ հնարավորությունները դեռ հեռու են։

Սահմանափակումներ և հասանելիություն

Ռիվասը շեշտել է, որ Genie 4-ի համար դեռ վաղ օրեր են և դեռ պարզ չէ, թե ինչ կլինի ամբողջական արտադրանքի փորձը։ Թիմը ընդունել է, որ մանրամասներն ու օբյեկտները կարող են շեղվել սիմուլյացիայի ավելի երկար աշխատելու դեպքում, և նրանք դեռ ամբողջությամբ չեն պարզել, թե ինչպես ապահովել աուդիոյի ճշգրտությունը և աշխարհի ներսի ցանկացած տեքստի ընթեռնելիությունը։ Genie 4-ը այժմ հասանելի է որպես հետազոտական նախադիտում վստահելի փորձարկողների համար։ Հաջորդ շաբաթներին մոդելը կտարածվի Google AI Ultra բաժանորդների շրջանում Project Genie-ում՝ Google-ի AI գործիքում, որը տեքստային կամ պատկերային հարցումներից ստեղծում է ինտերակտիվ աշխարհներ, ինչպես նաև Gemini API-ի և Google AI Studio-ի վաղ մուտքի գործընկերների շրջանում։

Աղբյուրներ՝ TechCrunch · Ars Technica · The Verge