Google DeepMind-მა Genie 4-ის სამყაროს მოდელი გამოუშვა აუდიოთი და რეალურ დროში მართვით

Google DeepMind-მა სამშაბათს კვლევითი წინასწარი ვერსიის სახით გამოუშვა თავისი უახლესი სამყაროს მოდელი Genie 4. მოდელი ქმნის აქამდე არსებულთაგან ყველაზე ფოტორეალისტურ და ინტერაქტიულ სამყაროებს და მომხმარებლებს საშუალებას აძლევს სიმულაციის მსვლელობისას აკრიფონ მითითებები სცენის შესაცვლელად. ის ასევე ქმნის რეალურ დროში აუდიოს, რომელიც ემთხვევა სიმულირებულ სამყაროს, მათ შორის მუსიკას, გარემოს ხმებსა და ინტერაქტიულ დიალოგს.

მოდელის გაუმჯობესებები

Genie 4-ში შესაძლებელია თავისუფალი ფორმით ცვლილებების შეტანა, მაგალითად, რეალურ დროში ამინდის ან კამერის კუთხის შეცვლა ან ახალი ადამიანებისა და ობიექტების დამატება. მოდელს შეუძლია ორ წუთამდე შეინარჩუნოს თანმიმდევრული სცენა, რაც ორჯერ მეტია წინამორბედის ლიმიტზე, და აქვს უკეთესი ფიზიკა და უფრო ადამიანის მსგავსი პერსონაჟები. Gemini უფრო მჭიდროდაა ინტეგრირებული Genie 4-თან და მოქმედებს როგორც რეჟისორი, რომელიც გეგმავს ნაბიჯებს და ამოწმებს კადრებს, მაშინ როცა Genie ქმნის ვიზუალს.

რობოტიკის ექსპერიმენტი

Gemini Robotics-თან დაკავშირებულ კვლევით ექსპერიმენტში Gemini 4 Argon-ის მოდელმა დავალებები დაყო ისეთ ნაბიჯებად, რომლებიც Genie 4-მა რეალურ დროში სიმულაციის სახით აჩვენა. ექსპერიმენტი გვიჩვენებს შესაძლო მიდგომას, რომლითაც რობოტების სცენარების სიმულაციაში გამოცდა შეიძლება მანამ, სანამ ისინი რეალურ სამყაროში მოხდება. Google-ის კვლევის დირექტორმა Tejas Kulkarni-მ თქვა, რომ მომავალში ჰიბრიდულმა სამყაროს მოდელებმა შესაძლოა გააერთიანონ Gemini, რომელიც წერს კოდსა და ტექსტს, და Genie, რომელიც ამას რეალურ დროში იღებს და სხვადასხვა აბსტრაქციის დონეზე ახდენს რეალობის სიმულირებას.

ინდუსტრიის კონტექსტი და გამოყენებები

გამოშვება ხდება Runway-ის მეორე მსოფლიო მოდელის, GWM Worlds 2-ის გამოშვებიდან რამდენიმე თვის შემდეგ. ეს მოდელი სათამაშოდ გამოსადეგია, დინამიკურად რეაგირებს მომხმარებლის შეყვანაზე და მოიცავს აუდიოს გენერაციას. მსოფლიო მოდელების ინდუსტრია ასევე კონსოლიდირდება: Fei-Fei Li-ის World Labs-ს იძენს AMD, Amazon მოლაპარაკებებს აწარმოებს Decart-ის შესაძენად, ხოლო Rivian-მა შეიძინა Third Dimension, რათა სიმულაციის შესაძლებლობები შიგნით შემოიტანოს თვითმართვადი ავტომობილების ტესტირებისთვის. Genie 4 არის Google-ის უახლესი ნაბიჯი, რათა კონკურენტულ სფეროში წინ იყოს. წარმოდგენილი კომერციული გამოყენების შემთხვევები მოიცავს გეიმინგს, ინტერაქტიულ სწავლას და რობოტიკას. ერთი სპეკულაციური ინტერაქტიული სწავლის მაგალითი იქნებოდა ისტორიული სცენის ნახატში შესვლა და ნახატის პერსონაჟებთან საუბარი გამოსახულ მოვლენაზე. სანდო ტესტერები მიუთითებენ შესაძლო ახალ გამოყენებაზე: ფილმების პროტოტიპირება. Google DeepMind-ის ინჟინერმა Diego Rivas-მა თქვა, რომ რეალური დროის ასპექტი ყველაზე ღირებული ხდება იქ, სადაც კრეატიულ სივრცეში ნაკადის მდგომარეობის შენარჩუნება სასარგებლოა, მაგალითად იდეების გენერირებისა და სტორიბორდინგის დროს. Google ასევე გვთავაზობს Veo-ს, ხელოვნური ინტელექტის ვიდეოგენერაციის მოდელს, რომელიც ქმნის მაღალი გარჩევადობის კლიპებს ჩაშენებული სინქრონიზებული აუდიოთი ტექსტური, გამოსახულების ან ვიდეოს პრომპტებიდან; ეს ინსტრუმენტი სულ უფრო პოპულარული ხდება კინორეჟისორებში. Rivas-მა დასძინა, რომ მომხმარებლებს შეიძლება საბოლოოდ დაეყრდნონ Gemini Omni-ს, მულტიმოდალურ დიდ ენობრივ მოდელს, რომელსაც შეუძლია ვიდეოს გენერირება გამოსახულებებიდან, აუდიოდან და ტექსტიდან, რათა პროტოტიპები კრეატიულ აქტივებად აქციოს, თუმცა ეს შესაძლებლობები ჯერ კიდევ შორსაა.

შეზღუდვები და ხელმისაწვდომობა

Rivas-მა ხაზგასმით აღნიშნა, რომ Genie 4-ისთვის ჯერ კიდევ ადრეული დღეებია და ჯერ არ არის ნათელი, რა იქნება პროდუქტის გამოცდილება თავიდან ბოლომდე. გუნდმა აღიარა, რომ დეტალები და ობიექტები შეიძლება იცვლებოდეს, რაც უფრო ხანგრძლივად მუშაობს სიმულაცია, და მათ ჯერ ბოლომდე არ გაურკვევიათ, როგორ უზრუნველყონ, რომ აუდიო ზუსტი იყოს და ნებისმიერი ტექსტი სამყაროს შიგნით წაკითხვადი იყოს. Genie 4 ახლა ხელმისაწვდომია როგორც კვლევითი წინასწარი ვერსია სანდო ტესტერებისთვის. მომავალ კვირებში მოდელი გავრცელდება Google AI Ultra-ს აბონენტებზე Project Genie-ში, Google-ის ხელოვნური ინტელექტის ინსტრუმენტში ინტერაქტიული სამყაროების გენერირებისთვის ტექსტური ან გამოსახულების პრომპტებიდან, და Gemini API-ისა და Google AI Studio-ს ადრეული წვდომის პარტნიორებზე.

წყაროები: TechCrunch · Ars Technica · The Verge