Google DeepMind: ვიდეო გენერატორები უკვე შეიცავენ სამყაროს მოდელებს — რაც კომპიუტერულ ხედვას აკლდა

Google DeepMind: ვიდეო გენერატორები, როგორც სამყაროს მოდელები

წარმოიდგინეთ, რომ ვიდეო გენერატორი — ინსტრუმენტი, რომელსაც ჩვეულებრივ ვიზუალური კონტენტის შესაქმნელად ვიყენებთ — უკვე შეიცავს სამყაროს ღრმა გაგებას. Google DeepMind-ის ახალი კვლევა GenCeption ამტკიცებს, რომ ვიდეო გენერაციის მოდელებს უკვე გააჩნიათ ის, რასაც "სამყაროს მოდელებს" ვუწოდებთ — ფიზიკის, გეომეტრიის, სიღრმისა და ობიექტების ურთიერთქმედების შინაგანი წარმოდგენები.

რა არის GenCeption?

GenCeption — Google DeepMind-ის მიერ შემუშავებული მოდელი, რომელიც იყენებს წინასწარ გაწვრთნილ ვიდეო გენერაციის მოდელს კლასიკური კომპიუტერული ხედვის ამოცანების შესასრულებლად: სიღრმის შეფასება, სეგმენტაცია, ზედაპირის ნორმალების გამოთვლა და 3D პოზის ამოცნობა.

როგორ მუშაობს ეს ტექნოლოგია?

GenCeption ქმნის პროგნოზს ერთი პირდაპირი გავლის საშუალებით. სასწავლო მონაცემები ძირითადად სინთეზური იყო — მხოლოდ 7 500 ვიდეო. გუნდმა გააერთიანა 800 ციფრული მოდელი 200 მოძრაობის თანმიმდევრობასთან.

შედეგები: ნაკლები მონაცემი, იგივე ხარისხი

მიუხედავად მხოლოდ 7 500 სინთეზურ ვიდეოზე სწავლისა, GenCeption აღწევს ან აჯობებს სპეციალიზებულ მოდელებს, რომლებიც მილიონობით მონაცემზეა გაწვრთნილი.

განზოგადება: სინთეზურიდან რეალურ სამყაროში

ერთ-ერთი ყველაზე შთამბეჭდავი ასპექტი — GenCeption-ის უნარი განაზოგადოს სინთეზური მონაცემები რეალურ სამყაროში.

სამყაროს მოდელის დებატები

ეს კვლევა ხელახლა ხსნის დებატებს: შეიცავენ თუ არა ვიდეო გენერატორები სამყაროს მოდელებს? Yann LeCun და სხვები ამტკიცებენ, რომ ისინი მხოლოდ ზედაპირულ სტატისტიკურ კორელაციებს სწავლობენ.

შეზღუდვები

GenCeption ძირითადად სინთეზურ მონაცემებზეა გაწვრთნილი. ზოგიერთი შედეგი, როგორიცაა 3D პოზის შეფასება, ჩამორჩება სპეციალიზებულ მოდელებს.

დასკვნა

GenCeption ცვლის ჩვენს აზროვნებას იმის შესახებ, თუ რა შეუძლიათ ვიდეო გენერატორებს. ისინი არა მხოლოდ გასართობი ინსტრუმენტებია — ისინი სამყაროს მოდელებია.

📖 წყარო