Google DeepMind: Генератори відео вже містять моделі світу — те, чого не вистачало комп'ютерному зору
Дослідники Google DeepMind доводять, що сучасні моделі генерації відео вже містять імпліцитні моделі світу — внутрішні репрезентації фізики, геометрії та взаємодії об'єктів.
Google DeepMind: Генератори відео як моделі світу
Коли ми говоримо про генератори відео, більшість людей сприймають їх лише як розважальні інструменти. Але нове дослідження Google DeepMind під назвою GenCeption стверджує, що ці моделі є набагато більшим: вони вже містять те, що дослідники називають «моделями світу».
Що таке GenCeption?
GenCeption — це модель, розроблена Google DeepMind, яка використовує попередньо навчену модель генерації відео для виконання класичних завдань комп'ютерного зору: оцінка глибини, сегментація, обчислення нормалей поверхні та розпізнавання 3D пози.
Як працює ця технологія?
На відміну від стандартних дифузійних моделей, GenCeption створює прогноз за один прямий прохід. Навчальні дані були переважно синтетичними — лише 7 500 відео загалом.
Результати: менше даних, та ж якість
Незважаючи на навчання лише на 7 500 синтетичних відео, GenCeption досягає або перевершує спеціалізовані моделі, навчені на мільйонах.
Узагальнення: від синтетики до реальності
GenCeption демонструє вражаючу здатність узагальнювати навчання від синтетичних даних до реальних зображень, часто перевершуючи моделі, навчені виключно на реальних даних.
Дискусія про моделі світу
Дослідження відновлює давню дискусію: чи справді відео генератори містять моделі світу, чи просто вивчають поверхневі статистичні кореляції?
Обмеження
GenCeption здебільшого навчений на синтетичних даних. Деякі результати, зокрема оцінка 3D пози, відстають від спеціалізованих моделей.
Висновок
GenCeption змінює наше уявлення про можливості генераторів відео. Вони не просто інструменти для створення контенту — вони є моделями світу.