Odyssey відкрила дослідницьке прев'ю інтерактивної моделі світу Odyssey-3

Публічне прев'ю та дизайн моделі

AI-компанія Odyssey, що базується в Каліфорнії, відкрила публічне дослідницьке прев'ю своєї моделі світу Odyssey-3. Користувачі можуть створювати інтерактивні середовища текстовими підказками та переглядати їх у реальному часі від першої чи третьої особи, переміщуватися світом, викликати події й спостерігати, як реагує модель. Безкоштовне демо працює на Odyssey-3 Flash, а розробники можуть подати заявку на доступ через API.

За словами Odyssey, Odyssey-3 побудована на авторегресивному дифузійному трансформері, який генерує нові відеокадри на основі попередніх кадрів і дій користувача. Навчальні дані включали інтернет-відео з описами подій, кадри відеоігор із зафіксованим вводом з клавіатури та миші, а також симульовані фізичні взаємодії. Додаткова техніка навчання зменшує кількість обчислювальних кроків для генерації в реальному часі. Базова модель має 14 мільярдів параметрів і генерує відео 832 x 480, а Odyssey-3 Pro підтримує 1280 x 720 пікселів.

Приймає виклики бенчмарків

За даними Odyssey, Odyssey-3 Pro набирає 66,1 бала в Physics-IQ Verified. Відео-відео бенчмарк охоплює механіку рідин, оптику, механіку твердого тіла, магнетизм і термодинаміку: моделям пропонується продовжити відео реальних експериментів і порівняти результати з реальними результатами.

За словами Odyssey, цей бал є результатом одного тестування, де методом відбору для кожного завдання було обрано один з восьми згенерованих відео. Для підтвердження рекорду правила бенчмарку вимагають чотирьох запусків та стандартного відхилення, а опублікований результат цей поріг не відповідає. Без відбору середній бал Odyssey-3 Pro за чотири запуски становив 63,37. Обидва результати зазначені в таблиці лідерів, представленій Odyssey. У WorldMark, за даними Odyssey, вона перша у First-Person Stylized з 77,2 балами, у Third-Person Real з 79,0 та у Third-Person Stylized з 76,3, а третя у First-Person Real з 80,6 балами.

Від роботів до персонажів ігор

Odyssey хоче мати одну модель світу для роботичних рук, дронів у симуляції та персонажів відеоігор з контролерами, які перетворюють прогнози на команди. У тестах компанії AI на базі Odyssey-3 керувало кількома роботичними руками після даних демонстрацій на кілька сотень годин і відновлювалося після невдалого захоплення, якого не було в навчальних даних. Для гуманоїдних роботів Odyssey має партнерство зі швейцарською робототехнічною компанією Flexion.

Odyssey також створила контролер дрона, навчений на симульованих даних польоту, і стверджує, що дрон у віртуальному приміщенні обходив перешкоди та досягав цілей. Вона показала AI, який автономно грав у GTA V, керував машинами та боровся з ворогами. Контролер, навчений приблизно на двох годинах кадрів GTA, перейшов на Red Dead Redemption 2 без додаткового навчання. Odyssey також планує використовувати модель для AI-агентів, які виконують завдання природною мовою власними діями.

Джерела: The Decoder