Експерименти Adobe зі штучним інтелектом дають змогу переміщатися у фотографіях і брати інтерв’ю в персонажів

Adobe демонструє експериментальні інструменти ШІ на своїй щорічній конференції Max, які можуть перетворювати зображення на досліджувані 3D-сцени, створювати AI-персонажів, розмовляючи з ними, та копіювати редагування з одного об'єкта чи людини на інші. Компанія описує ці «sneaks» як технічні прев’ю, які згодом можуть стати функціями у застосунках Creative Cloud або на платформі Firefly. Майже всі проєкти побудовані навколо генеративної роботи Adobe у сфері ШІ, а інструменти ШІ тепер відіграють центральну роль у стратегії зростання компанії.

Проєкт екранного тесту

Project Screen Test розроблено, щоб зробити AI-згенерованих персонажів легшими для розробки та використання у відеоконтенті. Замість того щоб лише описувати, як персонаж має звучати та поводитися в текстових запитах, користувачі можуть розмовляти з персонажем і керувати ним у середовищі, схожому на прослуховування. Ви описуєте базові риси особистості, такі як «тривожний, сором'язливий, незграбний», обираєте або завантажуєте голос і розширюєте персону, спілкуючись наче у FaceTime, викладаючи передісторію, темперамент, цілі, вади, страхи та рухові особливості. Потім інструмент генерує анімовані екранні тести за описаним сценарієм. Наразі це окрема творча вправа, і незрозуміло, чи зможе вона з'явитися в наявних інструментах Adobe для відео зі ШІ. На думку оглядача The Verge, результати дали більш упізнавану й послідовну особистість, ніж у багатьох бездушних анімованих AI-персонажів, хоча генерування відео за допомогою ШІ дає значно менше творчого контролю, ніж традиційна анімація.

Проєкт Розмах зору і Проєкт Згинання звуку

Project Sight Span перетворює плоске зображення на навігаційне 3D-середовище, генеруючи об'єкти та фони за межами початкової рамки. Він працює з фотографіями, картинами та ілюстраціями, зберігає та відтворює художні стилі, а також зберігає впізнаваність переміщених татуювань і рис обличчя. 3D-перегляд є піксельним і нечітким, доки не вибрано кут. Adobe порівнює це з функцією Spatial Reframing від Apple «на стероїдах», що дозволяє більш агресивне переміщення та змінену точку зйомки, хоча після цього зображення менше відчувається як фото. Project Sound Bender змішує аудіо, дозволяючи користувачам описувати бажаний звук у текстовому запиті, наприклад «булькаючі науково-фантастичні звуки казана». Він генерує звукові ефекти, синхронізує їх із відео та надає квадратне звукове полотно. Кожен кут автоматично призначає звук, згенерований ШІ, наприклад щільне булькання з лопанням бульбашок, гуркіт киплячих каменів, високі бульки або тріскучий електричний вогонь, які користувачі можуть змішувати чи налаштовувати.

Проєкт Рінз Репіт і що далі

Project Rinse Repeat копіює редагування та застосовує їх до інших об’єктів або людей на тому самому фото, наприклад адаптуючи ретушування акне чи недоліків або додаючи тіні до продуктів різних форм. Оскільки інструмент побудований навколо Photoshop, скопійовані редагування залишаються повністю редагованими, бо він відтворює їх рідними інструментами Photoshop. Ці sneaks є технічними прев'ю, які можуть стати функціями Creative Cloud або Firefly; гарантій немає, але, з огляду на центральну роль ШІ в стратегії зростання Adobe, The Verge вважає, що принаймні частина експериментів таки вийде. Гаутам Мисор, старший науковий співробітник-дослідник Adobe, розповів The Verge, що інтуїтивніші взаємодії також дають досвідченим креаторам точніший контроль, посилаючись на Sound Bender і Sight Span.

Джерела: The Verge