Synthesia створила інтерактивний AI-аватар журналістки TechCrunch, навчений на одній статті

Британський стартап Synthesia, який оцінюють у 4 мільярди доларів, створив інтерактивний AI-аватар журналістки TechCrunch. Домінік-Мадорі Девіс, яка пише про венчурний капітал, розповіла про це у статті, опублікованій 26 вересня: аватар навчили на одній із її публікацій, і він відповідає лише на запитання про неї. За словами Девіс, це перший аватар Synthesia, зроблений для журналіста, і перший випадок, коли компанія створила аватар для когось поза своєю командою, крім власного керівника корпоративних комунікацій Александру Войки.

Дві хвилини голосу і кілька днів роботи

Матеріал журналістка записала в невеликій кіностудії в новому офісі Synthesia у Нью-Йорку. Команда зробила безліч її фотографій і записала дві хвилини голосу, а на створення аватарів вона дала згоду. Synthesia виготовила персональний аватар, який читає будь-який заданий текст, та інтерактивні аватари, що можуть слухати й відповідати, у версіях з окулярами й без них. Робота зайняла кілька днів.

Як аватар відповідає

Інтерактивний аватар поєднує розпізнавання мовлення, агентну мовну модель, синтез голосу та відеомодель, яка анімує обличчя. Відео- й голосові моделі власні в Synthesia, хоча клієнти можуть замінити їх інструментами Cartesia, ElevenLabs, Google або OpenAI і розмістити результат у власній хмарі. Аватар детермінований: на особисті запитання, яких не було в його навчальних даних, він щоразу повертав розмову до статті. Девіс пише, що друзям голос здався цікавим і водночас моторошним, а мати пожартувала: «Не пам'ятаю, щоб я народжувала двох таких, як ти».

Бізнес за межами демонстрації

Synthesia продає три типи продуктів. Початкова платформа перетворює написаний текст на відео з класичними аватарами. Агентна платформа Sessions дозволяє працівникам спілкуватися з аватарами в опитуваннях або рольових сесіях, де вони тренують презентації та отримують оцінку відповідей. Третій продукт, API, дає компаніям змогу поєднувати відео- й голосові моделі Synthesia з іншими технологіями. Компанія конкурує з D-ID, HeyGen і Colossyan; торік вона повідомила, що перевищила 100 мільйонів доларів річної повторюваної виручки, а на початку цього року досягла оцінки в 4 мільярди доларів.

Довіра як відкрите питання

Девіс пише, що до цифрових двійників має змішані почуття. Ідея клонувати себе для роботи їй здається привабливою, а аватари лякають її менше за роботів-гуманоїдів, але вона сумнівається, що довіру, основу журналістики, можна передати програмі. Її аватар детермінований і ніколи не імпровізує; версія без цього обмеження, на її думку, легко може викликати нездорову прив'язаність. Один інвестор, з яким вона говорила, категорично відкинув ідею новинних ведучих-аватарів, інші вагалися.