Deepgram купує Daily, творця Pipecat, щоб посилити інфраструктуру голосового ШІ

Deepgram повідомила у четвер, що купує Daily, творця й підтримувача Pipecat, одного з найпопулярніших відкритих фреймворків для голосового ШІ. Компанії не розкрили суму угоди, але заявили, що Pipecat залишиться відкритим. Deepgram зазначила, що купівля має посилити її інфраструктуру голосового ШІ.

Pipecat і інфраструктура Daily

Pipecat є фреймворком, який керує голосовими й відеопотоками разом з іншими частинами конвеєра, такими як перетворення мовлення на текст, великі мовні моделі та моделі перетворення тексту на мовлення, зменшуючи затримку. Daily надає хостингову інфраструктуру для голосових і відеодзвінків будь-якого типу. З Pipecat Deepgram, імовірно, отримає глибше розуміння інфраструктури голосу й відео в реальному часі.

Daily залучила понад $62 млн фінансування від інвесторів, серед яких Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom і Kevin Weil, за даними PitchBook. Раніше цього року Deepgram досягла статусу єдинорога з раундом Series C на $130 млн. Обидві компанії були в одній когорті Y Combinator у 2016 році.

Відкритий код і плани щодо продукту

Квіндла Крамер, співзасновник Daily, сказав, що компанія почала експериментувати зі спілкуванням ШІ з людьми через голос і текст приблизно тоді, коли з'явився GPT-4, що зрештою привело до створення фреймворку Pipecat. Він сказав, що інтерес до купівлі був чималий, але він віддав перевагу зобов'язанню генерального директора Deepgram Скотта Стівенсона назавжди залишити Pipecat відкритим, а також поєднанню інженерних культур, що дає команді Daily свободу працювати над різними частинами стеку в межах більшої організації.

Крамер сказав, що Скотт зобов'язався тримати Pipecat відкритим і незалежним від постачальників назавжди, і що відкрита екосистема може бути комерційною перевагою, коли компанія перебуває в центрі екосистеми, що швидко зростає. Стівенсон сказав, що Deepgram давно хотіла працювати з відкритим кодом і бачила потенційну сферу у фреймворку оркестрації для агентів. Він сказав, що Deepgram хоче, щоб екосистема була відкритою, щоб кожен міг створювати голосових агентів, навіть якщо використовує різні моделі, і що компанія хоче покращитися в сферах, де їй треба наздоганяти.

Стівенсон сказав, що купівля дозволяє розробникам створювати агентів з експресивністю й наскрізними мовними системами, підключаючи різні моделі та шину контексту, яка з'єднує всі частини. Для Deepgram угода також дозволяє досліджувати сфери поза голосом через Pipecat, тому що фреймворк обслуговує комунікацію в реальному часі в різних форматах. Крамер сказав, що команда ніколи не вважала Pipecat набором інструментів для голосу, а набором інструментів, потрібним для створення нового типу ШІ-нативного програмного забезпечення, і що реальний час завжди вважався само собою зрозумілим через походження компанії.

Real-Time Context Standard і ринковий контекст

Deepgram також запускає Real-Time Context Standard, відкритий протокол для голосових агентів, який вона спільно розробила з командою Pipecat. Протокол визначає метадані, такі як контекст з аудіо, наприклад шепіт, інструкції для мовної моделі щодо того, як вона може використовувати ці сигнали, а також вказівки щодо того, як має звучати відповідь.

Голосовий ШІ привернув багато інвестицій як з боку моделей, так і з боку інфраструктури. Розробники моделей, такі як ElevenLabs, Gradium і Fish Audio, залучили мільйони доларів. Інфраструктурні компанії, такі як LiveKit і Vapi, залучили багатомільйонні раунди фінансування цього року.

Джерела: TechCrunch