Embedding Gemma Transcribe перетворює Google EmbeddingGemma 2 на модель перетворення мовлення на текст на пристрої

Від embedding-моделі до транскрибування

Embedding Gemma Transcribe — це безкоштовна Mac-програма, яка надає Google EmbeddingGemma 2 нове призначення: мультимодальна embedding-модель відображає текст, зображення, аудіо та відео в єдиному просторі. Оскільки в цьому просторі вимовлені слова знаходяться близько до їх письмових еквівалентів, розробники можуть читати слова безпосередньо звідти для отримання транскриптів.

Аудіоенкодер моделі залишено таким, як він є. Невеликий компонент-декодер переносить кожен короткий фрагмент аудіо в текстовий простір моделі, де визначається найближчий збіг серед приблизно 229 000 англійських слів, а послідовність фрагментів стає транскриптом. Окрема невелика модель додає пунктуацію та великі літери. Було навчено лише декодер — за менше двох годин на 8×H100 GPU, з використанням відкрито ліцензованих англійських мовленнєвих даних. Сама базова модель ніколи не навчалася для перетворення мовлення на текст.

Швидкість на Apple Silicon

За тестами розробників, додаток повністю працює на Neural Engine Mac. На базовому M3 MacBook Air з 8 ГБ пам'яті він обробив одну годину аудіо за 12,6 секунди, що за даними команди в 288 разів швидше реального часу. У тому ж тестовому середовищі IBM Granite Speech 5.0 TurboCTC, який працює на GPU через MLX, знадобилося 25,7 секунди — приблизно в 150 разів швидше реального часу.

Команда також наводить опубліковані бенчмарки FluidAudio для порівняння: NVIDIA Parakeet TDT 0.6B v3 досяг результату в 156 разів швидше реального часу на M4 Pro і в 335 разів на M5 Pro, а Phonon-2, доопрацьована версія Parakeet v3, досяг результату в 480 разів швидше реального часу на M5 Pro. Розробники зазначають, що ці показники отримані на більших і новіших Mac та на іншому аудіо, тому таблиця є грубою орієнтировкою, а не порівнянням в рівних умовах.

Точність і доступність

Поточний показник слівних помилок становить близько 5%, порівняно з 2-3% у провідних мовленнєвих моделей. Команда вважає, що краще навчений декодер може усунути цю різницю, і вважає це головним завданням наступної ітерації.

Версія 1.6 вимагає macOS 14 або новішої версії та Apple Silicon; модель розміром 715 МБ завантажується при першому запуску. Користувачі можуть перетягнути аудіофайл або натиснути клавішу Right Option, промовити та запустити, щоб ввести текст у будь-якій програмі. Оскільки обробка відбувається на Neural Engine, аудіо ніколи не покидає пристрій. Додаток доступний для Mac безкоштовно з завантаженням.

Джерела: eg2.haku.sh