Nvidia випустила відкриту модель Nemotron 3.5 Transcribe для мовленнєвих задач

Nvidia випустила відкриту модель розпізнавання мовлення Nemotron 3.5 Transcribe, що виконує текстові інструкції та поєднує транскрипцію, переклад і розпізнавання мовців. Разом із моделлю виходять набір даних Granary v2 та інструменти для адаптації моделі до спеціалізованих галузей, наприклад медицини.

Можливості й ефективність

Nvidia каже, що модель транскрибує 40 мов, перекладає 31 мову в обидва боки з англійською і розпізнає мовців у 13 мовах. Вона обробляє записи тривалістю до години з участю до восьми мовців. Прості інструкції дозволяють із того самого запису отримати транскрипт із мітками мовців, переклад англійською або стислий підсумок. Технічні терміни, наприклад назви ліків, можна передати як підказки, і модель має використовувати їх лише тоді, коли вони справді трапляються. Вона також може відповідати на запитання про вміст запису.

Модель має 30 мільярдів параметрів, але на кожному кроці активні лише близько 4 мільярдів, тому вона працює на одному GPU Nvidia. Nvidia каже, що це стосується обладнання від компактного DGX Spark до систем центрів обробки даних. На RTX PRO 6000 Blackwell Server Edition із точністю NVFP4 вона обробляє 100 годин аудіо менш ніж за три хвилини. Модель створена для записаного аудіо, не підтримує обробку в реальному часі, а її функція відповідей на запитання про аудіо навчалася англійською.

Результати тестів

У лідерборді English Open ASR від Hugging Face Nemotron 3.5 Transcribe посідає перше місце серед моделей із відкритими вагами із середньою часткою помилок на слово 5,33 відсотка. У порівнянні Artificial Analysis вона набирає 2,81 відсотка, близько до Voxtral Small із 2,77 відсотка, використовуючи приблизно одну шосту активних параметрів. За словами Nvidia, кілька поширених комерційних мовленнєвих сервісів відстають. Вона також випереджає відкриті моделі від Alibaba та IBM.

Найбільша перевага помітна в розпізнаванні мовців. VoiceArena перевірила 14 систем на розмовах, де мовці іноді говорять одночасно, і Transcribe посіла перше місце. Вона пропустила найменше слів: 8,32 відсотка проти медіани близько 31 відсотка. У тесті David AI серед 21 мови модель показала найнижчу частку помилок і фінішувала трохи попереду власної окремої моделі Nvidia.

Набір даних і адаптація

Разом із моделлю Nvidia випускає Granary v2, набір даних із приблизно 844 000 годин мовлення 48 мовами, зрослий із приблизно 643 000 годин 25 мовами. Кожен запис має дослівний і очищений варіанти. Nvidia ділиться інструментами, які використовували для створення набору даних, і каже, що набір даних не повністю відповідає навчальним даним моделі.

На записах індійських лікарів і студентів-медиків точний промпт знизив частку помилок із 30,8 до 23,8 відсотка, а донавчання зменшило її до 11,8 відсотка. Для мовців, яких модель раніше не чула, Nvidia повідомляє про зниження з 22,44 до 12,17 відсотка. Це поставило адаптовану модель попереду відкритої медичної мовленнєвої моделі з показником 13,79 відсотка. Процес тривав приблизно 14 GPU-годин на одному Nvidia GB300. Nvidia зазначає, що спеціалізація трохи підвищила частку помилок на загальному англійському мовленні, і рекомендує щонайменше 100 справжніх перевірених записів для тестування власних версій.

Джерела: The Decoder · TechCrunch · The New Stack