Nvidia açık Nemotron 3.5 Transcribe konuşma modelini yayımladı

Nvidia, metin talimatlarını izleyen ve transkripsiyon, çeviri ve konuşmacı tanımayı bir araya getiren açık bir konuşma tanıma modeli olan Nemotron 3.5 Transcribe'ı yayımladı. Yayın, Granary v2 veri kümesini ve modeli tıp gibi uzmanlık alanlarına uyarlamaya yönelik araçları da içeriyor.

Yetenekler ve verimlilik

Nvidia'ya göre model 40 dili yazıya döker, 31 dili İngilizceye veya İngilizceden çevirir ve 13 dilde konuşmacıları tanımlar. Bir saate kadar süren ve en fazla sekiz konuşmacılı kayıtları işler. Basit talimatlar sayesinde aynı kayıt; konuşmacı etiketli bir transkript, İngilizce çeviri veya özet haline gelebilir. İlaç adları gibi teknik terimler ipucu olarak verilebilir ve modelin bunları yalnızca geçtiklerinde kullanması beklenir. Ayrıca bir kaydın içeriği hakkında soruları da yanıtlayabilir.

Model 30 milyar parametreye sahip, ancak her adımda yalnızca yaklaşık 4 milyar parametre etkin olduğundan tek bir Nvidia GPU üzerinde çalışır. Nvidia, bunun kompakt DGX Spark'tan veri merkezi sistemlerine kadar donanımı kapsadığını söylüyor. NVFP4 hassasiyetinde, RTX PRO 6000 Blackwell Server Edition üzerinde 100 saatlik sesi üç dakikadan kısa sürede işler. Kaydedilmiş ses için tasarlanmıştır, gerçek zamanlı işlemeyi desteklemez ve sesli soru yanıtlama özelliği İngilizce olarak eğitilmiştir.

Karşılaştırma sonuçları

Hugging Face'in English Open ASR Leaderboard'unda Nemotron 3.5 Transcribe, ortalama yüzde 5,33 sözcük hata oranıyla açık ağırlıklı modeller arasında birinci sırada yer alıyor. Artificial Analysis karşılaştırmasında yüzde 2,81 puan alıyor; etkin parametrelerin yaklaşık altıda birini kullanırken Voxtral Small'ın yüzde 2,77'sine yakın. Nvidia'ya göre yaygın olarak kullanılan birkaç ticari konuşma hizmeti geride kalıyor. Ayrıca Alibaba ve IBM'in açık modellerini de az farkla geride bırakıyor.

En büyük farkı konuşmacı tanıma alanında yaratıyor. VoiceArena, konuşmacıların bazen birbirinin üzerine konuştuğu konuşmalar üzerinde 14 sistemi test etti ve Transcribe birinci oldu. En az sözcüğü düşürdü; medyan yaklaşık yüzde 31 iken yüzde 8,32 kaçırdı. David AI'nın 21 dildeki kıyaslama testinde en düşük hata oranını elde etti ve Nvidia'nın kendi özel modelini az farkla geride bıraktı.

Veri kümesi ve uyarlama

Modelin yanında Nvidia, 48 dilde yaklaşık 844.000 saatlik konuşma içeren Granary v2 veri kümesini yayımlıyor; bu sayı 25 dilde yaklaşık 643.000 saatten yükseldi. Her kayıt birebir ve temizlenmiş stillerde sunuluyor. Nvidia, veri kümesini oluşturmak için kullanılan araçları paylaşıyor ve veri kümesinin modelin eğitim verisiyle tam olarak eşleşmediğini söylüyor.

Hintli doktorlar ve tıp öğrencilerinin kayıtlarında hassas bir istem hata oranını yüzde 30,8'den yüzde 23,8'e indirdi ve ince ayar bunu yüzde 11,8'e düşürdü. Modelin daha önce duymadığı konuşmacılar için Nvidia, yüzde 22,44'ten yüzde 12,17'ye düşüş bildiriyor. Bu, uyarlanmış modeli yüzde 13,79 hata oranındaki açık bir tıbbi konuşma modelinin önüne geçirdi. Süreç tek bir Nvidia GB300 üzerinde yaklaşık 14 GPU saati sürdü. Nvidia, uzmanlaşmanın genel İngilizce konuşmada hata oranını biraz yükselttiğini belirtiyor ve özel sürümleri test etmek için en az 100 gerçek, doğrulanmış kayıt öneriyor.

Kaynaklar: The Decoder · TechCrunch · The New Stack