Nvidia açıq Nemotron 3.5 Transcribe nitq modelini buraxdı

Nvidia Nemotron 3.5 Transcribe adlı açıq nitq tanıma modelini buraxdı. Bu model mətn təlimatlarına əməl edir və transkripsiya, tərcümə və danışanı tanıma funksiyalarını birləşdirir. Buraxılışa həmçinin Granary v2 verilənlər dəsti və modeli tibb kimi ixtisaslaşmış sahələrə uyğunlaşdırmaq üçün alətlər daxildir.

İmkanlar və səmərəlilik

Nvidia deyir ki, model 40 dili transkripsiya edir, 31 dili ingilis dilinə və ya ingilis dilindən tərcümə edir və 13 dildə danışanları tanıyır. O, bir saatadək uzunluqda və ən çoxu səkkiz danışanlı qeydləri emal edir. Sadə təlimatlar eyni qeydin danışan etiketləri ilə transkriptə, ingilis tərcüməsinə və ya xülasəyə çevrilməsinə imkan verir. Dərman adları kimi texniki terminlər işarə kimi verilə bilər və model onlardan yalnız qeyddə keçərsə istifadə etməlidir. O, həmçinin qeydin məzmunu haqqında suallara cavab verə bilir.

Modelin 30 milyard parametri var, lakin hər addımda təxminən 4 milyardı aktivdir, ona görə tək Nvidia GPU-da işləyir. Nvidia deyir ki, bu, kompakt DGX Spark-dan verilənlər mərkəzi sistemlərinə qədər olan avadanlıqları əhatə edir. O, NVFP4 dəqiqliyində RTX PRO 6000 Blackwell Server Edition üzərində 100 saatlıq səsi üç dəqiqədən az müddətdə emal edir. Model qeydə alınmış səs üçün qurulub, real vaxt emalını dəstəkləmir və onun səs üzrə sual-cavab funksiyası ingilis dilində öyrədilib.

Benchmark nəticələri

Hugging Face English Open ASR Leaderboard-da Nemotron 3.5 Transcribe açıq çəkili modellər arasında orta söz səhv nisbəti 5.33 faizlə birinci yerdədir. Artificial Analysis müqayisəsində o, 2.81 faiz nəticə göstərir, Voxtral Small-ın 2.77 faizinə yaxındır və aktiv parametrlərin təxminən altıda birini istifadə edir. Nvidia-ya görə, bir neçə geniş istifadə olunan kommersiya nitq xidməti geridə qalır. O, həmçinin Alibaba və IBM-in açıq modellərini qabaqlayır.

Onun üstünlüyü danışanı tanıma sahəsində ən böyükdür. VoiceArena 14 sistemi danışanların bəzən bir-birinin üstünə danışdığı söhbətlərdə sınaqdan keçirdi və Transcribe birinci oldu. O, ən az söz itirdi, təxminən 31 faizlik medianla müqayisədə 8.32 faiz söz buraxdı. David AI-nin 21 dildə keçirdiyi benchmark-da o, ən aşağı səhv nisbətini göstərdi və Nvidia-nın öz xüsusi modelindən bir qədər öndə bitdi.

Verilənlər dəsti və uyğunlaşdırma

Model ilə birlikdə Nvidia Granary v2-ni buraxır. Bu verilənlər dəstində 48 dildə təxminən 844,000 saat nitq var; əvvəl 25 dildə təxminən 643,000 saat idi. Hər qeyd söz-söz və təmizlənmiş üslublarda gəlir. Nvidia verilənlər dəstini qurmaq üçün istifadə olunan alətləri paylaşır və deyir ki, verilənlər dəsti modelin təlim məlumatlarına tam uyğun gəlmir.

Hindistanlı həkimlərin və tibb tələbələrinin qeydlərində dəqiq təlimat səhv nisbətini 30.8 faizdən 23.8 faizə endirdi və fine-tuning onu 11.8 faizə saldı. Modelin eşitmədiyi danışanlar üçün Nvidia 22.44 faizdən 12.17 faizə düşdüyünü bildirir. Bu, uyğunlaşdırılmış modeli 13.79 faizlik açıq tibb nitq modelinin önünə keçirdi. Proses tək Nvidia GB300 üzərində təxminən 14 GPU saatı çəkdi. Nvidia qeyd edir ki, ixtisaslaşma ümumi ingilis nitqində səhv nisbətini bir qədər artırdı və xüsusi versiyaları sınaqdan keçirmək üçün ən azı 100 real, yoxlanılmış qeyd tövsiyə edir.

Mənbələr: The Decoder · TechCrunch · The New Stack