Nvidia-ն թողարկել է բաց Nemotron 3.5 Transcribe խոսքային խնդիրների համար

Nvidia-ն թողարկել է Nemotron 3.5 Transcribe բաց խոսքի ճանաչման մոդելը, որը հետևում է տեքստային հրահանգներին և միավորում է տառադարձումը, թարգմանությունը և խոսողի ճանաչումը։ Թողարկման մեջ են նաև Granary v2 տվյալների հավաքածուն և մասնագիտացված ոլորտներին հարմարեցնելու գործիքները։

Կարողություններ և արդյունավետություն

Nvidia-ի խոսքով՝ մոդելը տառադարձում է 40 լեզու, 31 լեզու թարգմանում է անգլերենից կամ դեպի անգլերեն և ճանաչում է խոսողներին 13 լեզվով։ Այն մշակում է մինչև մեկ ժամ ձայնագրություններ՝ մինչև ութ խոսողով։ Պարզ հրահանգներով նույն ձայնագրությունը կարող է դառնալ խոսողների պիտակներով տառադարձություն, անգլերեն թարգմանություն կամ ամփոփում։ Դեղանունների նման տերմինները կարելի է տալ որպես հուշումներ; մոդելը պետք է դրանք օգտագործի միայն հայտնվելիս։ Այն կարող է նաև պատասխանել ձայնագրության բովանդակության մասին հարցերին։

Մոդելը ունի 30 միլիարդ պարամետր, սակայն յուրաքանչյուր քայլում ակտիվ է մոտ 4 միլիարդը, ուստի այն աշխատում է մեկ Nvidia GPU-ով։ Nvidia-ն ասում է, որ դա ներառում է սարքավորումներ՝ կոմպակտ DGX Spark-ից մինչև տվյալների կենտրոնի համակարգեր։ Այն մշակում է 100 ժամ աուդիո երեք րոպեից պակաս ժամանակում RTX PRO 6000 Blackwell Server Edition-ում NVFP4 ճշտությամբ։ Այն ստեղծված է ձայնագրված աուդիոյի համար, չի աջակցում իրական ժամանակի մշակմանը, և դրա աուդիո հարցուպատասխանը վերապատրաստվել է անգլերենով։

Բենչմարկի արդյունքներ

Hugging Face-ի English Open ASR Leaderboard-ում Nemotron 3.5 Transcribe-ը բաց կշիռներով մոդելների շարքում զբաղեցնում է առաջին տեղը՝ միջին 5.33 տոկոս բառային սխալի մակարդակով։ Artificial Analysis-ի համեմատության մեջ այն ստանում է 2.81 տոկոս, մոտ Voxtral Small-ի 2.77 տոկոսին, մինչդեռ օգտագործում է ակտիվ պարամետրերի մոտ մեկ վեցերորդը։ Nvidia-ի խոսքով՝ մի շարք լայնորեն օգտագործվող առևտրային խոսքային ծառայություններ հետ են մնում։ Այն նաև առաջ է անցնում Alibaba-ի և IBM-ի բաց մոդելներից։

Խոսողի ճանաչման ոլորտում առավելությունը ամենամեծն է։ VoiceArena-ն փորձարկել է 14 համակարգ զրույցների վրա, որտեղ խոսողները երբեմն խոսում են միմյանց վրա, և Transcribe-ը գրավել է առաջին տեղը։ Այն բաց է թողել ամենաքիչ բառերը՝ 8.32 տոկոս, միջինում մոտ 31 տոկոսի դիմաց։ David AI-ի բենչմարկում՝ 21 լեզվով, այն գրանցել է ամենացածր սխալի մակարդակը և ավարտել է հենց Nvidia-ի սեփական մասնագիտացված մոդելից առաջ։

Տվյալների հավաքածու և հարմարեցում

Մոդելի հետ միասին Nvidia-ն թողարկում է Granary v2-ը՝ մոտ 844,000 ժամ խոսք 48 լեզվով պարունակող տվյալների հավաքածու, մոտ 643,000 ժամ 25 լեզվով նախորդ տարբերակից բարձրանալուց հետո։ Յուրաքանչյուր ձայնագրություն գալիս է բառացի և մաքրված ոճերով։ Nvidia-ն կիսում է տվյալների հավաքածուն կառուցելու գործիքները և ասում, որ տվյալների հավաքածուն ամբողջությամբ չի համընկնում մոդելի վերապատրաստման տվյալների հետ։

Հնդիկ բժիշկների և բժշկական ուսանողների ձայնագրությունների վրա ճշգրիտ հրահանգը սխալի մակարդակը 30.8-ից իջեցրել է 23.8 տոկոս, իսկ նուրբ վերապատրաստումը նվազեցրել է այն մինչև 11.8 տոկոս։ Մոդելի կողմից չլսված խոսողների համար Nvidia-ն հայտնում է 22.44-ից 12.17 տոկոսի անկում։ Դա հարմարեցված մոդելը դրել է առաջ՝ բաց բժշկական խոսքային մոդելի 13.79 տոկոսի դիմաց։ Գործընթացը տևել է մոտ 14 GPU ժամ մեկ Nvidia GB300-ով։ Nvidia-ն նշում է, որ մասնագիտացումը մի փոքր բարձրացրել է սխալի մակարդակը ընդհանուր անգլերեն խոսքի վրա և խորհուրդ է տալիս առնվազն 100 իրական, ստուգված ձայնագրություն՝ հարմարեցված տարբերակները փորձարկելու համար։

Աղբյուրներ: The Decoder · TechCrunch · The New Stack