Microsoft-ը թողարկել է երեք նոր AI մոդել՝ իրական ժամանակում տրանսկրիպցիայի և ձայնի սինթեզի համար

Microsoft-ը հոկտեմբերի 1-ին թողարկել է երեք նոր AI մոդել՝ իրական ժամանակում տրանսկրիպցիայի մոդել MAI-Transcribe-2-Streaming և խոսքի սինթեզի երկու մոդել՝ MAI-Voice-2.1 և MAI-Voice-2.1-Flash։

Սթրիմինգ տրանսկրիպցիա՝ 60 լեզու և ռեկորդային ճշգրտություն

MAI-Transcribe-2-Streaming-ը ընկերության առաջին սթրիմինգ տրանսկրիպցիայի մոդելն է. այն անընդհատ ընդունում է աուդիո հոսքը և տեքստը վերադարձնում է ավելի շուտ, քան խոսողը կավարտի խոսքը։ Մոդելն աշխատում է 60 լեզվով, ինքնաշխատ ճանաչում է դրանք, և Microsoft-ի տվյալներով՝ Artificial Analysis-ի վարկանիշում առաջին տեղում է վերջնական և մասնակի տրանսկրիպտների ճշգրտությամբ։ Սեպտեմբերի 28-ի լիդերբորդի համաձայն՝ վերջնական տեքստի սխալը (WER) 2,5%, առաջին մասնակի արդյունքինը՝ 2,8%, իսկ վերջնական տրանսկրիպտին հասնելու ժամանակը՝ 0,13 վայրկյան։

Առաջին հիպոթեզները (partials) մոդելը վերադարձնում է աուդիոն ստանալուց 100 միլիվայրկյանից մի փոքր ավելի ուշ, իսկ բառերը տրանսկրիպտում մեծ մասամբ հայտնվում են 320 միլիվայրկյանում։ Ընկերության գնահատմամբ՝ թելադրության և ենթագրերի ժամանակ բառերը հայտնվում են մոտակա մրցակցի համեմատ երկու անգամ ավելի արագ։ Ներածական գինը աուդիոյի ժամի համար 0,54 դոլար է և գործում է մինչև տարվա վերջ։

Խոսքի սինթեզի երկու մոդել

MAI-Voice-2.1-ը ընկերության ամենահզոր բազմալեզու խոսքի սինթեզի մոդելն է. այն աշխատում է 23 լեզվով և 26 լոկալով, և մեկ ձայնը բոլորում խոսում է մայրենի առոգանությամբ։ Գինը 1 միլիոն նիշի համար 22 դոլար է։

MAI-Voice-2.1-Flash-ը աշխատում է նույն լեզուներով, սակայն ուժեղացված է բարձր ծանրաբեռնվածության և ցածր դելայով առաջադրանքների համար. այն գեներացնում է մինչև 45 վայրկյան աուդիո, իսկ ընդհանուր դելայը 150 միլիվայրկյան է։ Նմանատիպ մոդելներից 55%-ով ավելի արագ է և մոտ 60%-ով ավելի էժան. գինը 1 միլիոն նիշի համար 15 դոլար է։

Երկուսն էլ կարող են ձայնի կլոնավորում անել մի քանի վայրկյանանոց աուդիոյի հիման վրա՝ ցանկացած աջակցվող լեզվով. ներկառուցված մեխանիզմները սահմանափակում են չարաշահումը։ 4000 ունկնդրի մասնակցությամբ անցկացված Թյուրինգի թեստում հարցվողների 50,3%-ը MAI-Voice-ի ձայնը գնահատել է մարդու ձայնագրությունների մակարդակով կամ ավելի մարդկային։

Ինչ է սա նշանակում շուկայի համար

Ձայնային գործակալի աշխատանքը ցիկլ է հետևում՝ լսել, հասկանալ, որոշում կայացնել և պատասխանել։ Microsoft-ի խոսքով՝ MAI-Transcribe-2-Streaming-ի և MAI-Voice-2.1-Flash-ի զույգը ժամանակ է խնայում այս ցիկլի երկու ծայրերում և գործակալին ավելի շատ տեղ է թողնում դատողության համար։ Ընկերությունն առաջարկում է դրանք կոնտակտ-կենտրոններին, բազմալեզու ասիստենտներին և ուսումնական հավելվածներին։

RuntimeWire-ի վերլուծության համաձայն՝ նոր մոդելը սեպտեմբերին թողարկված ոչ սթրիմինգ MAI-Transcribe-2-ից 5,4 անգամ թանկ է (ժամը 0,10-ից 0,54 դոլար), սակայն դա տարբեր տեսակի ծանրաբեռնվածություն է, և հին գինը ժամանակավոր էր։ Հրատարակությունը նշում է, որ դելայի ցուցանիշները նկարագրում են մոդելի, այլ ոչ ամբողջ համակարգի հնարավորությունները։

Microsoft AI-ի ղեկավար Mustafa Suleyman-ը X-ում գրել է, որ մոդելը ElevenLabs-ից 55%-ով արագ է և 60%-ով էժան։ Երեք մոդելներն էլ հասանելի են Microsoft Foundry-ում, MAI Playground-ում, Vercel-ում և Azure Voice Live-ում, ձայնային մոդելները՝ նաև OpenRouter-ում. LiveKit-ի աջակցությունը շուտով կավելացվի. մոդելների համատեղ աշխատանքը Playground-ում ցույց է տալիս Chatter դեմոն։

Աղբյուրներ՝ TipRanks · Techmeme