Alibaba-ն թողարկել է Qwen Audio 3.1-ը՝ հինգ նոր մոդել և API-ի գների մինչև 95% նվազում

Alibaba-ի Qwen թիմը թողարկել է Qwen Audio 3.1-ը՝ հինգ մոդելների ընտանիք, որը ներառում է խոսքի ճանաչում (ASR), տեքստի վերածում ձայնի (TTS) և իրական ժամանակում ձայնային փոխազդեցություն։ Թողարկման հետ մեկտեղ ընկերությունը կտրուկ իջեցրել է ձայնային API-ների գները՝ TTS-ը՝ մոտ 70%-ով, realtime մոդելը՝ 85%-ով, իսկ խոսքի ճանաչումը՝ մինչև 95%։

Ինչ են անում հինգ մոդելները

Խոսքի ճանաչման հիմնական մոդելը բարելավում է բազմալեզու և բարբառային ճանաչումը և ինքնաշխատ մաքրում լցոնիչ բառերն ու կրկնությունները. դա կարևոր է հարցազրույցների, զանգերի ու հանդիպումների ձայնագրությունների արտագրության համար՝ առանց ծանր հետամշակման։ ASR-Next-ը ավելացնում է մի քանի խոսողների նույնականացում՝ ժամանակային նշումներով, ինչպես նաև ճանաչում է հույզեր, ֆոնային ձայներ և տեխնիկայի աղմուկ։

Սինթեզի մասում TTS մոդելը բազմալեզու ձայն է արտադրում, ինչը Qwen-ը կոչում է բնական ձայնի փոխանցում լեզուների միջև։ Հույզը, արագությունն ու ոճը կառավարվում են պարզ տեքստային հուշումներով, օրինակ՝ «Կարդա սա սուր, հրամայական տոնով, որը հարգանք է պահանջում»։ TTS-Next-ը լեզվական մոդելը միավորում է դիֆուզիոն մոտեցման հետ և մեկ անցումով ստեղծում ձայն, ձայնային էֆեկտներ և ֆոնային աուդիո։

Հինգերորդ մոդելը կենտրոնացած է իրական ժամանակում փոխազդեցության վրա. այն միաժամանակ լսում և խոսում է ու թույլ է տալիս անմիջապես ընդհատել։ Ըստ Qwen-ի՝ ընկճված տրամադրություն ճանաչելիս այն ավելի դանդաղ և ավելի կարեկցանքով է պատասխանում։

Գների իջեցում մինչև 95%

Գների իջեցումը հայտարարության ամենաաղմկոտ մասն է։ Խոսքի ճանաչումը, որը ձայնային ապրանքներում սովորաբար ամենածավալուն բեռն է, էժանացել է մինչև 95%-ով. realtime մոդելը՝ մոտ 85%-ով, իսկ տեքստի ձայնի վերածումը՝ 70%-ով։ Խոշոր արտագրություններ կամ ձայնային գործակալներ աշխատեցնող թիմերի համար սա փոխում է մշտապես աշխատող աուդիո գործընթացների տնտեսությունը։

Qwen-ը տեխնիկական մանրամասները հրապարակել է իր բլոգում, իսկ մոդելները հասանելի են Qwen Cloud-ում Qwen Audio 3.1 անվան տակ։

Ինչու է դա կարևոր

Ձայնային ինտերֆեյսները դարձել են AI-ի շերտի ամենամրցակցային մասերից մեկը, և մատակարարները մրցում են ոչ պակաս գնով, քան որակով։ Նման ծավալի իջեցումը ճանաչման և realtime API-ներում բարձրացնում է նշաձողը մյուսների համար և մշտապես միացված ձայնային գործառույթները՝ զանգերի կենտրոնները, օգնականները, մատչելիության գործիքները, դարձնում է ավելի էժան շահագործելու համար։