Microsoft-მა რეალურ დროში ტრანსკრიფციისა და ხმის სინთეზისთვის სამი ახალი AI მოდელი გამოუშვა

Microsoft-მა 1 ოქტომბერს სამი ახალი AI მოდელი გამოუშვა: რეალურ დროში ტრანსკრიფციის მოდელი MAI-Transcribe-2-Streaming და მეტყველების სინთეზის ორი მოდელი, MAI-Voice-2.1 და MAI-Voice-2.1-Flash.

სტრიმინგ ტრანსკრიფცია: 60 ენა და რეკორდული სიზუსტე

MAI-Transcribe-2-Streaming კომპანიის პირველი სტრიმინგ ტრანსკრიფციის მოდელია: ის აუდიოს ნაკადს უწყვეტად იღებს და ტექსტს იმაზე ადრე აბრუნებს, სანამ მოსაუბრე საუბარს დაასრულებს. მოდელი 60 ენას მუშაობს, მათ ავტომატურად ამოიცნობს და Microsoft-ის ცნობით, Artificial Analysis-ის რეიტინგში პირველ ადგილზეა საბოლოო და ნაწილობრივი ტრანსკრიპტების სიზუსტით. 28 სექტემბრის ლიდერბორდის მიხედვით, საბოლოო ტექსტის ცდომილება (WER) 2,5%, პირველი ნაწილობრივი შედეგისა 2,8%, საბოლოო ტრანსკრიპტამდე დრო კი 0,13 წამია.

პირველ ჰიპოთეზებს (partials) მოდელი აუდიოს მიღებიდან 100 მილიწამზე ოდნავ მეტხანს აბრუნებს, სიტყვები კი ტრანსკრიპტში უმეტეს შემთხვევაში 320 მილიწამში ჩნდება. კომპანიის შეფასებით, კარნახისა და სუბტიტრების დროს სიტყვები უახლოეს კონკურენტთან შედარებით ორჯერ უფრო სწრაფად ჩნდება. შესავალი ფასი აუდიოს საათში 0,54 დოლარია და წლის ბოლომდე მოქმედებს.

მეტყველების სინთეზის ორი მოდელი

MAI-Voice-2.1 კომპანიის ყველაზე ძლიერი მრავალენოვანი მეტყველების სინთეზის მოდელია: ის 23 ენასა და 26 ლოკალს მუშაობს, ერთი ხმა კი ყველა მათგანზე მშობლიური აქცენტით საუბრობს. ფასი 1 მილიონ სიმბოლოზე 22 დოლარია.

MAI-Voice-2.1-Flash იმავე ენებს მუშაობს, თუმცა მაღალი დატვირთვისა და დაბალი დაყოვნების ამოცანებისთვისაა გაძლიერებული: 45 წამამდე აუდიოს აგენერირებს, საერთო დაყოვნება კი 150 მილიწამია. მსგავს მოდელებზე 55%-ით უფრო სწრაფი და დაახლოებით 60%-ით იაფია; ფასი 1 მილიონ სიმბოლოზე 15 დოლარია.

ორივეს ხმის კლონირება რამდენიმე წამიანი აუდიოს მიხედვით, ნებისმიერ მხარდაჭერილ ენაზე შეუძლია; ჩაშენებული მექანიზმები ბოროტად გამოყენებას ზღუდავს. 4000 მსმენელის მონაწილეობით ჩატარებულ ტიურინგის ტესტში რესპონდენტების 50,3%-მა MAI-Voice-ის ხმა ადამიანის ჩანაწერების დონეზე ან უფრო ადამიანურად შეაფასა.

რას ნიშნავს ეს ბაზრისთვის

ხმოვანი აგენტის მუშაობა ციკლს მიჰყვება: მოსმენა, გაგება, გადაწყვეტილების მიღება და პასუხი. Microsoft-ის თქმით, MAI-Transcribe-2-Streaming-ისა და MAI-Voice-2.1-Flash-ის წყვილი ამ ციკლის ორივე ბოლოში დროს ზოგავს და აგენტს მსჯელობისთვის მეტ სივრცეს ტოვებს. კომპანია მათ კონტაქტ-ცენტრებს, მრავალენოვან ასისტენტებსა და სასწავლო აპლიკაციებს სთავაზობს.

RuntimeWire-ის ანალიზით, ახალი მოდელი სექტემბერში გამოსულ არასტრიმინგულ MAI-Transcribe-2-ზე 5,4-ჯერ ძვირია (საათში 0,10-დან 0,54 დოლარამდე), თუმცა ეს სხვადასხვა ტიპის დატვირთვაა და ძველი ფასი დროებითი იყო. გამოცემა აღნიშნავს, რომ დაყოვნების მაჩვენებლები მოდელის, და არა მთლიანი სისტემის, შესაძლებლობებს აღწერს.

Microsoft AI-ის ხელმძღვანელმა მუსტაფა სულეიმანმა X-ზე დაწერა, რომ მოდელი ElevenLabs-ზე 55%-ით სწრაფი და 60%-ით იაფია. სამივე მოდელი ხელმისაწვდომია Microsoft Foundry-ზე, MAI Playground-ზე, Vercel-სა და Azure Voice Live-ზე, ხმის მოდელები OpenRouter-ზეც; LiveKit-ის მხარდაჭერა მალე დაემატება; მოდელების ერთად მუშაობას Playground-ში დემო Chatter აჩვენებს.

წყაროები: TipRanks · Techmeme