Nvidia-მ მეტყველების ამოცანებისთვის ღია Nemotron 3.5 Transcribe გამოუშვა

Nvidia-მ გამოუშვა Nemotron 3.5 Transcribe, ღია მეტყველების ამოცნობის მოდელი, რომელიც ტექსტურ ინსტრუქციებს მიჰყვება და აერთიანებს ტრანსკრიფციას, თარგმანსა და მოსაუბრეთა ამოცნობას. გამოშვებაში ასევეა Granary v2 მონაცემთა ნაკრები და ინსტრუმენტები მოდელის სპეციალიზებულ დარგებზე, მაგალითად მედიცინაზე, მოსარგებად.

შესაძლებლობები და ეფექტურობა

Nvidia-ს თქმით, მოდელი 40 ენაზე ტრანსკრიბირებს, 31 ენაზე თარგმნის ინგლისურიდან ან ინგლისურზე, 13 ენაზე კი მოსაუბრეებს ამოიცნობს. ის ერთ საათამდე ჩანაწერებს რვამდე მოსაუბრით ამუშავებს. მარტივი ინსტრუქციებით იგივე ჩანაწერი შეიძლება გახდეს ტრანსკრიპტი მოსაუბრეთა ნიშნებით, ინგლისური თარგმანი ან შეჯამება. წამლების სახელების მსგავსი ტექნიკური ტერმინები მინიშნებებად გადაეცემა და მოდელი მათ მხოლოდ მაშინ იყენებს, თუ ჩანაწერში გვხვდება. მას ასევე შეუძლია ჩანაწერის შიგთავსზე დასმულ კითხვებზე პასუხის გაცემა.

მოდელს 30 მილიარდი პარამეტრი აქვს, მაგრამ ყოველ საფეხურზე მხოლოდ დაახლოებით 4 მილიარდია აქტიური, ამიტომ ერთ Nvidia GPU-ზე მუშაობს. Nvidia-ს თქმით, ეს მოიცავს აპარატურას კომპაქტური DGX Spark-იდან მონაცემთა ცენტრის სისტემებამდე. RTX PRO 6000 Blackwell Server Edition-ზე NVFP4 სიზუსტით 100 საათის აუდიოს სამ წუთზე ნაკლებ დროში ამუშავებს. ის ჩაწერილი აუდიოსთვისაა, რეალურ დროში დამუშავებას არ უჭერს მხარს, ხოლო აუდიოზე კითხვა-პასუხის ფუნქცია ინგლისურადაა გაწვრთნილი.

ბენჩმარკების შედეგები

Hugging Face-ის English Open ASR Leaderboard-ზე Nemotron 3.5 Transcribe ღია წონების მოდელებს შორის პირველია, სიტყვების საშუალო შეცდომის მაჩვენებლით 5,33%. Artificial Analysis-ის შედარებაში მისი მაჩვენებელი 2,81%-ია, Voxtral Small-ის 2,77%-თან ახლოს, თანაც აქტიური პარამეტრების დაახლოებით მეექვსედს იყენებს. Nvidia-ს მიხედვით, რამდენიმე პოპულარული კომერციული მეტყველების სერვისი უკან რჩება. ის ოდნავ უსწრებს Alibaba-სა და IBM-ის ღია მოდელებს.

უპირატესობა ყველაზე დიდი მოსაუბრეთა ამოცნობაშია. VoiceArena-მ 14 სისტემა გამოსცადა საუბრებზე, სადაც მოსაუბრეები ზოგჯერ ერთმანეთის თავზე ლაპარაკობენ; Transcribe-მა პირველი ადგილი დაიკავა. მან ყველაზე ნაკლები სიტყვა დაკარგა: გამოტოვება 8,32% იყო, მედიანა კი დაახლოებით 31%. David AI-ის ბენჩმარკზე 21 ენაზე ყველაზე დაბალი შეცდომა დააფიქსირა და Nvidia-ს საკუთარ სპეციალიზებულ მოდელს ოდნავ გაუსწრო.

მონაცემთა ნაკრები და ადაპტაცია

მოდელთან ერთად Nvidia აქვეყნებს Granary v2-ს, დაახლოებით 844 000 საათიან მეტყველებას 48 ენაზე; ადრე ნაკრები დაახლოებით 643 000 საათს და 25 ენას მოიცავდა. ყოველი ჩანაწერი სიტყვასიტყვითი და გასუფთავებული სახითაა. Nvidia აზიარებს ნაკრების შესაქმნელ ინსტრუმენტებს და ამბობს, რომ ნაკრები მოდელის სასწავლო მონაცემებს სრულად არ ემთხვევა.

ინდოელი ექიმებისა და სამედიცინო სტუდენტების ჩანაწერებზე ზუსტმა მითითებამ შეცდომის მაჩვენებელი 30,8%-დან 23,8%-მდე შეამცირა, დამატებითმა გაწვრთნამ კი 11,8%-მდე დაიყვანა. მოსაუბრეებზე, რომელთა ხმაც მოდელს არ გაუგია, Nvidia 22,44%-დან 12,17%-მდე შემცირებას იტყობინება. ამან ადაპტირებული მოდელი 13,79%-იან ღია სამედიცინო მეტყველების მოდელს გაუსწრო. პროცესს ერთ Nvidia GB300-ზე დაახლოებით 14 GPU საათი დასჭირდა. Nvidia აღნიშნავს, რომ სპეციალიზაციამ ზოგად ინგლისურ მეტყველებაზე შეცდომის მაჩვენებელი ოდნავ გაზარდა და მორგებული ვერსიების ტესტირებისთვის მინიმუმ 100 რეალური, გადამოწმებული ჩანაწერის გამოყენებას რეკომენდაციას აძლევს.

წყაროები: The Decoder · TechCrunch · The New Stack