Embedding Gemma Transcribe Google-ის EmbeddingGemma 2-ს მოწყობილობაზე მომუშავე ტრანსკრიბირების მოდელად აქცევს

Embedding მოდელიდან ტრანსკრიბირებამდე

Embedding Gemma Transcribe უფასო Mac-აპლიკაციაა, რომელიც Google-ის EmbeddingGemma 2-ს ახალ დანიშნულებას აძლევს: მულტიმოდალური embedding მოდელი ტექსტს, სურათებს, აუდიოსა და ვიდეოს ერთ საერთო სივრცეში ასახავს. ვინაიდან ამ სივრცეში ნათქვამი სიტყვები წერილობით შესატყვისებთან ახლოს ხვდებიან, დეველოპერები ტრანსკრიპტების მისაღებად სიტყვებს პირდაპირ იქიდან კითხულობენ.

მოდელის აუდიო ენკოდერი ზუსტად ისეა დატოვებული, როგორც გამოვიდა. პატარა წამკითხავი კომპონენტი აუდიოს ყოველ მოკლე ნაწილს მოდელის ტექსტურ სივრცეში გადაიტანს, სადაც დაახლოებით 229 000 ინგლისური სიტყვიდან ყველაზე ახლო დამთხვევა იმარჯვებს, ნაწილების თანმიმდევრობა კი ტრანსკრიპტად იქცევა. ცალკე პატარა მოდელი პუნქტუაციასა და დიდი ასოებს ამატებს. მხოლოდ წამკითხავი გაწვრთნეს, ორ საათზე ნაკლებ დროში, 8×H100 GPU-ებზე, ღიად ლიცენზირებული ინგლისური მეტყველების გამოყენებით. თავად საბაზისო მოდელი მეტყველებიდან ტექსტად გადაქცევისთვის არასდროს გაწვრთნილა.

სიჩქარე Apple Silicon-ზე

დეველოპერების ტესტების მიხედვით, აპი მთლიანად Mac-ის Neural Engine-ზე მუშაობს. 8 GB მეხსიერების მქონე საბაზისო M3 MacBook Air-ზე მან ერთი საათის აუდიო 12,6 წამში დაამუშავა, რაც გუნდის მითითებით რეალურ დროზე 288-ჯერ სწრაფია. იმავე სატესტო გარემოში IBM Granite Speech 5.0 TurboCTC-ს, რომელიც MLX-ის მეშვეობით GPU-ზე მუშაობს, 25,7 წამი დასჭირდა, დაახლოებით რეალურ დროზე 150-ჯერ სწრაფი.

გუნდი ასევე შედარებისთვის გამოქვეყნებულ FluidAudio ბენჩმარკებს იშველიებს: NVIDIA Parakeet TDT 0.6B v3-მა M4 Pro-ზე რეალურ დროზე 156-ჯერ სწრაფ შედეგს მიაღწია, M5 Pro-ზე კი 335-ჯერ, ხოლო Phonon-2-მა, Parakeet v3-ის დახვეწილმა ვერსიამ, M5 Pro-ზე 480-ჯერ სწრაფ შედეგს მიაღწია. დეველოპერები აღნიშნავენ, რომ ეს მაჩვენებლები უფრო დიდ და ახალ Mac-ებზე და განსხვავებულ აუდიოზეა მიღებული, ამიტომ ცხრილი უხეში ორიენტირია და არა თანაბარ პირობებში შედარება.

სიზუსტე და ხელმისაწვდომობა

ამჟამინდელი სიტყვების შეცდომების მაჩვენებელი დაახლოებით 5%-ია, წამყვანი მეტყველების მოდელების 2-3%-თან შედარებით. გუნდის რწმენით, უკეთ გაწვრთნილ წამკითხავს შეუძლია ამ სხვაობის აღმოფხვრა და ამას მომდევნო იტერაციის მთავარ ამოცანად მიიჩნევს.

ვერსია 1.6 მოითხოვს macOS 14-ს ან უფრო ახალს და Apple Silicon-ს; 715 MB-იანი მოდელი პირველ გაშვებაზე ჩამოიტვირთება. მომხმარებლებს შეუძლიათ აუდიო ფაილი ჩააგდონ ან Right Option-ის ღილაკი დაიჭირონ, ისაუბრონ და გაუშვან, რათა ნებისმიერ აპში კარნახით შეიყვანონ. ვინაიდან დამუშავება Neural Engine-ზე ხდება, აუდიო მოწყობილობას არასოდეს ტოვებს. აპი Mac-ისთვის უფასო ჩამოტვირთვით არის ხელმისაწვდომი.

წყაროები: eg2.haku.sh