Embedding Gemma Transcribe Google-ın EmbeddingGemma 2 cihazında işləyən səs-metnə çevirir

Embedding modelidən transkripsiyaya qədər

Embedding Gemma Transcribe pulsuz Mac proqramıdır ki, Google-ın EmbeddingGemma 2-yə yeni məqsəd verir: multimodal embedding modeli mətni, şəkilləri, audio və videoyu bir ümumi məkanda əks etdirir. Bu məkanda ifadə edilmiş səzlər yazılı ekvivalentlərinə yaxın olduğundan, geliştiricilər transkriptləri əldə etmək üçün səzləri birbaşa oradan oxuyur.

Modelin audio encoder-i çıxışda olduğu qalıb. Kiçik oxuyucu komponent audio-nun hər qısa hissəsini modelin mətn məkânına köçürür, burada təxminən 229 000 ingilis sözünən ən yaxın uyğunluq qazanır, hissələrin ardıcıllığı isə transkriptə çevrilir. Ayrıca kiçik model durğu işarələrini və böyük hərfləri əlavə edir. Yalnız oxuyucu təlim verilib, iki saatdan az vaxtda, 8×H100 GPU-larda, açıq lisenziyalı ingilis dilindən istifadə edilərək. Əsas model heç vaxt səsdən mətnə çevirmək üçün təlim verilməyib.

Apple Silicon-də sürət

Geliştiricilərin testlərinə görə, proqram tamamilə Mac-in Neural Engine-ində işləyir. 8 GB yaddaşı olan əsas M3 MacBook Air-də o, bir saatlıq audio-nu 12,6 saniyədə emal etdi ki, komandanın göstəricisinə görə real vaxtdan 288 dəfə sürətlidir. Eyni test mühitində GPU-da MLX vasitəsilə işləyən IBM Granite Speech 5.0 TurboCTC 25,7 saniyə tələb etdi, təxminən real vaxtdan 150 dəfə sürətli.

Komanda həmçinin müqayisə üçün FluidAudio benchmark-larını nəzərdən keçirir: NVIDIA Parakeet TDT 0.6B v3 M4 Pro-da real vaxtdan 156 dəfə sürətli nəticə əldə etdi, M5 Pro-da isə 335 dəfə, Phonon-2, Parakeet v3-ün təkmilləşdirilmiş versiyası, M5 Pro-da 480 dəfə sürətli nəticə əldə etdi. Geliştiricilər qeyd edirlər ki, bu göstəricilər daha böyük və yeni Mac-lərdə və fərqli audio-da alınıb, ona görə cədvəl kobud orientirdir və bərabər şərtlərdə müqayisə deyil.

Dəqiqlik və əlçatanlıq

Hazırkı səz səhvlərinin göstəricisi təxminən 5%-dir, aparıcı dil modellərinin 2-3%-inə müqayisədə. Komandanın inancına görə, daha yaxşı təlim almış oxuyucu bu fərqi aradan qaldıra bilər və bunu növbəti iterasiyanın əsas tapşırığı hesab edir.

Versiya 1.6 macOS 14 və ya daha yenisini və Apple Silicon-u tələb edir; 715 MB model ilk işə salınanda yüklənir. İstifadəçilər audio faylını ata bilər və ya Right Option düyməsini basa bilər, danışa bilər və işə sala bilər ki, hər hansı proqramda sürətli şəkildə daxil edilsin. Emal Neural Engine-də olduğundan, audio heç vaxt cihazdan çıxır. Proqram Mac üçün pulsuz yükləmə ilə əlçatandır.

Mənbələr: eg2.haku.sh