Embedding Gemma Transcribe, Google'ın EmbeddingGemma 2'sini cihaz içi konuşmayı metne dönüştürüyor

Embedding modelinden transkripsiyona

Embedding Gemma Transcribe ücretsiz bir Mac uygulamasıdır ve Google'ın EmbeddingGemma 2'sine yeni bir işlev kazandırır: çok modlu embedding modeli, metni, görüntüleri, sesi ve videoyu tek bir ortak uzayda gösterir. Bu uzayda sözcükler yazılı ifadelere benzer düzeyde yakın olduğundan, geliştiriciler transkript almak için sözcükleri doğrudan oradan okuyabilir.

Modelin ses kodlayıcısı çıktığı gibi bırakılmıştır. Küçük bir okuyucu bileşeni, sesin her kısa parçasını modelin metin uzayına taşır; burada yaklaşık 229 000 İngilizce sözcükten en yakın eşleşme kazanır ve parçaların sırası bir transkripte dönüşür. Ayrı bir küçük model noktalama işaretlerini ve büyük harfleri ekler. Yalnızca okuyucu, 8×H100 GPU'larında, açık lisanslı İngilizce konuşma kullanılarak iki saatten kısa bir sürede eğitilmiştir. Temel model asla konuşmayı metne çevirmek için eğitilmemiştir.

Apple Silicon'da hız

Geliştiricilerin testlerine göre, uygulama tamamen Mac'in Neural Engine'i üzerinde çalışıyor. 8 GB belleğe sahip temel M3 MacBook Air'de, uygulama bir saatlik sesi 12,6 saniyede işledi; ekip bunun gerçek zamanlıdan 288 kat daha hızlı olduğunu belirtiyor. Aynı test ortamında, MLX aracılığıyla GPU üzerinde çalışan IBM Granite Speech 5.0 TurboCTC 25,7 saniye sürdü ve yaklaşık gerçek zamanlıdan 150 kat daha hızlıydı.

Ekip karşılaştırma için yayınlanan FluidAudio kıyaslamalarına da başvuruyor: NVIDIA Parakeet TDT 0.6B v3, M4 Pro'da gerçek zamanlıdan 156 kat daha hızlı sonuca ulaştı; M5 Pro'da ise 335 kat; Parakeet v3'ün iyileştirilmiş sürümü olan Phonon-2, M5 Pro'da 480 kat daha hızlı bir sonuca ulaştı. Geliştiriciler, bu değerlerin daha büyük ve daha yeni Mac'lerde ve farklı seslerde elde edildiğini belirtiyor; bu yüzden tablo kabaca yönlendirici olup eşit koşullarda bir karşılaştırma değildir.

Doğruluk ve erişilebilirlik

Mevcut sözcük hata oranı yaklaşık %5'tir; lider konuşma modellerinin %2-3 oranıyla karşılaştırıldığında. Ekibin göre, daha iyi eğitilmiş bir okuyucu bu farkı kapatabilir ve bunu bir sonraki iterasyonun temel görevi olarak görür.

Sürüm 1.6; macOS 14 veya daha yenisini ve Apple Silicon gerektirir; 715 MB boyutundaki model ilk açılışta indirilir. Kullanıcılar ses dosyası sürükleyip bırakabilir veya Right Option tuşunu basılı tutup konuşup bırakabilir; böylece herhangi bir uygulamada dikte edebilirler. İşleme Neural Engine üzerinde gerçekleştiği için ses asla cihazdan ayrılmaz. Uygulama Mac için ücretsiz indirilebilir.

Kaynaklar: eg2.haku.sh