transcribe.cpp: 60'tan fazla model destekleyen ggml tabanlı konuşma tanıma kütüphanesi

Açık kaynaklı dikte uygulaması Handy'nin geliştiricisi, ggml makine öğrenmesi kütüphanesi üzerine kurulu transkripsiyon kütüphanesi transcribe.cpp'yi yayımladı. Proje 0.1.0 sürümüyle çıktı ve yazarına göre güncel transkripsiyon modellerinin tümünü destekliyor. Hugging Face'teki handy-computer organizasyonu altında yayımlanan her model, sayısal olarak doğrulandı ve referans uygulamayla eşleştiği WER testleriyle kontrol edildi.

Neden bir ASR yığını daha

Proje, platformlar arası bir konuşmadan metne uygulamasını dağıtmanın zorluklarından doğdu. Yazarına göre cihaz üzerinde otomatik konuşma tanıma için pratikte yalnızca whisper.cpp ve ONNX var; Apple donanımında ise üçüncü bir yol olarak MLX ekleniyor ve bu, birden fazla motoru desteklemeyi, modelleri her birine taşımayı gerektiriyor. Ona göre ONNX, işlemci üzerinde çalıştığı için performansın büyük bölümünü kullanılmadan bırakıyor. Geniş model desteği vaat eden diğer kütüphanelerin yazarları çoğu zaman bilinmiyor ve testleri belirsiz; bu da uzun vadeli bakım, dil bağlantıları ve kıyaslama ölçümleri konusunda soru işaretleri bırakıyor.

Kütüphane ne sunuyor

transcribe.cpp, 60'tan fazla modeli kapsayan 16 ASR ailesini destekliyor; kalanlar da yakında eklenecek. Hızlandırma Vulkan, Metal, CUDA ve TinyBLAS üzerinden mümkün; desteklenen her model için Ryzen 4750U'da (CPU ve Vulkan, Fedora) ve M4 Max'te kıyaslama ölçümleri yayımlanıyor. Hem akış hem de toplu transkripsiyon destekleniyor. Kütüphane, whisper.cpp'nin neredeyse doğrudan yerine geçebilecek bir çözüm olarak tanımlanıyor: popüler .bin model dosyalarını çalıştırabiliyor ve whisper uygulaması yaklaşık aynı performansı veriyor. Dil bağlantıları Python, JavaScript ve TypeScript, Rust ile Objective-C ve Swift için sürdürülüyor.

Buluta göndermeden yerel konuşma tanıma

Yazarın amacı, yerel olarak çalışan tanımayı kolaylaştırmak. Ucuz bir gömülü yonga olan Rockchip RK3566'nın transcribe.cpp üzerinden modelleri gerçek zamandan hızlı çalıştırabildiğini, güncel modellerle transkripsiyonun birkaç vatla yapılabildiğini belirtiyor; yani sesi bir bulut hizmetine göndermek zorunlu değil. Çalışmayı Mozilla AI'nin BiR programı, ggml, Modal, Blacksmith ve Hugging Face destekledi. Motor yapay zekâ yardımıyla yazıldı, diye ekliyor yazar; ancak duyurunun sözcükleri öyle değil.