transcribe.cpp: 60-dan çox modeli dəstəkləyən ggml əsaslı nitq tanıma kitabxanası

Açıq mənbəli diktə tətbiqi Handy-nin müəllifi ggml maşın öyrənməsi kitabxanası üzərində qurulmuş transkripsiya kitabxanası transcribe.cpp-ni yayımlayıb. Layihə 0.1.0 versiyası ilə çıxıb və müəllifin sözlərinə görə nitq tanımanın bütün müasir modellərini dəstəkləyir. Hugging Face-də handy-computer təşkilatı altında yayımlanan hər model rəqəmsal olaraq yoxlanılıb və istinad tətbiqi ilə uyğunluğu WER testləri ilə təsdiqlənib.

Niyə daha bir ASR yığını

Layihə platformalar arası nitqdən mətnə tətbiqinin yayılmasındakı çətinliklərdən doğub. Müəllifə görə, cihaz üzərində avtomatik nitq tanıma üçün praktikada yalnız whisper.cpp və ONNX var; Apple avadanlığında isə üçüncü yol kimi MLX əlavə olunur və bu, bir neçə mühərriki dəstəkləməyi, modelləri onların hər birinə köçürməyi tələb edir. Onun qeydinə görə, ONNX prosessorda işlədiyi üçün məhsuldarlığın böyük hissəsini istifadəsiz qoyur. Geniş model dəstəyi vəd edən digər kitabxanaların müəllifləri çox vaxt bilinmir və testləri aydın deyil; bu da uzunmüddətli dəstək, dil bağlantıları və ölçmələr barədə suallar doğurur.

Kitabxana nə təklif edir

transcribe.cpp 60-dan çox modeli əhatə edən 16 ASR ailəsini dəstəkləyir, qalanları da tezliklə əlavə olunacaq. Sürətləndirmə Vulkan, Metal, CUDA və TinyBLAS vasitəsilə mümkündür və dəstəklənən hər model üçün Ryzen 4750U-da (CPU və Vulkan, Fedora) və M4 Max-də ölçmələr yayımlanır. Həm axın, həm də toplu transkripsiya dəstəklənir. Kitabxana whisper.cpp-nin demək olar ki, birbaşa əvəzedicisi kimi təsvir olunur: məşhur .bin model fayllarını işlədə bilir və whisper tətbiqi təxminən eyni məhsuldarlıq göstərir. Dil bağlantıları Python, JavaScript və TypeScript, Rust, həmçinin Objective-C və Swift üçün saxlanılır.

Buluda göndərmədən yerli nitq tanıma

Müəllifin məqsədi yerli işləyən tanımanı asanlaşdırmaqdır. O qeyd edir ki, ucuz daxili Rockchip RK3566 çipi transcribe.cpp vasitəsilə modelləri real vaxtdan sürətli işlədə bilir, müasir modellərlə transkripsiya isə cəmi bir neçə vatt sərf edir, yəni səsi bulud xidmətinə göndərmək məcburi deyil. İşi Mozilla AI-nin BiR proqramı, ggml, Modal, Blacksmith və Hugging Face dəstəkləyib. Mühərrik süni intellektin köməyi ilə yazılıb, deyə müəllif əlavə edir, amma elanın sözləri yox.