transcribe.cpp: ספריית תמלול מבוססת ggml עם יותר מ-60 מודלים

מפתח Handy, אפליקציית הכתבה בקוד פתוח, פרסם את transcribe.cpp — ספריית תמלול הבנויה על ספריית למידת המכונה ggml. הפרויקט יוצא בגרסה 0.1.0, ולפי המחבר הוא תומך בכל מודלי התמלול העכשוויים. כל מודל שמפורסם בארגון handy-computer ב-Hugging Face עבר אימות נומרי ובדיקות WER כדי להתאים למימוש הייחוס.

למה עוד מחסנית ASR

הפרויקט צמח מן הקשיים שבהפצת אפליקציית דיבור-לטקסט חוצת פלטפורמות. לדברי המחבר, האפשרויות המעשיות לזיהוי דיבור על המכשיר הן whisper.cpp ו-ONNX, ובחומרת אפל מצטרפת דרך שלישית — MLX, מה שמאלץ לתמוך בכמה מנועים ולהמיר מודלים לכל אחד מהם. ONNX, הוא מציין, משאיר חלק ניכר מהביצועים ללא ניצול משום שהוא פועל על המעבד. ספריות אחרות שמצהירות על תמיכה רחבה במודלים מגיעות לעיתים קרובות ממחברים לא ידועים וללא בדיקות ברורות, מה שמעורר שאלות לגבי תחזוקה ארוכת טווח, קישורי שפה ובנצ'מרקים.

מה מציעה הספרייה

transcribe.cpp תומכת ב-16 משפחות ASR — יותר מ-60 מודלים — ועוד מתוכננים להתווסף. האצה זמינה באמצעות Vulkan, Metal, CUDA ו-TinyBLAS, ולכל מודל נתמך מפורסמים מדדי בנצ'מרק על Ryzen 4750U (מעבד ו-Vulkan, Fedora) וגם על M4 Max. נתמכים גם תמלול בזרימה וגם תמלול באצווה. הספרייה מתוארת כתחליף כמעט ישיר ל-whisper.cpp: היא יודעת להריץ את קובצי המודל הפופולריים מסוג .bin, והמימוש שלה ל-whisper מספק ביצועים דומים בערך. קישורי שפה מתוחזקים לפייתון, JavaScript ו-TypeScript, Rust, וכן Objective-C ו-Swift.

זיהוי דיבור מקומי בלי ענן

מטרת המחבר היא להקל על זיהוי שפועל מקומית. הוא מציין כי שבב משובץ זול מדגם Rockchip RK3566 מסוגל להריץ מודלים דרך transcribe.cpp מהר יותר מזמן אמת, וכי תמלול במודלים חדישים צורך כמה ואטים בודדים, כך שאין הכרח לשלוח קול לשירות ענן. את העבודה תמכו Mozilla AI במסגרת תוכנית BiR, וכן ggml, Modal, Blacksmith ו-Hugging Face. המנוע נכתב בסיוע בינה מלאכותית, מוסיף המחבר, אך המילים בהודעה עצמה לא.