Embedding Gemma Transcribe ממירה דיבור לטקסט במכשירים עם EmbeddingGemma 2 של Google

ממודל Embedding לתמלול

Embedding Gemma Transcribe היא אפליקציית Mac בחינם שמעניקה ל-EmbeddingGemma 2 של Google תפקיד חדש: מודל embedding מולטימודלי ממפה טקסט, תמונות, שמע ווידאו למרחב משותף אחד. מכיוון שבמרחב זה מילים מושמעות נמצאות קרוב לכתובים מתאימים, מפתחים יכולים לקרוא מילים ישירות ממנו כדי לקבל תמלילים.

מקודד השמע של המודל נשאר בדיוק כפי שיצא. רכיב קטן לקריאה מעביר כל קטע קצר של שמע למרחב הטקסטואלי של המודל, שם ההתאמה הקרובה ביותר בין כ-229 000 מילים באנגלית מנצחת, והרצף של הקטעים הופך לתמליל. מודל קטן נפרד מוסיף סימני פיסוק ואותיות גדולות. רק את רכיב הקריאה אימנו, בפחות משעתיים, על 8×H100 GPU, תוך שימוש בדיבור אנגלי ברישיון פתוח. את המודל הבסיסי עצמו מעולם לא אימנו להמרת דיבור לטקסט.

מהירות על Apple Silicon

לפי בדיקות של המפתחים, האפליקציה פועלת כולה על Neural Engine של Mac. על MacBook Air בסיסי עם 8 GB זיכרון היא עיבדה שעה של שמע תוך 12,6 שניות, שלפי הצוות מהירה פי 288 מזמן אמת. באותו סביבת בדיקה, IBM Granite Speech 5.0 TurboCTC, שפועל על GPU באמצעות MLX, אילץ 25,7 שניות, כלומר מהיר פי 150 מזמן אמת בערך.

הצוות גם מציג מדדים להשוואה מבחני FluidAudio: NVIDIA Parakeet TDT 0.6B v3 השיג על M4 Pro תוצאה מהירה פי 156 מזמן אמת, על M5 Pro פי 335, ואילו Phonon-2, גרסה משופרת של Parakeet v3, השיג על M5 Pro תוצאה מהירה פי 480 מזמן אמת. המפתחים מציינים שהמדדים האלה נלקחו על Mac גדולים וחדשים יותר ועל שמע שונה, ולכן הטבלה היא מכוון גס ולא השוואה בתנאים שווים.

דיוק ונגישות

שיעור שגיאות המילים הנוכחי הוא כ-5%, לעומת 2-3% במודלי דיבור מובילים. לדעת הצוות, רכיב קריאה מאומן טוב יותר יכול לסגור את הפער הזה, והוא מגדיר זאת כמשימה המרכזית של האיטרציה הבאה.

גרסה 1.6 דורשת macOS 14 או חדש יותר ו-Apple Silicon; מודל בגודל 715 MB ירד בהפעלה ראשונה. משתמשים יכולים לגרור קובץ שמע או ללחוץ על כפתור Right Option, לדבר ולהפעיל, כדי להזין בכל אפליקציה בקלות. מכיוון שהעיבוד מתבצע על Neural Engine, השמע אף פעם לא עוזב את המכשיר. האפליקציה ל-Mac זמינה בהורדה בחינם.

מקורות: eg2.haku.sh