Embedding Gemma Transcribe يحول الكلام المعالج على الجهاز إلى نص باستخدام EmbeddingGemma 2 من Google

من نموذج Embedding إلى التفريغ

Embedding Gemma Transcribe هو تطبيق Mac مجاني يمنح Google EmbeddingGemma 2 غرضًا جديدًا: نموذج embedding متعدد الوسائط يعكس النصوص والصور والصوت والفيديو في مساحة مشتركة واحدة. وبما أن الكلمات المنطوقة في هذه المساحة تكون قريبة من نظيراتها المكتوبة، يمكن للمطورين قراءة الكلمات مباشرة للحصول على النصوص.

تم ترك مشفر الصوت في النموذج كما هو خرج. يقوم مكون قارئ صغير بنقل كل جزء قصير من الصوت إلى مساحة النص في النموذج، حيث يفوز أقرب تطابق من حوالي 229 000 كلمة إنجليزية، ويتحول تسلسل الأجزاء إلى نص. يضيف نموذج صغير منفصل علامات الترقيم والأحرف الكبيرة. تم تدريب القارئ فقط، في أقل من ساعتين، على 8×H100 GPU، باستخدام كلام إنجليزي مرخص علنًا. لم يتم تدريب النموذج الأساسي نفسه على الإطلاق لتحويل الكلام إلى نص.

السرعة على Apple Silicon

وفقًا لاختبارات المطورين، يعمل التطبيق بالكامل على Neural Engine في Mac. على MacBook Air الأساسي بذاكرة 8 GB، عالج ساعة واحدة من الصوت في 12.6 ثانية، وهو ما تقوله المجموعة أسرع 288 مرة من الزمن الحقيقي. في نفس بيئة الاختبار، استغرق IBM Granite Speech 5.0 TurboCTC، الذي يعمل على GPU عبر MLX، 25.7 ثانية، أي أسرع بحوالي 150 مرة من الزمن الحقيقي.

يتفوق الفريق أيضًا على معايير FluidAudio المنشورة للمقارنة: حقق NVIDIA Parakeet TDT 0.6B v3 نتيجة أسرع 156 مرة من الزمن الحقيقي على M4 Pro، و335 مرة على M5 Pro، بينما حقق Phonon-2، النسخة المحسّنة من Parakeet v3، نتيجة أسرع 480 مرة من الزمن الحقيقي على M5 Pro. يشير المطورون إلى أن هذه المؤشرات تم الحصول عليها على Mac أحدث وأكبر وبصوت مختلف، لذا فإن الجدول توجيه تقريبي وليس مقارنة بظروف متساوية.

الدقة وإمكانية الوصول

معدل خطأ الكلمات الحالي حوالي 5%، مقارنة بـ 2-3% لنماذج الكلام الرائدة. تعتقد المجموعة أن قارئًا أفضل تدريبًا يمكنه سد هذه الفجوة وتعتبر ذلك المهمة الرئيسية للتكرار التالي.

يتطلب الإصدار 1.6 macOS 14 أو أحدث وApple Silicon؛ يتم تنزيل النموذج بحجم 715 MB عند التشغيل الأول. يمكن للمستخدمين إفلات ملف صوتي أو الضغط على زر Right Option، والتحدث والتشغيل، لإدخاله بسلاسة في أي تطبيق. نظرًا لأن المعالجة تتم على Neural Engine، لا يغادر الصوت الجهاز أبدًا. التطبيق متاح للتنزيل المجاني لأجهزة Mac.

المصادر: eg2.haku.sh