Nvidia تُطلق Nemotron 3.5 Transcribe مفتوحًا لمهام الصوت

أطلقت Nvidia نموذج Nemotron 3.5 Transcribe للتعرّف على الكلام، وهو يتبع تعليمات نصية ويجمع بين التفريغ والترجمة والتعرّف على المتحدثين. يتضمن الإصدار أيضًا مجموعة Granary v2 والأدوات لتكييف النموذج مع مجالات متخصصة مثل الطب.

القدرات والكفاءة

تقول Nvidia إن النموذج يفرغ 40 لغة، ويترجم 31 لغة إلى الإنجليزية أو منها، ويعرّف على المتحدثين في 13 لغة. وهو يعالج تسجيلات تصل إلى ساعة مع ما يصل إلى ثمانية متحدثين. تتيح تعليمات بسيطة تحويل التسجيل نفسه إلى نص مع تسميات للمتحدثين، أو ترجمة إنجليزية، أو ملخص. يمكن تمرير مصطلحات تقنية مثل أسماء الأدوية كتلميحات، ويُفترض أن يستخدمها النموذج فقط إذا وردت. ويمكنه أيضًا الإجابة عن أسئلة حول محتوى تسجيل.

يحتوي النموذج على 30 مليار معلمة، لكن نحو 4 مليارات منها نشطة في كل خطوة، لذلك يعمل على معالج رسومي واحد من Nvidia. تقول Nvidia إن ذلك يشمل أجهزة من DGX Spark المدمج إلى أنظمة مراكز البيانات. وهو يعالج 100 ساعة من الصوت في أقل من ثلاث دقائق على RTX PRO 6000 Blackwell Server Edition بدقة NVFP4. صُمِّم للصوت المسجل، ولا يدعم المعالجة الفورية، وتم تدريب ميزة الإجابة عن أسئلة الصوت باللغة الإنجليزية.

نتائج المعايير

في لوحة Hugging Face English Open ASR Leaderboard، يحتل Nemotron 3.5 Transcribe المركز الأول بين النماذج مفتوحة الأوزان بمتوسط معدل خطأ في الكلمات 5.33 بالمئة. في مقارنة Artificial Analysis، يحقق 2.81 بالمئة، قريبًا من Voxtral Small بـ 2.77 بالمئة، مع استخدام نحو سدس المعلمات النشطة. وفق Nvidia، تتخلف عدة خدمات تجارية للكلام مستخدمة على نطاق واسع. كما يتفوق بفارق ضئيل على نماذج مفتوحة من Alibaba وIBM.

أكبر تفوق له في التعرّف على المتحدثين. اختبر VoiceArena 14 نظامًا على محادثات يتحدث فيها المتحدثون أحيانًا فوق بعضهم، وحصل Transcribe على المركز الأول. أسقط أقل عدد من الكلمات، بفقدان 8.32 بالمئة مقابل وسيط نحو 31 بالمئة. في معيار David AI عبر 21 لغة، سجل أقل معدل خطأ وانتهى بفارق ضئيل أمام نموذج Nvidia المخصص.

مجموعة البيانات والتكييف

إلى جانب النموذج، تُطلق Nvidia مجموعة Granary v2، وهي مجموعة بيانات تتضمن نحو 844,000 ساعة من الكلام في 48 لغة، ارتفاعًا من نحو 643,000 ساعة في 25 لغة. يأتي كل تسجيل بأسلوب حرفي وبأسلوب منقّح. تشارك Nvidia الأدوات المستخدمة لبناء مجموعة البيانات، وتقول إن مجموعة البيانات لا تطابق تمامًا بيانات تدريب النموذج.

في تسجيلات لأطباء وطلاب طب هنود، خفّضت تعليمات دقيقة معدل الخطأ من 30.8 إلى 23.8 بالمئة، وخفّض الضبط الدقيق (fine-tuning) إلى 11.8 بالمئة. وبالنسبة لمتحدثين لم يسمعهم النموذج، تذكر Nvidia انخفاضًا من 22.44 إلى 12.17 بالمئة. مما وضع النموذج المكيّف أمام نموذج مفتوح للكلام الطبي عند 13.79 بالمئة. استغرقت العملية نحو 14 ساعة GPU على جهاز Nvidia GB300 واحد. تشير Nvidia إلى أن التخصص رفع معدل الخطأ في الكلام الإنجليزي العام قليلًا، وتوصي بـ 100 تسجيل حقيقي ومُتحقق منه على الأقل لاختبار الإصدارات المخصصة.

المصادر: The Decoder · TechCrunch · The New Stack