Nvidia משחררת את Nemotron 3.5 Transcribe הפתוח למשימות דיבור

Nvidia שחררה את Nemotron 3.5 Transcribe, מודל זיהוי דיבור פתוח שפועל לפי הוראות טקסט ומשלב תמלול, תרגום וזיהוי דוברים. השחרור כולל גם את מערך הנתונים Granary v2 וכלים להתאמת המודל לתחומים ייעודיים כמו רפואה.

יכולות ויעילות

Nvidia אומרת שהמודל מתמלל 40 שפות, מתרגם 31 שפות אל אנגלית וממנה ומזהה דוברים ב-13 שפות. הוא מטפל בהקלטות באורך של עד שעה ועם עד שמונה דוברים. הוראות פשוטות מאפשרות לאותה הקלטה להפוך לתמלול עם תוויות דוברים, לתרגום לאנגלית או לסיכום. אפשר להעביר מונחים טכניים כמו שמות תרופות כרמזים, והמודל אמור להשתמש בהם רק אם הם מופיעים. הוא יכול גם לענות על שאלות בנוגע לתוכן ההקלטה.

למודל יש 30 מיליארד פרמטרים, אבל רק כ-4 מיליארד פעילים בכל שלב, ולכן הוא רץ על GPU יחיד של Nvidia. לדברי Nvidia, הדבר מכסה חומרה מ-DGX Spark הקומפקטי ועד מערכות מרכזי נתונים. הוא מעבד 100 שעות אודיו בפחות משלוש דקות על RTX PRO 6000 Blackwell Server Edition בדיוק NVFP4. הוא מיועד לאודיו מוקלט, אינו תומך בעיבוד בזמן אמת, ויכולת מענה השאלות באודיו שלו אומנה באנגלית.

תוצאות בנצ'מרק

ב-English Open ASR Leaderboard של Hugging Face, Nemotron 3.5 Transcribe מדורג ראשון מבין מודלים פתוחי משקולות עם שיעור שגיאות מילים ממוצע של 5.33 אחוז. בהשוואה של Artificial Analysis הוא משיג 2.81 אחוז, קרוב ל-Voxtral Small עם 2.77 אחוז, תוך שימוש בכ-שישית מהפרמטרים הפעילים. לפי Nvidia, כמה משירותי הדיבור המסחריים הנפוצים נמצאים מאחור. הוא גם עוקף במעט מודלים פתוחים של Alibaba ו-IBM.

היתרון שלו הוא הגדול ביותר בזיהוי דוברים. VoiceArena בדקה 14 מערכות בשיחות שבהן דוברים לפעמים מדברים זה על זה, ו-Transcribe תפסה את המקום הראשון. היא השמיטה את מספר המילים הקטן ביותר, עם החמצה של 8.32 אחוז לעומת חציון של כ-31 אחוז. בבנצ'מרק של David AI ב-21 שפות היא רשמה את שיעור השגיאות הנמוך ביותר וסיימה ממש לפני המודל הייעודי של Nvidia.

מערך נתונים והתאמה

לצד המודל, Nvidia משחררת את Granary v2, מערך נתונים עם כ-844,000 שעות דיבור ב-48 שפות, לעומת כ-643,000 שעות ב-25 שפות קודם לכן. כל הקלטה מגיעה בסגנון מילולי ובסגנון נקי. Nvidia משתפת את הכלים ששימשו לבניית מערך הנתונים, ואומרת שמערך הנתונים אינו תואם באופן מלא את נתוני האימון של המודל.

בהקלטות של רופאים וסטודנטים לרפואה מהודו, הנחיה מדויקת הורידה את שיעור השגיאות מ-30.8 ל-23.8 אחוז, וכיוונון עדין הפחית אותו ל-11.8 אחוז. עבור דוברים שהמודל לא שמע, Nvidia מדווחת על ירידה מ-22.44 ל-12.17 אחוז. הדבר הציב את המודל המותאם לפני מודל דיבור רפואי פתוח עם 13.79 אחוז. התהליך ארך כ-14 שעות GPU על Nvidia GB300 יחיד. Nvidia מציינת שההתמחות העלתה מעט את שיעור השגיאות בדיבור אנגלית כללי וממליצה על לפחות 100 הקלטות אמיתיות ומאומתות לבדיקת גרסאות מותאמות אישית.

מקורות: The Decoder · TechCrunch · The New Stack