AWS מציגה מכולת WhisperX ל-SageMaker AI עם תיוג דוברים

AWS פרסמה מדריך להרצת WhisperX, פרויקט קוד פתוח לתמלול דיבור שנבנה על Whisper של OpenAI, על Amazon SageMaker AI. הפוסט מתאר את מכולת AWS WhisperX Deep Learning Container ושתי דרכים להריץ אותה: נקודת קצה סינכרונית ואסינכרונית.

מה WhisperX מוסיפה ל-Whisper

Whisper מתמלל דיבור בדיוק בשפות רבות, אך מחזיר חותמות זמן ברמת המשפט ואינו אומר מי דיבר. WhisperX מוסיפה שלושה דברים: עיבוד באצוות לתמלול מהיר יותר, יישור כפוי עם wav2vec2 לחותמות זמן ברמת המילה, והפרדת דוברים.

המכולה כוללת את Whisper, את מודלי היישור ואת משקולות הפרדת הדוברים בתמונה אחת מוכנה ל-GPU, כך שאין צורך באסימון של Hugging Face. היא מאזינה בפורט 8080, חושפת POST /invocations ו-GET /ping, מקבלת multipart/form-data עם קובץ האודיו ושדות כמו language ו-diarize, ומחזירה json, verbose_json, srt או vtt.

נקודת קצה בזמן אמת או אסינכרונית

נקודת קצה בזמן אמת היא סינכרונית: האודיו נשלח בבקשה והתמלול חוזר באותה קריאה, ולכן הקטע חייב להסתיים בתוך מגבלת 60 השניות של SageMaker AI. היא מחויבת בתשלום כל עוד היא פעילה.

נקודת הקצה האסינכרונית מעלה את האודיו ל-Amazon S3, קוראת ל-InvokeEndpointAsync עם הפניה לאובייקט ובודקת את נתיב הפלט, עם נתיב כשל נפרד למשימות שנכשלו. אין מגבלת זמן לתשובה, ולכן AWS ממליצה עליה להקלטות ארוכות ולעבודה באצוות, והיא יכולה להתכווץ לאפס מופעים בזמן חוסר פעילות.

פרטים לפרודקשן והמבחן של טיסה 1549

שני המסלולים דורשים את אותם רכיבים: ml.g4dn.xlarge לחיסכון או ml.g5.2xlarge לעוד כוח, ואת הצמדת ה-GPU AMI al2-ami-sagemaker-inference-gpu-3-1, שבלעדיה תמונת CUDA 12.8 לא עולה ומחזירה CannotStartContainerError עם לוג ריק. כל מכולה מטפלת בבקשה אחת, ולכן התפוקה גדלה בהוספת מופעים, ובשם דלי ה-S3 למצב האסינכרוני חייבת להופיע המילה sagemaker.

מחברת ההדגמה מעבדת הקלטה פומבית של חילופי הקשר מהטיסה US Airways Flight 1549, עם רעשי רדיו ואותות מהירים: שלוש דקות לנקודת הקצה האסינכרונית ו-40 שניות לזו שבזמן אמת. AWS ממליצה גם על התראות SNS במקום סקירה תכופה, על מאגר של עד חמישה סוגי מופעים ועל הסתרת מידע אישי בעזרת חותמות הזמן של המילים. מופעי GPU מחויבים עד למחיקה.