AWS, SageMaker AI için konuşmacı etiketli WhisperX konteynerini yayımladı

AWS, OpenAI'nin Whisper modeli üzerine kurulu açık kaynak konuşma tanıma projesi WhisperX'i Amazon SageMaker AI üzerinde çalıştırma kılavuzunu yayımladı. Yazıda AWS WhisperX Deep Learning Container ve onun gerçek zamanlı ya da asenkron uç noktada nasıl sunulacağı anlatılıyor.

WhisperX, Whisper'a ne katıyor

Whisper konuşmayı birçok dilde doğru yazıya döker, ancak zaman damgalarını cümle düzeyinde döndürür ve kimin konuştuğunu söylemez. WhisperX üç şey ekler: daha hızlı yazıya dökme için toplu çıkarım, kelime düzeyinde zaman damgaları için wav2vec2 zorlamalı hizalama ve konuşmacı ayrımı.

Konteyner Whisper'ı, hizalama modellerini ve konuşmacı ayrımı ağırlıklarını tek GPU imajında sunar; Hugging Face token'ı gerekmez. 8080 portunda çalışır, POST /invocations ve GET /ping uçlarını açar, ses dosyası ile language ve diarize gibi alanları multipart/form-data olarak kabul eder; sonucu json, verbose_json, srt veya vtt biçiminde döndürür.

Gerçek zamanlı mı, asenkron mu

Gerçek zamanlı uç nokta eşzamanlıdır: ses istek gövdesiyle gider, transkript aynı çağrıda döner, bu yüzden kayıt SageMaker AI'ın 60 saniyelik sınırına sığmalıdır. Uç nokta açık kaldığı sürece faturalandırılır.

Asenkron uç nokta sesi Amazon S3'e yükler, InvokeEndpointAsync'i nesne referansıyla çağırır ve çıktı yolunu yoklar; başarısız işler için ayrı bir hata yolu vardır. Yanıt süresi sınırı olmadığı için AWS uzun kayıtlar ve toplu işler için bu yolu önerir; boşta kaldığında sıfır örneğe kadar küçülebilir.

Üretim ayrıntıları ve Flight 1549 testi

İki yol da aynı bileşenleri ister: maliyet için ml.g4dn.xlarge ya da daha fazla pay için ml.g5.2xlarge ve GPU AMI sabitlemesi al2-ami-sagemaker-inference-gpu-3-1; bu olmadan CUDA 12.8 imajı boş günlükle CannotStartContainerError döner. Her konteyner tek istek işler, bu yüzden kapasite örnek eklenerek artırılır ve asenkron modda S3 kovasının adında sagemaker ifadesi bulunmalıdır.

Örnek notebook, US Airways Flight 1549 seferinin hava trafik kontrol konuşmalarının kamuya açık kaydını işler; telsiz gürültüsü ve hızlı çağrı işaretleri zorlu bir sınavdır. Üç dakikalık kayıt asenkron uç noktaya, 40 saniyelik bölüm gerçek zamanlı olana gönderilir. AWS ayrıca sık yoklama yerine SNS bildirimlerini, beşe kadar örnek türünden oluşan bir havuzu ve kişisel verilerin kelime zaman damgalarıyla maskelenmesini öneriyor. GPU uç noktaları silinene kadar faturalandırılır.