AWS, videolar için ajan tabanlı analiz mimarisini yayımladı

Medya, güvenlik, sigorta ve profesyonel hizmet ekipleri izleyebileceklerinden çok daha fazla video kaydediyor: toplantı kayıtları ortak sürücülerde birikiyor, kameralar haftalarca incelenmeyen görüntü topluyor. İçerideki ayrıntılara — haftalar önce alınan bir karara ya da birinin kapıya geldiği ana — genellikle saatlerce izleyerek ulaşılabiliyor.

AWS Machine Learning Blog, bu içeriği doğal dille sorgulanabilir kılan bir çözümün mimarisini yayımladı. Kullanıcı bir kaydı yüklüyor ve “Bu toplantıda hangi kararlar alındı?” gibi sorular soruyor; sistem zaman damgalarıyla yanıtlıyor. Daha önce analiz edilmiş içerik bir saniyeden kısa sürede yanıtlanırken, yeni bir videonun ilk analizi 5–10 dakika sürüyor.

Sabit hatlar yerine tek bir ajan

Tasarımın merkezinde Strands Agents SDK var. Her soru türü için önceden kurulmuş ayrı bir hat yerine tek bir ajan çalışma anında hangi servislerin çağrılacağına karar veriyor: konuşma içeriğine dair sorular Amazon Transcribe'a, görsel sorular Amazon Rekognition'a gidiyor, akıl yürütme katmanı ise Amazon Bedrock. Sonuçlar Amazon S3'te önbelleğe alınıyor, böylece sonraki sorular önceki analizi yeniden kullanıyor.

Sonuçlar ve kullanım senaryoları

Her AWS servisi @tool dekoratörlü bir Python fonksiyonu; docstring'i modele aracın ne zaman kullanılacağını söylüyor. Yüz eşleştirme sorgusunda ajan birbirine bağlı iki adımı tamamlıyor — referans fotoğrafı dizinliyor, ardından görüntülerde arıyor — ve eşleşmeleri güven puanlarıyla bildiriyor.

Bir medya ve eğlence şirketi bu yaklaşımı AWS Professional Services projesinde benimseyerek kayıtlı keşif oturumlarını sorgulamaya başladı. Müşterinin kendi karşılaştırmasına göre manuel inceleme süresi 200'den fazla çok saatlik kayıtta yaklaşık %80 azaldı; AWS bu rakamın bağımsız doğrulanmadığını belirtiyor.

Dağıtım, maliyet ve sınırlar

Referans uygulama, Amazon ECS üzerinde AWS Fargate ile, yalnızca Amazon CloudFront üzerinden erişilebilen dahili yük dengeleyicinin arkasında çalışıyor. Erişim yalnızca davetle, zorunlu çok faktörlü doğrulamalı Amazon Cognito hesaplarıyla; yüklemeler 24 saatlik yaşam döngüsüyle kullanıcı bazlı S3 öneklerinde tutuluyor.

60 dakikalık bir kaydın transkripsiyonu yaklaşık 1,44 dolar, ek sorular 0,05–0,15 dolar, yüz veya etiket analizi ise tek seferlik yaklaşık 6 dolar. Ajan araçları açıklamalarına göre seçtiği için Amazon Textract, AWS HealthScribe veya Amazon Comprehend iş akışı değiştirilmeden eklenebiliyor.