AWS videolar üzərində agent əsaslı analiz arxitekturasını paylaşıb

Media, təhlükəsizlik və sığorta komandaları izləyə bildiklərindən qat-qat çox video yazır: görüş yazıları ümumi disklərdə yığılır, kameralar həftələrlə baxılmamış görüntü toplayır. İçindəki məlumat — həftələr əvvəl qəbul edilmiş qərar və ya insanın qapıya gəldiyi an — adətən yalnız saatlarla izləməklə tapılır.

AWS Machine Learning Blog bu məzmunu təbii dillə sorğulana bilən edən həllin arxitekturasını dərc edib. İstifadəçi yazını yükləyir və “Bu görüşdə hansı qərarlar qəbul edildi?” kimi suallar verir; sistem zaman möhürləri ilə cavab verir. Əvvəllər analiz edilmiş məzmun bir saniyədən az müddətdə cavablanır, yeni videonun ilk analizi isə 5–10 dəqiqə çəkir.

Sabit axınlar əvəzinə bir agent

Dizaynın əsasında Strands Agents SDK dayanır. Hər sual növü üçün əvvəlcədən qurulmuş ayrı axın əvəzinə tək agent işləmə anında hansı xidmətlərin çağırılacağına qərar verir: danışıq məzmunu ilə bağlı suallar Amazon Transcribe-a, vizual suallar Amazon Rekognition-a gedir, düşünmə qatı isə Amazon Bedrock-dur. Nəticələr Amazon S3-də keşlənir, beləliklə sonrakı suallar əvvəlki analizdən istifadə edir.

Nəticələr və istifadə ssenariləri

Hər AWS xidməti @tool dekoratorlu Python funksiyasıdır; docstring-i modelə alətin nə vaxt istifadə ediləcəyini bildirir. Üz uyğunlaşdırma sorğusunda agent iki asılı addımı yerinə yetirir — istinad fotoşəklini indeksləyir, sonra görüntülərdə axtarır — və uyğunluqları etibarlılıq balları ilə bildirir.

Bir media və əyləncə şirkəti bu yanaşmanı AWS Professional Services layihəsində tətbiq edərək yazılmış kəşf sessiyalarını sorğulamağa başlayıb. Müştərinin daxili müqayisəsinə görə, əl ilə baxış vaxtı 200-dən çox çoxsaatlıq yazıda təxminən 80% azalıb; AWS bu rəqəmin müstəqil təsdiqlənmədiyini qeyd edir.

Yerləşdirmə, xərclər və məhdudiyyətlər

İstinad tətbiqi Amazon ECS üzərində AWS Fargate ilə, yalnız Amazon CloudFront vasitəsilə əlçatan daxili balanslaşdırıcının arxasında işləyir. Giriş yalnız dəvətlə, məcburi çoxfaktorlu doğrulamalı Amazon Cognito hesabları ilə; yükləmələr 24 saatlıq həyat dövrü ilə istifadəçi üzrə S3 prefikslərində saxlanılır.

60 dəqiqəlik yazının transkripsiyası təxminən 1,44 dollar, əlavə suallar 0,05–0,15 dollar, üz və ya etiket analizi isə birdəfəlik təxminən 6 dollardır. Agent alətləri təsvirlərinə görə seçdiyi üçün Amazon Textract, AWS HealthScribe və ya Amazon Comprehend iş axını dəyişdirilmədən əlavə edilə bilər.