AWS מציגה ארכיטקטורה סוכנית לניתוח וידאו בשפה טבעית

צוותים בתעשיות המדיה, הביטחון, הביטוח והשירותים המקצועיים מקליטים יותר וידאו ממה שהם מספיקים לצפות בו: הקלטות פגישות נערמות בדיסקים משותפים ומצלמות קולטות שבועות של צילומים שאיש לא סוקר. המידע שבתוכם — החלטה שהתקבלה לפני שבועות או הרגע שבו אדם הגיע לדלת — נגיש בדרך כלל רק לאחר צפייה בשעות של תוכן.

בלוג ה-Machine Learning של AWS פרסם ארכיטקטורה של פתרון שהופך את התוכן לניתן לשאילתה בשפה טבעית. המשתמש מעלה הקלטה ושואל שאלות כמו “אילו החלטות התקבלו בפגישה הזו?”, והמערכת משיבה עם חותמות זמן. תוכן שכבר נותח מוחזר בשנייה, בעוד הניתוח הראשון של סרטון חדש נמשך 5–10 דקות.

סוכן אחד במקום צינורות עיבוד קבועים

בלב הפתרון עומד Strands Agents SDK. במקום צינור נפרד שנבנה מראש לכל סוג שאלה — תמלול, חיפוש חזותי, התאמת פנים — סוכן יחיד מחליט בזמן אמת אילו שירותים להפעיל: שאלות על תוכן מדובר עוברות ל-Amazon Transcribe, שאלות חזותיות ל-Amazon Rekognition, ושכבת ההיסק היא Amazon Bedrock. התוצאות נשמרות במטמון ב-Amazon S3, ו-Amazon Bedrock Data Automation מספק תקציר, פרקים ותמלול מלא בקריאת API אחת.

תוצאות ומקרי שימוש

כל שירות AWS נחשף כפונקציית Python עם דקורטור @tool, וה-docstring שלה מנחה את המודל מתי להשתמש בה. בשאילתת התאמת פנים הסוכן משלים שני שלבים תלויים — יצירת אינדקס לתמונת ייחוס ואז חיפוש בצילומים — ומדווח על זמני הופעה עם ציוני מהימנות.

לפי AWS, חברת מדיה ובידור אימצה את הגישה במסגרת פרויקט של AWS Professional Services כדי לשאול שאלות על הקלטות של מפגשי גילוי. על פי השוואה פנימית של הלקוח, זמן הסקירה הידנית ירד בכ-80% עבור למעלה מ-200 הקלטות בנות שעות רבות; AWS מציינת שהנתון לא אומת באופן עצמאי.

פריסה, עלויות ומגבלות

מימוש הייחוס פועל על Amazon ECS עם AWS Fargate מאחורי מאזן עומסים פנימי הנגיש רק דרך Amazon CloudFront. הגישה בהזמנה בלבד, באמצעות חשבונות Amazon Cognito עם אימות דו-שלבי חובה; ההעלאות נשמרות בקידומות S3 אישיות עם מחזור חיים של 24 שעות.

תמלול הקלטה בת 60 דקות עולה כ-1.44 דולר, כל שאלה נוספת כ-0.05–0.15 דולר, וניתוח פנים או תוויות עולה כ-6 דולרים פעם אחת. מכיוון שהסוכן בוחר כלים לפי התיאורים שלהם, אפשר להוסיף את Amazon Textract, AWS HealthScribe או Amazon Comprehend כפונקציות חדשות בלי לשנות את זרימת העבודה.