CloudOpsBench מגלה כי חשיבה היא צוואר הבקבוק הגדול ביותר לבינה מלאכותית בפעולות ענן

CloudOpsBench הוא בנצ'מרק חדש בקוד פתוח שמודד עד כמה טוב סוכני AI מתמודדים עם משימות DevOps טיפוסיות בענן. גרסה 1.0 כוללת 45 משימות ב-AWS, ונבנתה על ידי מהנדסי DevOps מנוסים. אפילו המודלים הטובים ביותר נכשלים ברבות מהמשימות: Claude Fable 5.1 פתר 60 אחוז, ו-GPT-6 Astra השיג 53 אחוז.

מה הבנצ'מרק בודק

CloudOpsBench מכסה משימות כמו תיקון שירותים, הסרת משאבים, הגבלת הרשאות גישה, פריסת עדכונים וסגירת פרויקטים. כל המשימות רצות באופן זהה בענן AWS האמיתי ובאמולטור. הרחבות ל-GCP, ל-Azure ול-OCI מתוכננות.

מדוע המודלים נכשלים

לפי הצוות בראשות אנג צ'ן מאוניברסיטת מישיגן, הבעיה העיקרית אינה חוסר ידע אלא חשיבה. כ-80 אחוז מהכישלונות נובעים מכך שהסוכנים מעריכים לא נכון את היקף המשימה, אינם בודקים את כל השירותים הרלוונטיים או עוצרים מוקדם מדי. כ-20 אחוז מהשגיאות הן פעולות שגויות, ולחלקן יש השלכות בלתי הפיכות על התשתית. אף מודל לא משלים את כל המשימות.

זמינות

הפרויקט ב-GitHub זמין תחת רישיון Apache 2.0, וגם ניתוח כשלים מפורט זמין.

מקורות: The Decoder