CloudOpsBench: الاستدلال هو أكبر عقبة أمام الذكاء الاصطناعي في عمليات السحابة

CloudOpsBench معيار جديد مفتوح المصدر يقيس مدى تمكن وكلاء الذكاء الاصطناعي من التعامل مع مهام DevOps المعتادة في السحابة. يتضمن الإصدار 1.0 خمسة وأربعين مهمة على AWS، وبناه مهندسون ذوو خبرة في DevOps. حتى أفضل النماذج تخفق في كثير من المهام: حل Claude Fable 5.1 نسبة 60 بالمئة، وحقق GPT-6 Astra نسبة 53 بالمئة.

ماذا يختبر المعيار

يغطي CloudOpsBench مهام مثل إصلاح الخدمات، وإزالة الموارد، وتقييد حقوق الوصول، وطرح التحديثات، وإيقاف المشاريع. تُنفَّذ جميع المهام بالطريقة نفسها في سحابة AWS الحقيقية وفي بيئة محاكاة. التوسعات إلى GCP وAzure وOCI مخططة.

لماذا تخفق النماذج

وفقًا للفريق الذي يقوده أنغ تشين في جامعة ميشيغان، المشكلة الرئيسية ليست نقص المعرفة بل الاستدلال. نحو 80 بالمئة من الإخفاقات تحدث لأن الوكلاء يسيئون تقدير نطاق المهمة، أو لا يتحققون من جميع الخدمات ذات الصلة، أو يتوقفون مبكرًا جدًا. ونحو 20 بالمئة من الأخطاء إجراءات خاطئة، بعضها له عواقب لا رجعة فيها على البنية التحتية. ولا يكمل أي نموذج جميع المهام.

التوفر

المشروع على GitHub مرخص بموجب Apache 2.0، كما يتوفر تحليل مفصل للإخفاقات.

المصادر: The Decoder