CloudOpsBench, bulut operasyonlarında AI için en büyük darboğazın akıl yürütme olduğunu ortaya koyuyor
CloudOpsBench adlı yeni açık kaynak kıyaslama, yapay zeka ajanlarını 45 AWS DevOps görevinde test ediyor. En iyi modeller bile görevlerin yalnızca yüzde 60'ını çözüyor ve araştırmacılar çoğu hatanın akıl yürütme hatalarından kaynaklandığını söylüyor.
CloudOpsBench, bulut ortamında yapay zeka ajanlarının tipik DevOps görevlerini ne kadar iyi yerine getirdiğini ölçen yeni bir açık kaynak kıyaslama aracıdır. Sürüm 1.0, AWS üzerinde 45 görev içerir ve deneyimli DevOps mühendisleri tarafından geliştirilmiştir. En iyi modeller bile görevlerin çoğunda başarısız olur; Claude Fable 5.1 yüzde 60'ını, GPT-6 Astra ise yüzde 53'ünü çözebiliyor.
Kıyaslama neyi test ediyor
CloudOpsBench; hizmetleri onarma, kaynakları kaldırma, erişim haklarını kısıtlama, güncellemeleri yayına alma ve projeleri devre dışı bırakma gibi görevleri kapsar. Tüm görevler gerçek AWS bulutunda ve bir öykünücüde aynı şekilde çalışır. GCP, Azure ve OCI için genişletmeler planlanmaktadır.
Modeller neden başarısız oluyor
Michigan Üniversitesi'nden Ang Chen'in liderliğindeki ekibe göre temel sorun bilgi eksikliği değil, akıl yürütmedir. Başarısızlıkların yaklaşık yüzde 80'i, ajanların bir görevin kapsamını yanlış değerlendirmesi, ilgili tüm hizmetleri kontrol etmemesi veya çok erken durması nedeniyle gerçekleşir. Hataların yaklaşık yüzde 20'si yanlış eylemlerdir ve bunların bazıları altyapı için geri döndürülemez sonuçlar doğurur. Hiçbir model tüm görevleri tamamlayamaz.
Kullanılabilirlik
GitHub'daki proje Apache 2.0 lisansıyla sunulur ve ayrıntılı bir hata analizi de mevcuttur.
Kaynaklar: The Decoder
SiTech — AI destekli web geliştirme
Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.