CloudOpsBench: bulud əməliyyatlarında AI üçün əsas maneə məntiqdir

CloudOpsBench yeni açıq mənbə benchmarkıdır və AI agentlərinin buludda tipik DevOps tapşırıqlarını nə qədər yaxşı yerinə yetirdiyini ölçür. Versiya 1.0 AWS üzərində 45 tapşırığı əhatə edir və təcrübəli DevOps mühəndisləri tərəfindən hazırlanıb. Ən yaxşı modellər belə tapşırıqların çoxunda uğursuz olur: Claude Fable 5.1 60 faiz, GPT-6 Astra isə 53 faiz həll edir.

Benchmark nəyi yoxlayır

CloudOpsBench xidmətləri düzəltmək, resursları silmək, giriş hüquqlarını məhdudlaşdırmaq, yeniləmələri yerləşdirmək və layihələri ləğv etmək kimi tapşırıqları əhatə edir. Bütün tapşırıqlar real AWS buludunda və emulatorunda eyni şəkildə işləyir. GCP, Azure və OCI üçün genişləndirmələr planlaşdırılır.

Modellər niyə uğursuz olur

Michigan Universitetindən Ang Chen rəhbərliyindəki komandaya görə, əsas problem bilik çatışmazlığı deyil, məntiqdir. Uğursuzluqların təxminən 80 faizi agentlərin tapşırığın miqyasını səhv qiymətləndirməsi, bütün lazımi xidmətləri yoxlamaması və ya çox erkən dayanması ilə bağlıdır. Səhvlərin təxminən 20 faizi isə infrastruktur üçün bəzən geri qaytarılmaz nəticələrə səbəb olan səhv əməllərdir. Heç bir model bütün tapşırıqları tamamlamır.

Mövcudluq

GitHub layihəsi Apache 2.0 lisenziyası ilə yayımlanır və ətraflı uğursuzluq təhlili də mövcuddur.

Mənbələr: The Decoder