CloudOpsBench-მა აჩვენა, რომ ღრუბლოვან ოპერაციებში AI-ისთვის ყველაზე დიდი ბარიერი მსჯელობაა

CloudOpsBench ახალი ღია კოდის ბენჩმარკია, რომელიც ზომავს, რამდენად კარგად ართმევენ თავს AI აგენტები ღრუბელში DevOps-ის ტიპურ ამოცანებს. ვერსია 1.0 მოიცავს AWS-ზე 45 ამოცანას და ის გამოცდილმა DevOps ინჟინრებმა შექმნეს. საუკეთესო მოდელებიც კი ბევრ ამოცანაზე მარცხდებიან: Claude Fable 5.1-მა ამოცანების 60 პროცენტი ამოხსნა, GPT-6 Astra-მ კი 53 პროცენტი.

რას ამოწმებს ბენჩმარკი

CloudOpsBench მოიცავს ისეთ ამოცანებს, როგორიცაა სერვისების გამართვა, რესურსების წაშლა, წვდომის უფლებების შეზღუდვა, განახლებების გაშვება და პროექტების დახურვა. ყველა ამოცანა იდენტურად სრულდება როგორც რეალურ AWS-ის ღრუბელში, ისე ემულატორში. დაგეგმილია გაფართოებები GCP-ის, Azure-ისა და OCI-ისთვის.

რატომ მარცხდებიან მოდელები

მიჩიგანის უნივერსიტეტის ენგ ჩენის ხელმძღვანელობით მომუშავე გუნდის თქმით, მთავარი პრობლემა ცოდნის ნაკლებობა არ არის, არამედ მსჯელობა. წარუმატებლობების დაახლოებით 80 პროცენტი იმის გამო ხდება, რომ აგენტები ამოცანის მასშტაბს არასწორად აფასებენ, ყველა შესაბამის სერვისს არ ამოწმებენ ან ნაადრევად ჩერდებიან. შეცდომების დაახლოებით 20 პროცენტი არასწორი მოქმედებაა, ზოგიერთ მათგანს კი ინფრასტრუქტურისთვის შეუქცევადი შედეგები აქვს. არც ერთი მოდელი არ ასრულებს ყველა ამოცანას.

ხელმისაწვდომობა

პროექტი GitHub-ზე Apache 2.0-ის ლიცენზიით ვრცელდება და ხელმისაწვდომია წარუმატებლობების დეტალური ანალიზიც.

წყაროები: The Decoder