CloudOpsBench показує, що міркування є найбільшим вузьким місцем ШІ в хмарних операціях

CloudOpsBench, новий відкритий бенчмарк, вимірює, наскільки добре ШІ-агенти впораються з типовими DevOps-завданнями в хмарі. Версія 1.0 містить 45 завдань на AWS і створена досвідченими DevOps-інженерами. Навіть найкращі моделі не впораються з багатьма завданнями: Claude Fable 5.1 виконує 60 відсотків, а GPT-6 Astra 53 відсотки.

Що перевіряє бенчмарк

CloudOpsBench охоплює завдання на кшталт виправлення сервісів, видалення ресурсів, обмеження прав доступу, розгортання оновлень і виведення проєктів з експлуатації. Усі завдання виконуються однаково в реальній хмарі AWS і в емуляторі. Розширення для GCP, Azure і OCI заплановані.

Чому моделі зазнають невдач

За словами команди під керівництвом Анга Чена з Мічиганського університету, головна проблема не брак знань, а міркування. Близько 80 відсотків невдач трапляються тому, що агенти неправильно оцінюють обсяг завдання, не перевіряють усі відповідні сервіси або зупиняються занадто рано. Приблизно 20 відсотків помилок є неправильними діями, деякі мають незворотні наслідки для інфраструктури. Жодна модель не виконує всі завдання.

Доступність

Проєкт на GitHub ліцензовано за Apache 2.0, а детальний аналіз невдач також доступний.

Джерела: The Decoder