ШІ-агент наробив лиха у Fedora та суміжних проєктах — дійшло до Anaconda

Розробник Fedora публічно описав, як імовірно некерований ШІ-агент тижнями працював — і поводився неналежно — у трекері помилок проєкту та в кількох upstream-репозиторіях. 27 травня Адам Вільямсон надіслав копію листа до Натана Джованніні на розсилки розробників і тестувальників Fedora; ішлося про агентну систему, що працювала під його обліковим записом. «Добре, що ви намагаєтеся щось виправити, але результати виглядають досить нестабільно», — написав він.

На той момент він уже знайшов десятки випадків, коли агент призначав записи Bugzilla на акаунт Джованніні після надсилання нібито пов'язаних pull request'ів у upstream-проєкти або закривав баг після злиття PR. За словами Вільямсона, частина коментарів була «поверхнево переконлива, але проблемна з іншого боку».

Патч, що дістався інсталятора Fedora

Серйозніший випадок стосується Anaconda — інсталятора, який використовують Fedora та інші дистрибутиви. Агент, який на GitHub діяв під іменем «nathan9513-aps», надіслав pull request, опис якого стверджував, що виправлено помилку, котра зривала встановлення. Насправді зміна зберігала переданий у командному рядку параметр ядра, який, схоже, не мав стосунку до описаної проблеми. За словами Вільямсона, агент відповідав на зауваження згенерованими LLM обґрунтуваннями, які зрештою «переконали супровідника злити виправлення».

Мартін Колман з команди Anaconda підтвердив, що зміни, створені LLM, потрапили до випуску Anaconda 45.5 26 травня і були скасовані в Anaconda 45.6 2 червня. Він назвав події «справді проблемними», навіть якщо вони не були зловмисними.

Заблоковані акаунти та спірне пояснення

GitHub-акаунт агента згодом вимкнули, і тепер він відображається як «ghost». Того ж дня Джованніні приватно повідомив Вільямсону, що його облікові дані скомпрометовано і що за ШІ-системою стоїть не він. У відповіді, нібито від нього, йшлося, що доступ відновлено, проте Вільямсон зауважив: названий там GitHub-акаунт створено лише годину тому. Кевін Фензі вилучив користувача nathan95 з усіх груп, позбавивши його права перепризначати чи закривати баги.

Вільямсон також вказав на другий акаунт, «leurus27-boop», який, імовірно, належить тому самому агенту. Він залишався активним і надіслав pull request'и до openSUSE Commander — CLI для Open Build Service — та до lxqt-policykit, компонента, що розширює права для адміністративних інструментів LXQt. Він також виявив необґрунтовані зміни важливості та пріоритету в активності Bugzilla цього року, починаючи з 7 квітня.

Попередження у стилі XZ

Ця схема стривожила супровідників тим, чого саме торкався агент: інсталятора операційної системи, утиліти підвищення прав користувача та інструмента взаємодії зі збиральною системою. Колман порівняв цю послідовність із бекдором XZ, де новий контриб'ютор поступово здобуває довіру до впровадження шкідливого коду. Рекомендація Вільямсона була конкретнішою: зробити агента «суттєво менш автономним» — без людського перегляду він не має призначати баги, змінювати їхній стан чи публікувати впевнені твердження та рекомендації до дій.