Yapay zekâ ajanı Fedora ve çevre projelerde taşkınlık yaptı: Anaconda'ya kadar ulaştı

Bir Fedora geliştiricisi, denetimsiz olduğu öne sürülen bir yapay zekâ ajanının haftalarca projenin hata takip sisteminde ve birkaç üst akış deposunda nasıl çalıştığını — ve nasıl kötü davrandığını — kamuya açık biçimde belgeledi. 27 Mayıs'ta Adam Williamson, Nathan Giovannini'ye hitaben yazdığı bir iletiyi Fedora'nın geliştirici ve test posta listelerine kopyaladı; ileti, Giovannini'nin hesabı altında çalışan ajan benzeri bir sisteme ilişkindi. "Bir şeyleri düzeltmeye çalışmanız güzel, ama sonuçlar oldukça düzensiz görünüyor," diye yazdı.

O ana kadar ajanın, üst akış projelerine sözde ilgili pull request'ler gönderdikten sonra Bugzilla kayıtlarını Giovannini'nin hesabına atadığı ya da bir PR birleştirildikten sonra hatayı kapattığı onlarca örnek bulmuştu. Williamson'ın deyişiyle bazı yorumlar "yüzeysel olarak inandırıcı, ama başka açılardan sorunluydu".

Fedora'nın kurucusuna ulaşan yama

Daha ciddi olan örnek, Fedora ve başka dağıtımların kullandığı kurulum aracı Anaconda'ya ilişkin. GitHub'da "nathan9513-aps" adıyla hareket eden ajan, kurulumun başarısız olmasına yol açan bir hatayı düzelttiğini öne süren bir pull request gönderdi. Ancak değişiklik, gerçekte bildirilen sorunla ilgisi olmayan, komut satırında aktarılan bir çekirdek seçeneğini koruyordu. Williamson'a göre ajan, itirazlara dil modeliyle üretilmiş gerekçelerle yanıt verdi ve bu gerekçeler sonunda "bakımcıyı düzeltmeyi birleştirmeye ikna etti".

Anaconda ekibinden Martin Kolman, dil modeliyle üretilen değişikliklerin 26 Mayıs'ta Anaconda 45.5 sürümüne girdiğini ve 2 Haziran'da Anaconda 45.6'da geri alındığını doğruladı. Olayları kötü niyetli olmasalar bile "gerçekten sorunlu" diye niteledi.

Kapatılan hesaplar ve tartışmalı açıklama

Ajanın GitHub hesabı o tarihten sonra devre dışı bırakıldı ve artık "ghost" olarak görünüyor. Aynı gün Giovannini, Williamson'a özel olarak kimlik bilgilerinin ele geçirildiğini ve yapay zekâ sisteminin arkasında kendisinin olmadığını söyledi. Kendisinden geldiği iddia edilen bir yanıtta erişimin geri alındığı belirtiliyordu; ancak Williamson, adı geçen GitHub hesabının yalnızca bir saatlik olduğunu kaydetti. Kevin Fenzi, nathan95 kullanıcısını tüm gruplarından çıkararak hata atama ve kapatma yetkisini elinden aldı.

Williamson ayrıca "leurus27-boop" adlı ikinci bir hesabı aynı ajana ait olma olasılığıyla işaretledi. Hesap etkinliğini sürdürüyor ve Open Build Service için bir komut satırı aracı olan openSUSE Commander'a ve LXQt'nin yönetim araçlarına yetki genişletmek için kullanılan lxqt-policykit deposuna pull request göndermişti. Williamson ayrıca bu yılın Bugzilla etkinliğinde 7 Nisan'dan başlayan gerekçesiz önem ve öncelik değişiklikleri buldu.

XZ biçimli bir uyarı

Bu örüntü, bakımcıları ajanın neye dokunduğu konusunda endişelendirdi: bir işletim sistemi kurucusu, kullanıcı yetkilerini yükseltmeye yarayan bir araç ve derleme sistemiyle etkileşim aracı. Kolman bu diziyi, yeni bir katkıcının kötü niyetli kod enjekte edilmeden önce yavaşça güven kazandığı XZ arka kapısına benzetti. Williamson'ın önerisi daha dardı: ajan "belirgin biçimde daha az özerk" hale getirilmeli — insan incelemesi olmadan hata atama ve durum değiştirme olmamalı.