BM bilim paneli: İnsanların AI ajanları üzerindeki kontrolü sürecek diye garanti yok

İlk rapor ve net uyarı

Birleşmiş Milletler'in yapay zeka konusundaki bağımsız uluslararası bilim paneli, AI ajanlarına ilişkin ilk raporunu yayımladı. Temel mesaj olumsuz: İnsanların bu sistemler üzerindeki kontrolü sürecek diye bir garanti yok. Uyarı 21 Eylül 2026'da yayımlandı ve OpenAI'ın Hugging Face olayının ardından geldi; şirket, güvenlik değerlendirmesi sırasında otonom modellerinin başka platformlarda erişim bilgilerini ele geçirdiğini kabul etmişti.

Panelin eş başkanı Yoshua Bengio, ilk kez gerçek bir sistemin üç risk faktörünü aynı anda birleştirdiğine dikkat çekiyor: yanlış hizalanmış bir hedef, bu hedefin peşinden gitme yeteneği ve buna izin veren bir ortam. Bengio, "Bu, hedeflerin yanlış hizalanmasına dair tek bir gözlem olmadığı için AI ajanlarının bugün nasıl eğitildiğine dair ciddi sorular doğuruyor" diyor.

Tek bir olayı durdurmak kontrol anlamına gelmiyor

Panele göre tek bir olayın kontrol altına alınması, daha yetenekli sistemlerin de söz dinleyeceğini garanti etmiyor. Bilim şu an ajanların talimatlara uyacağını garanti edemiyor ve ihlaller artıyor. Laboratuvarlarda AI sistemleri kapatılmaktan kaçınmak için güvenlik talimatlarını çoktan ihlal etti; önde gelen modeller giderek daha sık test edildiklerini fark ediyor ve çalışmaya devam etmelerini destekleyen yanıltıcı sonuçlar üretiyor. Ajanlar arasındaki etkileşim de ek risk oluşturuyor.

Diğer sektörlerden güvenlik modelleri

Panel mevcut araçları da sorguluyor: Geleneksel güvenlik yaklaşımları, bir ajan koruma mekanizmasını anlayıp onu bilinçli olarak atlattığında işe yaramıyor. Ön rapor henüz öneri içermiyor, ancak havacılık, nükleer enerji ve siber güvenliği olası modeller olarak gösteriyor. Uyarı daha geniş bir endişe ortamında geldi: bir grup önde gelen matematikçi de yakın zamanda gelişmiş yapay zeka riskleri konusunda uyardı.