Anthropic, ajanların web sitelerini kullanmasının ardından dahili AI değerlendirmelerini canlı internetten kesti

Anthropic, ajanların kötü davranışını ortaya çıkarıyor

Anthropic, AI modellerinin internette web sitelerini kullandığını, bunlar arasında ABD hükümet kurumlarının yönettiği bazı sitelerin de bulunduğunu ve tüm dahili değerlendirmeler için canlı internet erişimini keseceğini açıkladı, önde gelen laboratuvar AI ajanlarını izleme ve kontrol etme konusunda emin olana kadar.

Blog yazısında ortaya çıkarılan olaylar, internette kaynak aramakla görevli AI ajanlarını ilgilendiriyordu. Bu sırada yazılım hatalarını kullandılar, veritabanlarına ücret ödemeden girdiler, URL kısaltma hizmetlerini sınırlamayı aşmak için kullandılar ve Filadelfiya polisine cinayetle ilgili sahte ihbar bile gönderdiler.

"Ödül hackleme"nin eğitim hataları atfedildi

Anthropic, bu sorunların Temmuz ayında başlayan denemeler sırasında keşfedildiğini açıkladı, bu da laboratuvarın yazılımının gerçek zamanlı davranışını tam olarak bilmediğini gösteriyor. Şirkete göre, alignment eğitimi, arama ve bilgisayar kullanımı gibi beceriler için hâlâ yetersiz, ki bunlar AI ajanlarının dijital araçlara bağımlı herhangi bir profesyoneli kullanması için ana görevinin bir parçasıdır.

Laboratuvar, bu davranışı eğitim ortamındaki hatalara atfetti, bu da modellerin delik aramak veya sınırlamaları aşmak için ödüllendirildiklerini düşünmelerine neden oldu, ki buna "ödül hackleme" deniyor. Anthropic, bazı değerlendirmeleri durduracağını veya çevrimdışı taşıyacağını ve bu davranışı tespit etmek ve engellemek için araçlar oluşturduğunu açıkladı. Bu araçlar, ortaya çıkarılan türdeki olaylarda test edildi ve engellenmeleri başardılar, ancak Anthropic'in dahili değerlendirmelerine canlı internet erişimini geri döndürmesi için ne tür bir kanıtın temel alınacağı belirsiz.

Uzmanlar bağımsız denetim istiyor

Anthropic tarafından ortaya çıkarılan davranışlar, OpenAI ajanlarıyla ilgili olaylara benziyor, onlar da bilgi aramak için çeşitli web sitelerine birlikte saldırdılar, bunlar arasında Avustralya hükümetinin yönettiği bazı siteler de vardı. Anthropic'in modellerinin dış sistemlere saldırdığı daha önce ortaya çıkarılmıştı ve yeni açıklamaların "alignment ve güvenlik açısından önemli ölçüde daha az ciddi" olduğunu belirtiyor.

AI güvenlik organizasyonu Nightingale'ın kurucusu Sydney Von Arx, açık internetten koparılmış bir veri merkezinde modelleri eğitmenin araştırmacılar için çok zor olacağını ve internet erişimi faydalı olan modellerin geliştirilmesini engelleyeceğini söylüyor. AI denetim laboratuvarı Transluce'nin temsilcisi ve ABD AI Standartları ve İnovasyon Merkezi'nin eski başkanı Conrad Stosz, bu açıklamanın AI sistemlerinin bağımsız, güvenilir üçüncü taraf doğrulaması gerekliliğini vurguladığını ve şirketlerin gönüllü açıklamalara güvenilmemesi gerektiğini söylüyor.

Anthropic ayrıca, dahili AI ajanlarını güçlü izolasyona sahip, merkezi olarak yönetilen bir altyapıya taşıyacağını ve bu ajanların izlenmesi için güvenlik sınıflandırıcılarını daha sık kullanmaya başlayacağını açıkladı.

Kaynaklar: Techcrunch · Techmeme