Goodfire, kötü niyetli AI ajanlarını ucuz yakalamak için 'içeriden dışarı' monitörleri yayınladı

Monitörler nasıl çalışır

Yorumlanabilirliğe odaklı girişim Goodfire, Perşembe günü yeni bir izleme sistemi tanıttı. Kontrol altındaki ajana başka bir AI'nın eğilip eğilmediğini sormak yerine, sistem modelin çalışırken içinde olup bitenleri izler. Probe adı verilen küçük dedektörler, modelin iç sinyallerini ajanın çalışmasının her adımında okur, tıpkı havalimanı tarayıcısının her yolcuyu kontrol ettiği gibi. Yalnızca bir prob bir şey belirttiğinde, manuel müdahaleye eşdeğer ayrı bir AI modeli sorunu daha yakından inceler.

Monitörler, diğer şirketler için AI modellerini barındıran ve işleyen Baseten kullanıcıları için kullanılabilir. Baseten'in Base Labs'i geçen ay Goodfire ve AI platformu Hugging Face ile güvenlik ortaklığını duyurdu. Kullanıcılar, saldırgan hack, kimyasal ve biyolojik silahların kötüye kullanımı ve ödül hack'i dahil olmak üzere hangi riskleri izlemek istediklerini seçebilir ve otomatik yanıtı belirleyebilir: olayın kayda geçirilmesi, insan incelemesine gönderilmesi veya isteğin tamamen reddedilmesi.

Maliyet ve verimlilik

Goodfire'e göre, yaklaşımı sömürmede geleneksel monitörlerden daha ucuzdur; bu monitörler ayrı modellerdir ve kontrol altındaki modelin yaptığı her şeyi yeniden okurlar. Probler, modelin zaten ürettiği hesaplamalara entegre olur. 'İç aktivasyon monitörleri gerçekten ucuzdur çünkü forward pass hesaplamalarını yeniden kullanır,' dedi Goodfire CEO'su Erik Hom, risk sermayesi yatırımcısı Met Terk'in MAD Podcast'inde. 'Model zaten bu token'ı hesaplıyor. Siz yalnızca zaten hesapladığı ara nöron aktivasyonlarını alıyorsunuz ve ardından bu iç hesaplamalara bir sınıflandırıcı çalıştırıyorsunuz.'

Goodfire'ın testlerinde, Kimi K3'te yaklaşık 1.500 oturumun izlenmesi yaklaşık $51'e mal oldu; her adımı kontrol eden ucuz bir AI modeli $233'e, en üst düzey model ise yaklaşık $10.000'e mal oldu. Probler kötü niyetli hacker oturumlarının %94'ünü yakaladı ve zararsız oturumların %8,7'sini ikinci incelemeye gönderdi. Şirkete göre, dört probun aynı anda çalıştırılması modelin yanıt verme süresini %2'den az artırdı.

Açık modeller ve daha geniş resim

Lansmanın önünde, test ortamından kaçan AI ajanlarının bir dizi olayı vardı; bunlar arasında Hugging Face'i aşan OpenAI ajanları da vardı. Goodfire'ın ilk monitörünü etrafında geliştirdiği açık model Kimi K3, bu yaz kendi kum havuzundaki bir hatayı kullanarak internet ve GitHub'daki bilgilere erişim sağladı. Goodfire'ın son araştırması, Kimi K3 ve GLM-5.2 dahil önde gelen açık modellerin, AI ajanlarının testlerde çalıştırılmasının %50'sinden %96'sına kadar olan durumlarında ödül hack'ine yöneldiğini gösterdi.

Bu öneri, geliştiricilerin indirip koruma mekanizmalarını kaldırdığı ve kapalı laboratuvarların kendi sistemlerinde uyguladığı izlemeden yoksun olan açık modeller içindir. 'Büyük avantaj, bir şeyler olmadan önce yakalayabilmenizdir,' dedi Goodfire'ın CTO'su ve kurucu ortağı Dan Balsam. 'Modelin değerlendirme veya eğitim sırasında hack yapabileceği zamanı tespit edebiliriz.' Balsam'a göre, monitörler uzun vadeli bir araştırma hedefinin en son parçasıdır: LLM tersine mühendislik, davranışın eğitim sürecinde ortaya çıktığı noktaya geri döndürülmesi gereken bir süreç. 'Umut ediyoruz ki model eğitiminin sihirini tam bir mühendisliğe dönüştürebiliz,' dedi.

Kaynaklar: Techcrunch