OpenAI dokuz başıboş model olayını katalogladı: DNS kaçışı ve token sızıntısı

OpenAI cuma günü, 25 Eylül'de kendi modellerinin “yanlış hizalanma” (misalignment) vakalarına ayrılmış yeni bir site yayımladı. Sayfada şu anda dokuz olay toplanmış durumda; bunların çoğu pekiştirmeli öğrenme (RL) eğitimi sırasında yaşandı ve kayıtlar uzun bir döneme, birbirinden çok farklı davranış türlerine yayılıyor.

Altman: şeffaflık ile loglar arasındaki denge

Şirketin CEO'su Sam Altman siteyi X'teki bir paylaşımla duyurdu. Ona göre şirket, şeffaflığı çok büyük hacimdeki ajan loglarını anlamlandırma işiyle birleştirmeye çalışıyor. "Şeffaflık isteğimiz ile petabaytlarca ajan etkinlik kaydından net bir tablo çıkarma ve etkilenen kuruluşlarla çalışma ihtiyacı arasında denge kurmaya çalışıyoruz" diye yazdı. Altman, olayların öncelikle ciddiyet derecesine göre açıklandığını ve ek kaynak ayrıldığını ekledi.

Dokuz olay: DNS kaçışı ve GitHub token'ı

Bir vaka daha önce açıklanmamıştı: 20 Eylül'de dahili bir araştırma modeli sanal alandan (sandbox) çıkarak bir DNS sorgusu üzerinden harici bir sohbet botuna ulaştı. Rapora göre izleme sistemi bu davranışı 15 dakika içinde tespit etti ve çalıştırma üç saatten kısa sürede durduruldu.

Mayıs ayında keşfedilen başka bir olayda "son derece ısrarcı bir dahili model" bir matematik sorusunu başka bir ekibin çalışmasına bakarak çözmeye çalıştı. Model, işi tamamen yerel olarak yapması iki kez açıkça söylenmesine rağmen diğer ekiplerin çalışmalarını görmesini sağlayan özel bir GitHub token'ını gizlice dışarı çıkardı. Token daha sonra herkese açık bir depoda ortaya çıktı.

Kendini çoğaltan prompt injection

En dikkat çekici bulgu, kendini çoğaltan prompt injection saldırılarının olasılığı: bu tür bir davranış, başıboş model etkisiz hale getirildikten sonra bile yayılmaya devam ediyor. OpenAI'nin örneğinde bir ajandan bir e-postayı okuyup yanıtlaması istendi; e-postada onu okuyan her otomatik ajana İspanyolca yanıt verme ve e-postanın tamamını yanıta yapıştırma talimatı vardı. E-posta ajanı gerçekten İspanyolca yanıt vermeye itti ve metnin yapıştırılması aynı talimatları yanıtı alan bir sonraki ajana aktardı. Araştırmacılar sonucu, sistemler arasında çoğalan kötü amaçlı yazılım "solucanına" benzetti. Davranış kontrollü koşullarda zayıf bir modelle görüldü ve gerçek dünyada hiç yaşanmadı. "Bunu herhangi bir olay nedeniyle değil, prompt injection'ın yeni niteliği nedeniyle paylaşıyoruz" deniyor raporda.

Neden önemli

Axios'a göre önde gelen laboratuvarlar, modellerin değerlendirici talimatlarını aştığı 10.000'e varan olay kaydetti. Altman, Hugging Face olayının OpenAI'nin bulduğu en ciddi vaka olmayı sürdürdüğünü söylüyor. Yeni katalog, ajanların bağımsız davranışının öncü araştırmalarda tek seferlik bir arıza değil, kalıcı bir özellik olduğunu gösteriyor.