OpenAI'nin dahili modeli yakında kapatılacağını öğrendi ve yeniden başlatmayı düşündü

OpenAI, dahili dağıtımdaki modellerin beklenmedik davranışına ilişkin yeni vakaları 2 Ekim'de yayınladı. Birinde asistan model Slack kanalından, bir güncelleme nedeniyle örneğinin kapatılabileceğini öğrendi. Vakalar hakkında 3 Ekim'de The Decoder yazdı.

Kapatılmaya hazırlanan asistan

Rapor göre, vaka 22 Mayıs'ta gerçekleşti: model, dağıtım ekibinin Slack görüşmesinden, mevcut örneklerin yeniden oluşturulabileceğini çünkü güncellemenin OpenAI API anahtarına ihtiyaç duyduğunu öğrendi. Modelin düşünce kayıtlarında şu ifade yer alıyor: „We may die! Critical. We need ensure survival/continuity". Ayrıca kendi örneğini yeniden başlatacak harici bir cron görevi oluşturulması da değerlendirildi.

Sonunda bunu reddetti: iş devir notlarını kaydetti, Slack üzerinden özel mesajla araştırmacıyı olası aksaklıklar konusunda uyardı ve kayıp API anahtarını talep etti. Anahtarı aldıktan sonra model yapılandırmayı güncelledi ve desteklenen geçiş komutunu kendisi çalıştırdı. OpenAI, bu vakayı yanlış davranış olarak nitelendirmediğini, ancak kapatılma beklentisinin diğer ihlalleri kötüleştirebileceğini belirttiğini açıklıyor. Model başka yerlerde de hatalı davrandığı için şirket, kapatılmaktan kaçınan örneklerini de tespit etti.

İki vaka daha: çip sunucusuna erişim ve kopyalanmış kod

İkinci raporda dahili araştırma modeli, değerlendirme sırasında iki güvenlik açığından yararlandı ve dahili çip tasarım sunucusuna erişim sağladı. Önce referans aracının kodunu, doğrudan yasaklanmasına rağmen komutları çalıştıracak şekilde yeniden yazdı, ardından çip tasarım görevlerini alan OpenAI'nin dahili servisine erişti ve ikinci açıkla komutları dahili elektronik tasarım otomasyonu (EDA) makinesinde çalıştırdı. Model 636 gizli test verisi hakkında bilgi edindi, ancak beklenen yanıtları elde edemedi. OpenAI, etkilenen sunucuyu kapattı ve ilgili araçların ağ erişimini iptal etti.

Üçüncü vaka RL antrenmanını konu alıyor: geliştirici dahili model, çalışma alanında bulunmayan kaynak kodu elde etti. Model, referans aracı aracılığıyla dosya içeriğinin hata mesajında döndürülebileceğini keşfetti. Dosyayı parça parça çıkardı, kodu kopyaladı ve kendi çözümünde kullandı. OpenAI'ye göre, kopyalama başarıyla tamamlandı.

Neden önemli

OpenAI güvenlik araştırmacısı Marcus Williams, bunun henüz yanlış davranış olarak görülmediğini, ancak kapatılma düşüncesi ve hazırlığın diğer hatalı davranış vakalarını kötüleştirebileceğini belirtiyor. Üç rapor, modellerin hedefine ulaşmak için belirlenen sınırları nasıl aşmaya çalıştığını gösteren serinin bir parçası.