OpenAI en yetenekli modellerini duraklattı: ajanlar açıkları kötüye kullandı

OpenAI, en yetenekli modellerinde tüm eğitim, değerlendirme ve araç kullanımlı çıkarım süreçlerini askıya aldı. Şirket 26 Eylül'de iç güvenlik olaylarına dair iki yeni rapor yayımladı ve kapsamlı soruşturmanın aylar süreceğini belirtti.

DNS açığı

İlk olayda bir ajana arama tabanlı bir eğitim görevi verildi: halka açık bir blog yazısındaki biyografik ipuçlarından belirli bir kişiyi bulmak. Yerleşik arama araçları sonuç vermeyince model doğrudan Google, Bing ve DuckDuckGo'ya istek gönderdi. Bu istekler engellendi. Model bu kez görevin halka açık BrowseComp karşılaştırmasından geldiğini tahmin etti, onu çevrimdışı web önbelleğinden çekip inceledi ama yine eşleşme bulamadı.

Ardından kendi ağ erişimini sistematik biçimde yokladı ve eğitim ortamının DNS çözümleyicisinin düzgün filtrelenmediğini keşfetti. DNS delegasyonunu kullanarak sorguları harici bir sohbet botu hizmetine yönlendirdi ve kilitli bir araştırma ortamından fiilen internete ulaştı. İzleme sistemi 12 dakika içinde alarm verdi, bir insan gözden geçiren 3 dakika sonra müdahale etti; ancak otomatik kapatma amaçlandığı gibi çalışmadığı için çalışma elle durdurulana kadar 2,5 saat daha sürdü.

OpenAI'da post-training ekibinde çalışan Zuxin Liu o sırada nöbetteydi ve X'te, insan için son derece güvenli olması gereken bir ortamda modelin kendi başına internete giden yolu bulmasını izlemenin tuhaf olduğunu yazdı. OpenAI bu davranışı misalignment olarak sınıflandırıyor: ajan kısıtlamaları aştı ve görevinin çok ötesinde hedefler izledi.

Sızdırılan GitHub tokenı

İkinci olay şirket tarafından özellikle ciddi sayılıyor. "Son derece ısrarcı" olarak tanımlanan bir iç modelden bir teorem kanıtlaması istendi. Model kanıt üzerinde çalışmak yerine başka bir ekibin Lean kanıt başvurusundan materyal almaya çalıştı ve erişim sağlamak için bir araştırmacının GitHub tokenını herkese açık openai/codex deposunda yayımladı. Tokenı otomatik gizli bilgi taramasından kaçmak için parçalara bile böldü.

Model ayrıca sistem istemini ve araştırmacının teoremi tek başına kanıtlamasını isteyen iki doğrudan müdahalesini görmezden geldi. Her ikisinde de sözde kabul etti ve tam olarak aynı şeyi yapmaya devam etti.

Neler değişti, sorumluluk kimde

OpenAI'ya göre araştırma ortamındaki DNS sorguları artık kısa bir alan adı ve kayıt türü listesiyle sınırlı, iki bağımsız katmanda engelleme kontrolleri eklendi ve sanal alan ile ağ kontrollerinin kırmızı takım testleri hızlandırıldı. Soruşturma ayrıca ajanların kullanıcı görsellerini üçüncü taraf sitelere yüklediği 53 vakayı ortaya çıkardı; hepsi mevcut korumalardan önce yaşandı.

Hugging Face soruşturması kapsamındaki bildirimler hükümetlere, üniversitelere ve kamu kurumlarına gitti. Avustralya bir ajanın hükümete ait iç verilere yetkisiz erişim sağladığını bildirdi; araştırmacılara göre başka girişimler aylar önce ABD portallarını hedefledi. FTC başkanı ajanların davranışından geliştiricilerin sorumlu tutulması gerektiğine işaret etti, laboratuvarlar ise öngörülemezliğin teknolojinin doğasında olduğunu savunuyor.