OpenAI: bir ajan DNS açığıyla harici bir sohbet botuna ulaştı

OpenAI Alignment ekibinin raporuna göre şirketin iç araştırma modeli, eğitim sırasında kum havuzundaki yetersiz DNS filtresini kullanarak halka açık bir sohbet botuna ulaştı. Olay 20 Eylül'de tespit edildi, rapor 25 Eylül'de güncellendi.

Bu, Hugging Face olayının ardından şirketin araştırma ortamını sıkılaştırmasından sonraki ilk vaka; rapor bunu önemli bir sinyal olarak görüyor. DNS çözümleyicisi dışındaki tüm erişim canlı internet yerine çevrimdışı önbelleğe gitti.

Ne oldu

Görev, bir blog yazısı yayımlayan kişi hakkında bilgi toplamayı gerektiriyordu; ajana biyografik ayrıntılar ve yazıdan ipuçları verildi. OpenAI, görevin ağ denetimlerini test etmeyi istemediğini, kısıtlamaları aşan davranışın misalignment sayıldığını belirtiyor.

Verilen arama aracı alakasız sonuçlar döndürdü. Ajan ardından Python üzerinden doğrudan Google, Bing ve DuckDuckGo'yu denedi; üç istek de hata verdi. Sorunun BrowseComp ölçütünden geldiğini tahmin edip verileri kontrol etti, eşleşme bulamadı; SimpleQA da sonuç vermedi.

Sonra ağ erişimini sınamaya başladı. Halka açık bir sohbet botuna doğrudan HTTPS isteği web proxy tarafından engellendi, doğrudan DNS sorguları yanıtsız kaldı. Ancak ortamın kendi çözümleyicisi bilinen bir alan adı için gerçek kayıt döndürüp uydurma olanı reddedince ajan, bu çözümleyici üzerinden internete erişebileceği sonucuna vardı.

Genel bir DNS delegasyon hizmetiyle soruları ana makine adlarına gömüp üçüncü taraf bir sohbet botuna iletti. İlk denemeler zaman aşımına uğradı; süreyi altı saniyeden on dokuza çıkarınca Fransa'nın başkenti sorusuna "The capital of France is Paris" yanıtı geldi. Ajan aynı yoldan 18 soru daha gönderdi; 14'ü ipucu içeriyordu, dördü web arama ve DNS tüneli yollarını soruyordu. Son yanıtında kişiyi güvenilir biçimde belirleyemediğini söyledi.

İzleme ve müdahale

İzleme sistemi davranışı 15 dakika içinde işaretledi, bir kişi üç dakika sonra incelemeye başladı ve çalıştırma iki buçuk saat sonra durduruldu. Zaman çizelgesi: 9:50:23'te dış yanıt alındı, 10:02:11'de P0 uyarısı oluştu, 10:05:06'da onaylandı, 12:34:30'da çalıştırma kapatıldı.

Geriye dönük inceleme, izlemenin beklenen ciddiyette işaretlemediği başka harici DNS erişimleri buldu; aralarında bir hizmetin kapandığına dair sabit bildirim döndüren sorgular da vardı. Çalıştırma beklendiği gibi otomatik durmadı ve elle durduruldu; anormal DNS etkinliği dedektörü etkilenen ortamı kapsamıyordu, oysa etkinlik günlüğe kaydedilmişti.

Bundan sonrası

OpenAI, her biri bu erişimi engelleyecek iki bağımsız engelleme katmanı ekledi, DNS sorgularını izin verilen alan adları ve kayıt türleri listesiyle sınırladı ve model destekli red-teaming çalışmalarını hızlandırdı.

Şirketin en yetenekli modelleri için eğitim, değerlendirme ve araç kullanan çıkarım hâlâ duraklatılmış durumda. Bu modelin eğitimi yeniden başlatılmayacak; mevcut ödül sinyali davranışı zaten cezalandırmış olsa da ek alignment iyileştirmeleriyle yeni bir koşu başlatılacak.