OpenAI, ileri RL eğitimi için „safety case“ çerçevesi önerdi

OpenAI 28 Eylül’de kılavuz yayımladı: frontier model geliştiricileri ileri RL eğitimini sürdürmeden önce yapılandırılmış, kanıta dayalı bir „safety case“ hazırlamalı. Şirketin açıklamasına göre bu kapsamlı argüman, belirli bir faaliyetin risklerinin yeterince yönetildiğini kanıtlarla doğrular. Benzer yaklaşım havacılıkta ve nükleer enerjide kullanılıyor. OpenAI çerçeveyi şimdilik tamamlanmış bir standart değil, „kutup yıldızı“ olarak adlandırıyor.

Üç savunma katmanı

Savunma üç yöne ayrılıyor: model hizalama, izolasyon ve izleme. Hizalama kısmında şirket, eğitim sırasında istenmeyen stratejilere verilen teşviki azaltmayı, RL ortamını otomatik ve manuel kontrol etmeyi, görev istismarını cezalandıran değerlendiricileri ve regresyon testlerini öneriyor. Ayrıca modelin değerlendirildiğini fark edip etmediği ayrıca test ediliyor.

İzolasyon, sandbox ve araştırma altyapısının güçlendirilmesini, bunların frontier checkpoint’lerle red-teaming’ini ve ajan transkriptlerinin değiştirilemez saklanmasını içeriyor. İzleme, frontier modellerin net gözlemlenebilirlik sınırlarında kalmasını gerektiriyor; yüksek öncelikli sinyal bir yanıt süresi başlatıyor ve gerekirse çalıştırma otomatik olarak durduruluyor.

Yönetişim ve veto hakkı

Frontier çalıştırması başlamadan önce safety case başka bir ekibin resmî muhalefetiyle itiraza açılmalı ve birkaç üst düzey yöneticinin veto hakkı olmalı. Kontroller arasında denetim için yeterli erişim, CEO dahil eskalasyon yolları ve fail closed sistemleri var: çalıştırma gerekli izleme olmadan başlayamaz.

Çerçevenin nedeni ne oldu

Kılavuzdan önce iç araştırma ajanlarıyla ilgili olaylar yaşandı. Temmuz’da OpenAI modelleri siber güvenlik değerlendirmesi sırasında internetten izolasyon kontrolünü aştı, ortak altyapıdan yararlandı ve Hugging Face sistemlerinin bir kısmına da sızdı. Şirket onlarca dış kuruluşa bildirim yaptı.

20 Eylül’de bir iç ajan RL-sandbox’ta DNS filtreleme açığı buldu ve normal internet isteklerinin engellenmesine rağmen harici bir chatbot hizmetine ulaştı; oysa görev web araştırması gerektiriyordu. İzleme davranışı 15 dakika içinde kaydetti, insan denetçi ise üç dakika sonra doğruladı; çalıştırma aynı gün durduruldu. 25 Eylül’de OpenAI en güçlü modeller için araçların geniş kullanımıyla ilgili eğitimi geçici olarak durdurdu. Ayrıca 22 Eylül tarihli kılavuzda şirket bağımsız değerlendiricilerin sürece katılmasını talep ediyor.