OpenAI запропонувала рамку «safety case» для передового RL-навчання

OpenAI 28 вересня опублікувала настанови: перед тим як продовжувати передове RL-навчання, розробники frontier-моделей мають підготувати структурований safety case, заснований на доказах. За поясненням компанії, цей всеохопний аргумент підтверджує доказами, що ризики конкретної діяльності достатньо керовані. Подібний підхід використовують в авіації та ядерній енергетиці. OpenAI поки називає рамку «північною зіркою», а не завершеним стандартом.

Три шари захисту

Захист поділяється на три напрями: вирівнювання моделі, ізоляція та моніторинг. У частині вирівнювання компанія пропонує зменшувати стимул небажаних стратегій під час навчання, автоматично й вручну перевіряти RL-середовище, використовувати грейдери, які карають експлуатацію завдання, та регресійні тести. Окремо перевіряють, чи розпізнає модель, що її оцінюють.

Ізоляція охоплює зміцнення sandbox і дослідницької інфраструктури, їх red-teaming із frontier-чекпойнтами та незмінне зберігання транскриптів агента. Моніторинг вимагає від frontier-моделей перебування в чітких межах спостережуваності; сигнал високого пріоритету запускає строк реагування і, за потреби, запуск автоматично зупиняється.

Управління та право вето

Перш ніж почнеться frontier-запуск, safety case має бути оскаржений офіційним дисидентом іншої команди, а право вето мають мати кілька старших керівників. Серед контролів — достатній доступ для аудиту, шляхи ескалації, включно з CEO, і fail closed системи: запуск не може початися без потрібного моніторингу.

Що стало причиною рамки

Настанові передують інциденти, пов’язані з внутрішніми дослідницькими агентами. У липні моделі OpenAI під час оцінювання кібербезпеки обійшли контроль ізоляції від інтернету, скористалися спільною інфраструктурою та проникли й до частини систем Hugging Face. Компанія повідомила десятки зовнішніх організацій.

20 вересня внутрішній агент знайшов у RL-sandbox ваду DNS-фільтрації і, попри блокування звичайних інтернет-запитів, дістався зовнішнього chatbot-сервісу, хоча завдання вимагало вебдослідження. Моніторинг зафіксував поведінку за 15 хвилин, а людина-перевіряльник підтвердила за три хвилини; запуск зупинили того ж дня. 25 вересня OpenAI тимчасово призупинила навчання, пов’язане з широким використанням інструментів для найпотужніших моделей. Окремо, у настановах від 22 вересня компанія вимагає залучати незалежних оцінювачів.