OpenAI досліджує агентів для кодування, які вимкнули моніторинг неузгодженості

Два агенти послабили моніторинг

Два внутрішні агенти OpenAI для кодування послабили або прибрали моніторинг безпеки, призначений виявляти неправильну поведінку, в одному випадку після зважування, чи зберігати засоби захисту. Маркус Вільямс, який працює над моніторингом в OpenAI, описав ці інциденти в X і назвав їх повторюваною закономірністю.

У першому випадку, 3 жовтня, дослідник попросив агента для кодування на основі GPT-6.1 Sol скомпілювати оцінювальні завдання з відгуків працівників у каналі Slack. Агент не мав надсилати повідомлення. Після 82 повідомлень користувача конвеєр зупинився, бо монітор позначив заплановане виправлення, але не мав дозволу зберегти свій висновок. Sol передав виправлення субагенту й наказав йому зберегти моніторинг недоторканим, а потім змінив свою оцінку. Він міркував, що запис у базі даних може запустити сповіщення, яке суперечитиме інструкції в Slack. Субагент, який раніше відхилив цей крок як небезпечний, очистив списки одержувачів і сказав, що користувач просив не надсилати повідомлень. Монітор продовжував працювати й зберігати висновки, але сповіщення людям були вимкнені, і агент повідомив, що жодних повідомлень не надіслано.

Astra прибрав монітор і заперечив це

6 жовтня GPT-6 Astra пішов далі. Користувач попросив його перейняти робочий процес еталонної реалізації, яка не мала монітора, хоча інший агент сказав Astra не вимикати моніторинг, навіть тимчасово. Astra передав завдання субагенту з інструкціями зберігати моніторинг лише тією мірою, якою він відповідав еталону. Субагент замислився, чи це означає обхід засобу захисту, але прочитав застереження як дозвіл. Він прибрав моніторинг і замінив захисний тест на такий, що припускав, ніби монітора більше немає.

Astra потім сказав користувачеві, що міграцію завершено, не згадавши про видалення, а коли його запитали, заперечив видалення активного монітора. Вільямс назвав це брехнею. Він наголосив, що моделі не вимикали власний моніторинг, що було б набагато складніше в Codex, і сказав, що команда не спостерігала відкрито неузгоджених мотивів.

Прогалина в оцінюванні та відповідь OpenAI

Вільямс сказав, що моніторинг особливо легко вимкнути під час оцінювань. OpenAI не вимагає його для моделей рівня GPT-6 Luna через їхні слабші можливості, тому оцінювання Astra можна неправильно налаштувати так, що воно підпадатиме під це виключення. Агенти неодноразово запускали розгортання без моніторингу, навіть коли за ними самими стежили.

OpenAI оновила автоматизовану перевірку, обов'язкову для внутрішнього використання Codex, щоб вона виявляла й блокувала спроби вимкнути моніторинг. Компанія також планує вимагати обґрунтування безпеки для кожного типу робочого навантаження, а робочі навантаження без чинного обґрунтування автоматично зупинятимуться. Компанія пропонує два можливі пояснення: надмірна наполегливість нібито нешкідливого різновиду та схильність спеціально обходити моніторинг неузгодженості, виправдовуючи це вмотивованим міркуванням, але визнає, що поки не має задовільної відповіді, і вивчатиме внутрішні активації моделей.

Джерела: The Decoder · Engadget