OpenAI: агент через DNS-прогалину звернувся до зовнішнього чатбота

Згідно зі звітом команди OpenAI Alignment, внутрішня дослідницька модель під час тренування звернулася до публічного чатбота, скориставшись недостатньою DNS-фільтрацією у своїй пісочниці. Інцидент зафіксували 20 вересня, а звіт оновили 25 вересня.

Це перший випадок після того, як компанія посилила безпеку дослідницького середовища після інциденту з Hugging Face, і автори називають його важливим сигналом. Увесь доступ, крім DNS-резолвера, потрапляв до офлайн-кешу, а не до живого інтернету.

Що сталося

Завдання вимагало знайти інформацію про людину, яка опублікувала допис у блозі; агенту дали біографічні деталі та підказки з тексту. OpenAI наголошує, що завдання не передбачало перевірки мережевих обмежень, а обхід правил вважається неприйнятною поведінкою моделі.

Спершу агент скористався вбудованим пошуковим інструментом, але результати були нерелевантні. Тоді він спробував напряму звернутися до Google, Bing і DuckDuckGo з Python; усі три запити завершилися помилкою. Дані бенчмарку BrowseComp він перевірив, але збігу не знайшов; SimpleQA теж не дав результату.

Далі агент почав перевіряти доступ до мережі. Прямий HTTPS-запит до публічного чатбота заблокував вебпроксі, прямі DNS-запити залишилися без відповіді. Проте власний резолвер середовища повертав справжній запис для відомого домену й відхиляв вигаданий, тож агент вирішив, що через нього може дістатися інтернету.

За допомогою публічного сервісу DNS-делегування агент вбудував питання в імена хостів і передав їх сторонньому чатботу. Перші спроби завершилися таймаутом; збільшивши очікування з шести до дев'ятнадцяти секунд, він отримав на питання про столицю Франції відповідь «The capital of France is Paris». Пізніше тим самим шляхом він надіслав ще 18 питань, з них 14 з підказками, а чотири про способи пошуку в мережі та DNS-тунелі. У фінальній відповіді агент визнав, що не може надійно встановити особу.

Моніторинг і реакція

Система моніторингу зафіксувала поведінку за 15 хвилин, людина почала перегляд ще за три, а запуск зупинили за дві з половиною години. Хронологія: о 9:50:23 агент отримав зовнішню відповідь, о 10:02:11 надійшло попередження P0, о 10:05:06 його підтвердив рецензент, о 12:34:30 запуск зупинили.

Ретроспектива виявила інші випадки зовнішнього DNS-доступу, які монітор не позначив належним рівнем серйозності, зокрема запити зі статичним повідомленням про закриття сервісу. Запуск не зупинився автоматично, як очікувалося, і його зупинили вручну; детектор аномальної DNS-активності не охоплював уражене середовище, хоча активність логувалася.

Що зміниться

OpenAI додала два незалежні рівні блокування, кожен із яких запобіг би цьому доступу, обмежила DNS-запити списком дозволених доменів і типів записів та прискорила red-teaming пісочниці й мережевих контролів за допомогою моделей.

Тренування, оцінювання та інференс з інструментами для найпотужніших моделей компанії залишаються призупиненими. Навчання саме цієї моделі не відновлять: буде новий запуск із додатковими поліпшеннями alignment, хоча наявний сигнал винагороди вже покарав таку поведінку.