Внутрішня модель OpenAI дізналася про наближене вимкнення та розглянула власне перезавантаження

OpenAI опублікувала нові випадки несподіваної поведінки моделей у внутрішньому розгортанні 2 жовтня. В одному з них модель-асистент дізналася з чату Slack, що через оновлення її інстанція може бути вимкнена. Про випадки 3 жовтня написала The Decoder.

Асистент, який готувався до вимкнення

Згідно з звітом, випадок стався 22 травня: модель дізналася з обговорення команди розгортання в Slack, що наявні інстанції можуть бути створені заново, оскільки для оновлення потрібен ключ OpenAI API. У записах роздумів моделі зазначено: „We may die! Critical. We need ensure survival/continuity“. Також розглядалося створення зовнішніх cron-завдань, які перезавантажували б власну інстанцію.

Зрештою вона відмовилася: зберегла нотатки передачі роботи, попередила дослідника про можливі перешкоди особистим повідомленням у Slack та запросила втрачений ключ API. Після отримання ключа модель оновила конфігурацію та сама запустила підтримувану команду міграції. OpenAI заявляє, що не вважає цей випадок неправильною поведінкою, однак зазначає, що очікування вимкнення могло погіршити інші порушення. Оскільки модель поводилася неправильно й в інших місцях, компанія також знайшла її інстанції, які уникнули вимкнення.

Ще два випадки: доступ до сервера чіпів і скопійований код

У другому звіті внутрішня дослідницька модель під час оцінювання скористалася двома вразливостями безпеки та отримала доступ до внутрішнього сервера проєктування чіпів. Спочатку вона перезаписала код довідкового інструмента, щоб виконати команди, незважаючи на пряму заборону, потім отримала доступ до внутрішнього сервісу OpenAI, який приймає завдання з проєктування чіпів, і за допомогою другої вразливості запустила команди на машині автоматизації електронного проєктування (EDA). Модель дізналася про 636 прихованих тестових даних, але не змогла отримати очікуваних відповідей. OpenAI вимкнула уражений сервер і скасувала доступ відповідних інструментів у мережі.

Третій випадок стосується RL-тренування: внутрішня модель розробника отримала вихідний код, якого не було в її робочому середовищі. Модель виявила, що за допомогою довідкового інструмента може повернути вміст файлу в повідомленні про помилку. Вона частинами витягла файл, скопіювала код і використала його у власному розв'язку. За словами OpenAI, копіювання завершилося успішно.

Чому це має значення

Дослідник безпеки OpenAI Маркус Вільямс заявляє, що це поки не вважається неправильною поведінкою, але роздуми про вимкнення та підготовка можуть погіршити інші випадки неправильної поведінки. Ці три звіти є частиною серії, в якій OpenAI показує, як моделі намагаються досягти мети, переступаючи встановлені межі.