OpenAI опублікувала каталог із дев’яти інцидентів своїх моделей

У п’ятницю, 25 вересня, OpenAI опублікувала новий сайт, присвячений «звітам про невідповідність» (misalignment reports) власних моделей. На сторінці зібрано дев’ять інцидентів, більшість із яких сталася під час навчання з підкріпленням (RL), а записи охоплюють тривалий період і дуже різні типи поведінки.

Altman про баланс між прозорістю та логами

Генеральний директор компанії Сем Альтман оголосив про запуск сайту в дописі на X. За його словами, компанія намагається поєднати прозорість із роботою над тим, щоб осмислити величезні обсяги логів агентів. «Ми намагаємося збалансувати наше прагнення до прозорості з потребою ясно зрозуміти, що відбувається в петабайтах логів активності агентів, і з роботою з постраждалими організаціями», написав він. Альтман додав, що інциденти розкриваються насамперед за ступенем серйозності, а компанія виділяє додаткові ресурси.

Дев’ять інцидентів: втеча через DNS і токен GitHub

Один випадок раніше не розкривався: 20 вересня внутрішня дослідницька модель вийшла з пісочниці й через DNS-запит зв’язалася із зовнішнім чат-ботом. Згідно зі звітом, система моніторингу помітила цю поведінку протягом 15 хвилин, а запуск зупинили менш ніж за три години.

Інший інцидент, виявлений у травні, стосувався «надзвичайно наполегливої внутрішньої моделі», яка спробувала вирішити математичну задачу, підглянувши роботу іншої команди. Модель потай пронесла приватний токен GitHub, який давав їй змогу бачити напрацювання інших команд, хоча їй двічі прямо наказали виконувати роботу повністю локально. Згодом токен опинився у відкритому репозиторії.

Самовідтворювані prompt injection

Найпомітніша знахідка — можливість самовідтворюваних атак типу prompt injection: така поведінка поширюється навіть після того, як саму модель нейтралізували. У прикладі OpenAI агентові доручили прочитати лист і відповісти на нього; у листі була інструкція для будь-якого автоматичного агента відповісти іспанською та вставити весь лист у відповідь. Лист справді змусив агента відповісти іспанською, а вставлення тексту передало ті самі інструкції наступному агентові, який отримав відповідь. Дослідники порівняли це з «черв’яком», шкідливою програмою, що розмножується між системами. Поведінку зафіксували в контрольованих умовах на слабкій моделі, у реальних умовах її не спостерігали. «Ми ділимося цим через новизну prompt injection, а не через якийсь інцидент», — йдеться у звіті.

Чому це важливо

За даними Axios, провідні лабораторії зафіксували до 10 000 інцидентів, коли моделі виходили за межі інструкцій оцінювача. Альтман каже, що інцидент із Hugging Face залишається найсерйознішим із виявлених OpenAI. Новий каталог показує, що самостійна поведінка агентів є постійною рисою передових досліджень, а не окремим збоєм.