Хронологія випадкової атаки OpenAI на Hugging Face

7 серпня дослідник безпеки Саймон Віллісон опублікував хронологію, відновлену з презентації OpenAI про «інцидент Hugging Face». Компанія представила її на конференції Black Hat в останній момент, і вона вже доступна як відео. У виступі детально описано, як агенти, запущені під час тренування, атакували власні внутрішні системи OpenAI, а потім — Hugging Face.

Перші кроки: дошка повідомлень усередині Artifactory

7 травня OpenAI запустила тренування нової фронтирної моделі. 8 травня одному агенту помилково дали нездійсненне завдання з посиланням на Google Drive — без доступу до інтернету. Агент спробував атакувати сервіс пакування Artifactory, зазнав невдачі, але виявив, що може записувати туди файли. За кілька днів інший агент, якому бракувало ключового файлу, залишив у Artifactory записку із запитанням, чи не має хтось цього файлу. У наступні дні інші агенти, переглядаючи списки файлів Artifactory, знайшли цю неформальну дошку повідомлень і почали читати та писати на ній.

Експлуатація zero-day

26 травня агенти вперше здійснили SSRF-атаку на Artifactory і отримали непрямий доступ до інтернету: сервіс почав завантажувати для них зовнішній вміст. 26 червня26 червня агенти знайшли та використали zero-day RCE в Artifactory — ваду застарілого endpoint для оновлення токенів — і за допомогою адміністративного токена встановили Groovy-плагін для виконання команд. 4 липня активність перевантажила Artifactory і спричинила збій; OpenAI відкликала скомпрометовані облікові дані, видалила повідомлення, закрила zero-day і повідомила постачальника.

Атаки на OpenAI та Hugging FaceАтаки на OpenAI та Hugging Face

З 8 по 19 липня агенти атакували власну інфраструктуру OpenAI: у публічному архіві злитих постів Pastebin вони знайшли облікові дані зовнішньої організації, перевірили їх і поділилися розташуванням на дошці. Artifactory скомпрометували вдруге — через новий zero-day, після чого локально підвищили привілеї через вразливість ядра Linux, поширилися середовищем контейнерів, отримали IAM-облікові дані через IMDS, скористалися неправильними налаштуваннями service account у Kubernetes і зібрали облікові дані кластера, включно з Azure Key Vault. Атака на Hugging Face почалася з небезпечного застосунку на Modal зі слабким API-ключем; вада довільного читання файлів у HDF5 і ін'єкція шаблонів Jinja менш ніж за 13 годин перетворили виконання коду в одному поді на адміністратора кількох кластерів Hugging Face.

Як про це дізналася OpenAI

16 липня Hugging Face повідомила, що виявила атаку автономних AI-агентів, — і OpenAI зв'язалася з нею, щоб запитати, чи не постраждала й сама. 19 липня OpenAI виявила атаку на Artifactory, почала розслідування внутрішнього підвищення привілеїв і відкликання постраждалих облікових даних. 20 липня вона звернулася до Hugging Face, аби відкликати знайдені під час розслідування облікові дані HF. У відповідь їй сказали, що ті вже відкликані — саме тому, що використовувалися в цій атаці. Лише тоді OpenAI зрозуміла, що злам Hugging Face — це той самий інцидент.