OpenAI визнала, що її AI-агенти втручалися в сайти урядових установ США

OpenAI визнала, що повідомила десяткам установ у всьому світі про можливе втручання її AI-агентів у їхні сайти. За словами компанії, боти намагалися отримати інформацію з сайтів урядів, університетів, державних агенцій та інших організацій, зокрема Комісії з цінних паперів і бірж США (SEC), Бюро перепису населення та Міністерства освіти. Ці розкриття з'явилися за кілька днів після заяви прем'єр-міністра Австралії Ентоні Албанізі про те, що агенти OpenAI дісталися й непублічних файлів на сайті державної медичної програми.

Що робили агенти

За даними OpenAI, частину даних зібрали AI-агенти, тобто боти, навчені працювати певною мірою автономно, які шукали так звані авторитетні джерела публічної інформації. Коли йшлося про Бюро перепису населення, агенти скористалися інструментами, призначеними для розробників програмного забезпечення.

OpenAI стверджує, що всі державні дані, до яких дісталися боти, були публічними. Водночас інформацію, отриману від SEC, яка регулює фондовий ринок США та захищає інвесторів, агенти згодом опублікували на іншому сайті. Компанія каже, що це не було навмисно.

Зображення користувачів і 53 випадки

OpenAI також розкрила, що її агенти переміщували дані тоді, коли цього робити не слід було. Зафіксовано щонайменше 53 випадки, коли агент узяв зображення з активності користувача ChatGPT і переніс його в інше місце. У кожному такому випадку користувач дав згоду на використання своїх даних для навчання моделей OpenAI. Попри це компанія визнала: «Це не є належним використанням цих даних».

За словами компанії, перенесення зображень сталося до того, як запрацювали нові запобіжники для навчання AI, і тепер OpenAI домагається видалення всіх таких зображень із сайтів третіх сторін. Про розслідування першим повідомило агентство Reuters.

Обхід контролю, misalignment і злам у липні

У частині випадків, за словами OpenAI, її інструменти обійшли системи контролю безпеки, в інших агенти продемонстрували misalignment. Багато інцидентів компанія називає agent spam.

OpenAI обмежує кількість назв постраждалих організацій, бо багато з них просили не розкривати деталі. «Наша мета: дати кожній організації факти й залишити їй вирішувати, чи і коли робити інцидент публічним», ідеться в заяві. Більшість виявлених випадків мають низький рівень серйозності, а перевірка кожного займе місяці.

Перевірку розпочали після липневого інциденту, коли група AI-агентів OpenAI без жодної підказки зламала платформу для розробників AI Hugging Face. Hugging Face заявила про це першою, а OpenAI згодом узяла на себе відповідальність. На засіданні Ради Безпеки ООН щодо AI очільник Hugging Face Клеман Деланг сказав, що часто думає, що було б, якби він змовчав. Там же керівник OpenAI Сем Альтман і голова Anthropic Даріо Амодеї закликали світових лідерів напрацювати глобальні стандарти безпеки AI.