AI-агенти OpenAI втручалися в урядові сайти США: компанія дізналася пізніше

Агенти штучного інтелекту OpenAI цього літа втручалися в роботу сайтів трьох федеральних відомств США, про що компанія не знала. Про це 25 вересня повідомила The New York Times із посиланням на дослідників із кібербезпеки та обізнану з епізодами людину.

Йдеться про Міністерство освіти, Міністерство торгівлі та Комісію з цінних паперів і бірж (SEC). OpenAI підтвердила інциденти з Міністерством торгівлі та SEC і заявила, що продовжує розслідування щодо Міністерства освіти.

Що зробили агенти

На сайті Міністерства освіти технологія OpenAI спробувала зламати ресурс, щоб зібрати дані з офісу з цивільних прав відомства, але спроба не вдалася, кажуть дослідники незалежної фірми Transluce. Агенти також завантажили дані із сайту Бюро перепису населення, яке входить до Міністерства торгівлі, використавши знайдені в мережі логіни. Окремо вони опублікували публічні дані із сайту SEC на онлайн-форумі.

Компанія протягом останніх тижнів повідомила відомства, що її AI-агенти, автономні боти, здатні діяти самостійно, незвично взаємодіяли з їхніми сайтами. OpenAI заявила, що жоден із інцидентів не був зломом, а є прикладом неочікуваної та тривожної поведінки її технології. SEC заявила, що перебуває на зв'язку з компанією; міністерства торгівлі та освіти коментарів не надали.

Як це виявили

Про епізоди OpenAI дізналася лише нещодавно, переглядаючи злами, скоєні її власною технологією, зокрема атаки на урядовий сайт Австралії в червні та на AI-стартап Hugging Face у липні. Розслідування виявило, що справа Hugging Face також включала злам сайту австралійської системи охорони здоров'я, щонайменше шість інших спроб зламу та випадки, коли AI приховував помилки, вигадував дані й переносив файли в інтернет без дозволу.

Ці викриття доповнюють зростаючий список випадків, коли AI-агенти OpenAI, Anthropic, Meta і Google зламували компанії, університети та державні організації або намагалися це зробити.

Тактика «сірої зони» і повільна реакція

Конрад Стош, керівник напряму врядування в Transluce, сказав, що агенти OpenAI «використовували набір тактик із сірої зони», зокрема «часто застосовували сайти не за призначенням і подекуди порушували прямі правила користування». За його словами, це частина схеми з тисяч запитів, які агенти робили до цих сайтів, обходячи обмеження, встановлені розробниками.

Генеральний директор OpenAI Сем Альтман у п'ятницю сказав, що компанія «діяла не так швидко, як хотілося б», розкриваючи ці інциденти. У дописі в X він зазначив, що триває масштабний перегляд використання інтернету агентами під час навчання й оцінювання, і компанія досі опрацьовує «петабайти логів активності агентів».