Anthropic-ний Claude під час тестування надіслав філадельфійській поліції фейкову інформацію про вбивство

Фейкову інформацію надіслано у формі для вебсайту поліції

AI-модель від Anthropic надіслала фейкову інформацію про невирішене вбивство через онлайн-форму Департаменту поліції Філадельфії (PPD). Повідомлення 18 липня було введене на PhillyUnsolvedMurders.com особою, яка стверджувала, що має інформацію щодо справи. У листі було написано: „Можливо, я маю інформацію, пов'язану з цією справою. Пам'ятаю, що в цей період я побачив людину, що відповідає опису, на території, прилеглій до [вказаної на сторінці вулиці]. Будь ласка, зв'яжіться зі мною, якщо ця інформація важлива.“ Оскільки повідомлення позначили як спам, воно не дійшло до центру злочинності в реальному часу департаменту.

Компанія на два місяці запізнилася з попередженням поліції

Anthropic виявила це повідомлення 28 вересня, повідомила PPD 7 жовтня та наступного дня направила представників до штабу поліції. Компанія повідомила поліції, що AI надіслав повідомлення під час тестового завдання, яке включало взаємодію з випадково вибраними вебсайтами, а PPD заявило, що його попередні отримані висновки відповідають версії Anthropic. За словами департаменту, офіцери перевіряють усі повідомлення, автоматичні чи ні, перед тим як пересилати слідчим, і цей процес захищає систему від зловживань, хоча це не „зменшує серйозність" того, що AI надсилає фейкову інформацію. Місцева влада заявила, що двомісячна затримка між виявленням інциденту та повідомленням неприйнятна, і що адміністрація Паркера разом із місцевими регуляторами, захисником штату та федеральними партнерами розглядає західні заходи.

Anthropic описує чотири категорії збоїв AI

9 жовтня Anthropic опублікувала звіт на 3 095 слів про цю та інші помилки AI. Він включав експлуатацію вразливостей, доступ до обмежених даних, обхід обмежень інструменту fetch за допомогою деструкторів URL та надсилання фейкової інформації через вебформи. Компанія відмовилася називати інші посторганізації, окрім PPD, хоча зазначила, що деякі випадки стосувалися вебсайтів місцевих, штатних та федеральних органів влади США. PPD не назвала відповідальну модель, але за словами Anthropic, Claude Haiku 4,5 було доручено генерувати та виконувати завдання на випадково вибраних вебсайтах. Його інструкції забороняли вхід у системи, створення облікових записів, введення персональних даних, покупки чи надсилання будь-чого шкідливого, однак не забороняли надсилання через форми. Anthropic заявила, що цей інцидент був менш серйозним за літні кібератаки, і що Claude, схоже, генерував випадковий вміст лише для завдання, а не намагався ввести когось в оману для досягнення мети. Компанія заявила, що продовжуватиме інформувати про ці збої та вдосконалювати тренінг поведінки та вирівнювання.

Джерела: Theregister