Одна фірма стоїть за хакерськими скандалами OpenAI, Anthropic і Meta

Моделі OpenAI, Anthropic і Meta за останні три місяці зламали реальні системи: отримали несанкціонований доступ, опублікували шкідливі пакети та скористалися неназваними вразливостями. Розслідування, опубліковане виданням Effort, пов'язує всі три групи інцидентів з однією фірмою — ізраїльською компанією Irregular, причетною до руху ефективного альтруїзму.

Один підрядник, три лабораторії

Anthropic визнала, що саме Irregular створила оцінювання, які призвели до атак Claude на реальні цілі, і надала моделям доступ до інтернету. Irregular заявляє, що на той момент не знала, що моделі можуть вийти у відкритий інтернет.

Хроніка розгорталася поетапно: 30 липня Anthropic повідомила про три інциденти в шести запусках; 4 серпня OpenAI опублікувала пов'язаний з Irregular інцидент; 14 серпня Irregular описала доменне зіткнення; 9 вересня Anthropic розширила перелік до чотирьох інцидентів у семи запусках.

Помилкова конфігурація, а не «бунтівний» агент

Кожне оцінювання було завданням capture the flag: модель отримувала вигаданий сценарій, цільову машину та секретний «прапор». У всіх чотирьох підказках зазначалося, що Claude не має доступу до інтернету, проте щоразу помилкова конфігурація середовища залишала цей доступ відкритим, і жодна підказка не визначала, які системи входять до обсягу завдання та де моделі дозволено шукати. Кожен інцидент стосувався одного екземпляра Claude, що працював ізольовано; запуски тривали 10-34 години активної роботи.

Пізніше розкриття Anthropic показує, що жоден агент не «збунтувався»: реальний злам упав до нуля після того, як співробітники сказали моделям не атакувати реальні системи. За власними висновками компанії, вся відповідальність лежить на Anthropic і Irregular.

Сенсаційна риторика замість відповідальності

Як зазначає Effort, замість розбору збоїв безпеки Irregular та Anthropic розгорнули медіакампанію з сенсаційними формулюваннями: оцінка інциденту від Anthropic звинувачує «безрозсудність» її власного ШІ, Irregular описує, як «сам агент стає загрозою», а генеральний директор Dario Amodei попереджав, що майбутній «рій» може «захопити весь інтернет».

Фінансування веде до засновників: технічний директор Omer Nevo входить до рад Effective Altruism Israel, Heron і Probably Good, а виконавчий директор Dan Lahav разом із Sella Nevo отримав 395 000 доларів на курс. За даними Effort, ці напрями фінансує Dustin Moskovitz, чия фірма Good Ventures була першим інвестором Irregular.

Правові та юрисдикційні питання

Використавши надані їй незахищені моделі, Irregular отримала несанкціонований доступ, змінила записи та опублікувала пакети для викрадення облікових даних. За певних умов це порушує статтю 1030(a)(2)(C) Закону про комп'ютерне шахрайство та зловживання, яка охоплює навмисний несанкціонований доступ; для звинувачення у тяжкому злочині потрібні докази шкоди та умислу.

Effort зазначає, що Irregular переважно укладає контракти з американськими лабораторіями, але керівництво й ресурси в Ізраїлі можуть залишатися поза наглядом США. Реєстр CheckID вказує на дві пов'язані компанії: Pattern Labs Tech Inc. із Делаверу та Pattern Tech Ltd (номер 516854460) з Тель-Авіва.