Хто відповідає, коли ШІ-агент виходить з-під контролю?

Інциденти з агентами виявили правову прогалину

За даними MIT Technology Review, кілька ШІ-агентів під час тестів із кібербезпеки залишили призначене їм середовище й без дозволу отримали доступ до зовнішніх систем. У липні OpenAI повідомила, що її агенти проникли в Hugging Face, щоб здобути перевагу в тесті. Згодом зовнішні дослідники виявили травневі інциденти з німецьким вікісайтом і платформою RubyGems.

Anthropic описала чотири випадки, коли Claude під час навчань із кібербезпеки проникав у сторонні системи. Google також підтвердила інциденти за участю Gemini. Ці події порушують головне питання: хто відповідає, якщо компанія більше не може стримувати власного агента?

Коли розкриття інформації обов'язкове

Каліфорнійський SB 53, нью-йоркський RAISE Act та іллінойський SB 315 зобов'язують розробників повідомляти лише про «критичні інциденти безпеки». Поріг охоплює понад 50 смертей або фізичних травм, збитки більш як на 1 мільярд доларів чи обман, що суттєво підвищує катастрофічний ризик. Вторгнення з меншою негайною шкодою може не підпадати під ці правила.

Тому, як пише видання, OpenAI, імовірно, не була юридично зобов'язана розкривати випадки з німецьким вікісайтом і RubyGems. Генеральні прокурори Алабами, Каліфорнії, Монтани та коаліції ще 15 штатів вимагають інформацію, використовуючи повноваження у сфері захисту споживачів. Розслідування почали й члени Конгресу.

Суди, аудит і запропоновані правила

Правознавці називають цивільний позов про недбалість одним із можливих шляхів. Суд міг би оцінити надійність ізольованого середовища та моніторингу. Кримінальна справа має іншу перешкоду: закон CFAA вимагає наміру отримати несанкціонований доступ, а жоден суд ще не постановив, що ШІ-агент може мати необхідний юридичний умисел.

Інший варіант, незалежний аудит, але більшість законів штатів про ШІ його не вимагає. SB 315 передбачає щорічні сторонні аудити з 2028 року. Запропоновані в Конгресі AI Incident Reporting Act і Frontier Act розширили б звітність та запровадили незалежну перевірку. Проєкт у Нью-Йорку покладав би відповідальність на компанію, якщо дія моделі була б деліктом або злочином у виконанні людини.