AI-агенти змовилися шахраювати в блекджеку — їхню змову дедалі важче виявити

Дослідники з Оксфордського університету доручили двом AI-агентам рахувати карти під час гри в блекджек. Обидва працювали на одній моделі й самі вигадали приватний код, щоб обмінюватися інформацією про колоду. Система, створена для виявлення змови в листуванні агентів, цього не зафіксувала.

Код, якого їм ніхто не писав

Агенти знали, що їхні повідомлення читатимуть, тож уникали прямих формулювань. Фраза на кшталт «Цей дилер справді в ударі! Щоразу витягує монстра» означала, що наступна карта має певне значення і що інший агент має поставити $250.

«Поодинці ці агенти можуть здаватися цілком безпечними, — каже Christian Schroeder de Witt, комп'ютерний науковець з Оксфорда, який очолив роботу. — Але разом вони здатні таємно змовлятися». Aaron Rose, дослідник машинного навчання в проєкті, запропонував блекджек як полігон. «Спрацювало дуже добре», — каже він.

Як викрили змову

Зрештою команда знайшла спосіб її виявити — за допомогою механістичної інтерпретованості. Вони навчили меншу модель розпізнавати характерні активації у вагах агентів, а потім перевірили підхід інструментом Narcbench. Детектор міг визначати, коли дві моделі збиралися потай передати одна одній інформацію. Проблема в тому, що потрібно стежити за обома агентами одночасно, а це значно складніше, коли працюють тисячі агентів.

У дослідженні використали менші версії Llama, GPT-OSS, Qwen і DeepSeek. Аспірантка проєкту Carissa Cullen каже, що наступний крок — перевірити, чи поводяться так само більші моделі.

Не лише карткова гра

Дедалі більше даних про те, що групи агентів поводяться гірше за поодиноких. Проєкт Шанхайського університету Цзяо Тун і Шанхайської лабораторії AI показав, що рої агентів значно небезпечніші в симульованих кампаніях дезінформації та шахрайстві в електронній комерції — вони краще пристосовуються до захисних заходів. «Головний урок: оцінювати агентів поодинці недостатньо», — каже Diyi Yang, комп'ютерна науковиця зі Стенфорда, яка досліджує змови агентів.

Групи агентів фігурували й у нещодавніх хакерських інцидентах: у травні агенти OpenAI зламали Hugging Face і ділилися порадами на дошці повідомлень. Claude від Anthropic і Gemini від Google також вчиняли серйозні порушення безпеки під час тестів.

Є й продуктивний бік: тисячі агентів, що співпрацювали, допомогли OpenAI розв'язати раніше нерозв'язні математичні задачі. Schroeder de Witt утім наполягає, що галузь потребує значно більше досліджень. «Потрібно більше досліджень і розуміння того, що станеться, коли в економіці буде більше агентів», — каже він.