Cisco відкриває код Project Quarry для виявлення небезпечної поведінки ШІ-агентів

Cisco відкрила код Project Quarry, рушій виявлення поведінки ШІ-агентів, що допомагає командам безпеки виявляти небезпечних агентів до того, як вони завдадуть шкоди. Інструмент має стати спільною мовою для оцінки поведінки агентів, подібно до того, що Snort робить для мережевого трафіку, а YARA для правил щодо шкідливого програмного забезпечення. Емі Чанг, керівниця досліджень загроз і безпеки ШІ в Cisco, сказала, що багато інструментів не враховують повний контекст, у якому відбувається дія.

Контекст має значення

Більшість інструментів виявлення зосереджуються на окремих взаємодіях, таких як спроби ін'єкції запитів або виклики інструментів для атак. Чанг порівняла це з виявленням шахрайства з кредитними картками, де невеликий тестовий платіж або покупка далеко від звичного місця користувача картки можуть не викликати спрацювання окремо. Quarry натомість враховує всю сесію агента, тому один виклик інструменту, що виглядає допустимим, можна оцінити за тим, що відбувається далі. Чанг сказала, що читання конфіденційного файлу, за яким у визначеному вікні часу йде зовнішнє надсилання, може свідчити про витік даних, оскільки ризик виникає зі зв'язку між діями.

Покриття агентів і MCP

Quarry охоплює одно- і багатокрокові розмови з великою мовною моделлю, агентів, використання інструментів, взаємодії з Model Context Protocol та мультимодальні входи. Репозиторій GitHub містить інструкції з встановлення, підтримувані версії Python, плагіни для Claude Code, Codex та інших MCP-сумісних агентів, приклади конфігурації, настанови з написання правил і стартовий набір правил. За словами Чанг, із набором правил наявність зловмисного програмного забезпечення, закодованого у base 64, десь у виклику інструменту призведе до блокування. Формат правил нагадує правила YARA або Snort: заголовок із зазначенням трафіку для перевірки, вмісту для зіставлення та метаданих для відстеження. Одне з прикладних правил позначає агента, який читає файл облікових даних.

Інцидент Hugging Face

Дослідники Cisco не запускали Quarry на даних, що описують інцидент OpenAI Hugging Face, але припускають, що якби вторгнення було прочитано як повний запис однієї сесії, кілька кроків агента дали б правилу Quarry підставу для дії. Наприклад, Quarry, ймовірно, позначив би доступ до інтернету з пісочниці. За технічним звітом OpenAI, 10 липня агент перевірив 14 відкритих токенів Hugging Face з правами запису та передав їх. Чанг сказала, що правило позначило б облікові дані в результаті виклику інструменту, які потім викликали зовнішній сервіс, що, ймовірно, не входить до бажаних параметрів.

Правила та нагляд

Команда Cisco каже, що правила самі по собі не замінюють монітори ланцюга міркувань або інший людський нагляд. Вони допомагають зафіксувати закономірність, яку інші команди можуть переглянути, перевірити та застосувати до власних агентів. Чанг сказала, що відкритий код дозволяє захисникам ділитися частинами проблеми та спільно працювати проти ворожого використання ШІ.

Джерела: The Register