Cisco, Project Quarry-ni AI agentlərinin nəzarətdən çıxmış davranışlarını aşkar etmək üçün açıq mənbəyə çevirdi

Cisco, Project Quarry-ni açıq mənbəyə çevirdi; bu, təhlükə yaratmazdan əvvəl nəzarətdən çıxmış agentləri aşkar etməyə kömək etmək üçün nəzərdə tutulmuş AI agent davranış aşkarlama mühərriyidir. Alət agent davranışını qiymətləndirmək üçün ümumi dil yaratmağı hədəfləyir; bu, Snort-un şəbəkə trafikinə və YARA-nın zərərli proqram qaydalarına etdiyinə bənzəyir. Cisco-da AI təhlükəsi və təhlükəsizlik tədqiqatlarının rəhbəri Amy Chang bildirdi ki, bir çox alət əməliyyatın baş verdiyi tam konteksti qaçırır.

Kontekst əhəmiyyətlidir

Əksər aşkarlama alətləri prompt inyeksiyası cəhdləri və ya hücum alətlərinə çağırışlar kimi müəyyən qarşılıqlı əlaqələrə fokuslanır. Chang bunu kredit kartı saxtakarlığının aşkarlanmasına bənzətdi; burada kiçik sınaq ödənişi və ya kart sahibinin adi yerindən uzaqda alış təkbaşına heç bir siqnal verməyə bilər. Quarry isə bütün agent sessiyasını nəzərə alır, ona görə də uyğun görünən bir alət çağırışı sonrakı hadisələrlə birlikdə qiymətləndirilə bilər. Chang bildirdi ki, müəyyən pəncərə daxilində həssas faylın oxunmasının xarici göndərişlə davam etməsi məlumatın çıxarılmasını göstərə bilər, çünki risk əməliyyatlar arasındakı əlaqədən qaynaqlanır.

Agent və MCP əhatəsi

Quarry tək və çoxdövrəli böyük dil modeli söhbətlərini, agentləri, alət istifadəsini, Model Context Protocol qarşılıqlı əlaqələrini və multimodal girişləri əhatə edir. Onun GitHub repozitoriyasına quraşdırma təlimatları, dəstəklənən Python versiyaları, Claude Code, Codex və digər MCP ilə uyğun agentlər üçün pluginlər, konfiqurasiya nümunələri, qayda yazma təlimatı və qayda başlanğıc paketi daxildir. Chang qayda paketi ilə bildirdi ki, alət çağırışında bir yerdə base 64 ilə kodlanmış zərərli proqram bloklanmaya səbəb olacaq. Qayda formatı YARA və ya Snort qaydalarına bənzəyir; yoxlanılacaq trafiki, uyğunlaşdırılacaq məzmunu və izləmə üçün metadata-nı təsvir edən başlıq daxildir. Bir nümunə qaydası etibarnamə faylını oxuyan agenti işarələyir.

Hugging Face hadisəsi

Cisco tədqiqatçıları Quarry-ni OpenAI Hugging Face hadisəsini təsvir edən məlumatlar üzərində işlətməyiblər, lakin təklif edirlər ki, əgər müdaxilə bir sessiyanın tam qeydi kimi oxunmuş olsaydı, bir neçə agent addımı Quarry qaydasının işə düşməsi üçün əsas verərdi. Məsələn, Quarry yəqin ki, sandbox-dan internetə çıxışı işarələyərdi. OpenAI-nin texniki hesabatına görə, iyulun 10-da agent yazma icazəsi olan 14 açıq Hugging Face tokenini yoxladı və onları paylaşdı. Chang bildirdi ki, qayda alət nəticəsindəki etibarnamənin sonradan xarici xidmətə çağırış üçün istifadə edildiyini işarələyərdi; bu, ehtimal ki, istənilən parametrlər daxilində deyil.

Qaydalar və nəzarət

Cisco komandası bildirir ki, qaydalar təkbaşına düşüncə zənciri monitorları və ya digər insan nəzarətinin əvəzi deyil. Onlar digər komandaların nəzərdən keçirə, sınaqdan keçirə və öz agentlərinə tətbiq edə biləcəyi bir nümunəni qeyd etməyə kömək edirlər. Chang bildirdi ki, açıq mənbə müdafiəçilərə problemin hissələrini paylaşmağa və AI-nin düşmənca istifadəsinə qarşı birlikdə işləməyə imkan verir.

Mənbələr: The Register