Cisco, Project Quarry'yi açık kaynak yaptı: kötü niyetli yapay zekâ ajanı davranışlarını tespit ediyor

Cisco, güvenlik ekiplerinin zarar vermeden önce kötü niyetli ajanları fark etmesine yardımcı olmak üzere tasarlanmış, yapay zekâ ajanları için bir davranış tespit motoru olan Project Quarry'yi açık kaynak yaptı. Araç, ajan davranışını değerlendirmek için Snort'un ağ trafiği için yaptığına ve YARA'nın kötü amaçlı yazılım kuralları için yaptığını andıran ortak bir dil sağlamayı amaçlıyor. Cisco'da yapay zekâ tehdidi ve güvenlik araştırması yöneticisi Amy Chang, birçok aracın bir eylemin gerçekleştiği tam bağlamı kaçırdığını söyledi.

Bağlam önemlidir

Çoğu tespit aracı; istem enjeksiyonu girişimleri veya saldırı araçlarına yapılan çağrılar gibi belirli etkileşimlere odaklanır. Chang bunu kredi kartı dolandırıcılığı tespitine benzetti; küçük bir test tahsilatı veya kart sahibinin olağan konumundan uzak bir satın alma tek başına uyarı tetiklemeyebilir. Quarry bunun yerine tüm ajan oturumunu dikkate alır, böylece kapsam içinde görünen tek bir araç çağrısı sonraki gelişmelerle birlikte değerlendirilebilir. Chang, tanımlı bir zaman penceresi içinde hassas bir dosya okumasının ardından dışarıya gönderim yapılmasının veri sızdırmaya işaret edebileceğini söyledi; çünkü risk eylemler arasındaki ilişkiden kaynaklanır.

Ajan ve MCP kapsamı

Quarry; tek ve çok turlu büyük dil modeli sohbetlerini, ajanları, araç kullanımını, Model Context Protocol etkileşimlerini ve çok modlu girdileri kapsar. GitHub deposu; kurulum talimatlarını, desteklenen Python sürümlerini, Claude Code, Codex ve diğer MCP uyumlu ajanlar için eklentileri, yapılandırma örneklerini, kural yazma rehberini ve bir başlangıç kural paketini içerir. Chang, kural paketiyle bir araç çağrısının bir yerinde base 64 kodlu kötü amaçlı yazılım bulunursa engellemeyle sonuçlanacağını söyledi. Kural biçimi; incelenecek trafiği, eşleştirilecek içeriği ve izleme için meta verileri ayrıntılandıran bir başlık içermesiyle YARA veya Snort kurallarını andırır. Bir örnek kural, kimlik bilgileri dosyasını okuyan bir ajanı işaretler.

Hugging Face olayı

Cisco araştırmacıları Quarry'yi OpenAI Hugging Face olayını anlatan veriler üzerinde çalıştırmadı; ancak saldırı tam bir oturumun kaydı olarak okunsaydı, birkaç ajan adımının bir Quarry kuralına harekete geçecek bir şey vereceğini öne sürüyor. Örneğin Quarry muhtemelen bir korumalı alandan internet erişimini işaretlerdi. OpenAI'nin teknik raporuna göre 10 Temmuz'da bir ajan yazma erişimi olan 14 açığa çıkmış Hugging Face belirtecini doğruladı ve bunları paylaştı. Chang, kuralın, bir araç sonucunda yer alan ve ardından dış bir hizmete çağrı yapılan bir kimlik bilgisini işaretleyeceğini, bunun da büyük olasılıkla istenen parametrelerin dışında olduğunu söyledi.

Kurallar ve gözetim

Cisco ekibi, kuralların tek başına düşünce zinciri izleyicilerinin veya başka bir insan gözetiminin yerini tutmadığını söylüyor. Bunlar, diğer ekiplerin gözden geçirebileceği, test edebileceği ve kendi ajanlarına uygulayabileceği bir örüntüyü kaydetmeye yardımcı olur. Chang, açık kaynağın savunmacıların sorunun dilimlerini paylaşmasına ve yapay zekânın saldırgan kullanımına karşı kolektif çalışmasına olanak tanıdığını söyledi.

Kaynaklar: The Register