Cisco-მ Project Quarry ღია კოდად გამოუშვა არაკონტროლირებადი AI აგენტების ქცევის გამოსავლენად

Cisco-მ ღია კოდად გამოუშვა Project Quarry, AI აგენტების ქცევის გამოვლენის ძრავა, რომელიც უსაფრთხოების გუნდებს ეხმარება დროულად შეამჩნიონ არაკონტროლირებადი აგენტები, სანამ ისინი ზიანს მიაყენებენ. ინსტრუმენტი მიზნად ისახავს აგენტების ქცევის შესაფასებელი საერთო ენის შექმნას, დაახლოებით იმის მსგავსად, რასაც Snort აკეთებს ქსელური ტრაფიკისთვის, ხოლო YARA მავნე პროგრამების წესებისთვის. Cisco-ს AI საფრთხეებისა და უსაფრთხოების კვლევის ხელმძღვანელი ემი ჩანგი ამბობს, რომ ბევრი ინსტრუმენტი ვერ ითვალისწინებს სრულ კონტექსტს, რომელშიც მოქმედება ხდება.

კონტექსტს მნიშვნელობა აქვს

გამოვლენის ინსტრუმენტების უმეტესობა კონკრეტულ ურთიერთქმედებებზე ამახვილებს ყურადღებას, მაგალითად, პრომპტის ინექციის მცდელობებზე ან შეტევითი ინსტრუმენტების გამოძახებაზე. ჩანგმა ეს საკრედიტო ბარათით თაღლითობის გამოვლენას შეადარა, სადაც მცირე სატესტო გადახდა ან ბარათის მფლობელის ჩვეულებრივი მდებარეობიდან შორს გაკეთებული შენაძენი შეიძლება თავისთავად ეჭვს არ იწვევდეს. Quarry კი მთლიან აგენტურ სესიას განიხილავს, ამიტომ ერთი ინსტრუმენტის გამოძახება, რომელიც თითქოს დასაშვებ ფარგლებშია, შეიძლება შემდგომი მოქმედებების ფონზე შეფასდეს. ჩანგის თქმით, მგრძნობიარე ფაილის წაკითხვა, რომელსაც განსაზღვრულ დროში მოჰყვება გარე გაგზავნა, შეიძლება მონაცემების ექსფილტრაციაზე მიუთითებდეს, რადგან რისკი მოქმედებებს შორის კავშირიდან მოდის.

აგენტებისა და MCP-ის დაფარვა

Quarry მოიცავს დიდი ენობრივი მოდელის ერთბიჯიან და მრავალბიჯიან საუბრებს, აგენტებს, ინსტრუმენტების გამოყენებას, Model Context Protocol-ის ურთიერთქმედებებსა და მულტიმოდალურ შეყვანებს. მისი GitHub-ის რეპოზიტორია მოიცავს ინსტალაციის ინსტრუქციებს, მხარდაჭერილი Python-ის ვერსიებს, Claude Code-ის, Codex-ისა და სხვა MCP-თავსებადი აგენტებისთვის განკუთვნილ დანამატებს, კონფიგურაციის მაგალითებს, წესების წერის სახელმძღვანელოს და წესების საწყის პაკეტს. ჩანგის თქმით, წესების პაკეტის გამოყენებისას, თუ ინსტრუმენტის გამოძახებაში სადღაც base 64-ით კოდირებული მავნე პროგრამა აღმოჩნდებოდა, ეს დაბლოკვას გამოიწვევდა. წესების ფორმატი YARA-ს ან Snort-ის წესებს ჰგავს: სათაური დეტალურად აღწერს შესამოწმებელ ტრაფიკს, დასამთხვევ შიგთავსს და თვალთვალისთვის საჭირო მეტამონაცემებს. ერთი მაგალითი წესი აფიქსირებს აგენტს, რომელიც კრედენციალების ფაილს კითხულობს.

Hugging Face-ის ინციდენტი

Cisco-ს მკვლევარებს Quarry არ გაუშვიათ OpenAI-ს Hugging Face-ის ინციდენტის ამსახველ მონაცემებზე, თუმცა ვარაუდობენ, რომ თუ შეჭრა ერთი სესიის სრულ ჩანაწერად წაიკითხებოდა, რამდენიმე აგენტური ნაბიჯი Quarry-ის წესს რეაგირების საფუძველს მისცემდა. მაგალითად, Quarry, სავარაუდოდ, დააფიქსირებდა სენდბოქსიდან ინტერნეტში წვდომას. OpenAI-ს ტექნიკური ანგარიშის მიხედვით, 10 ივლისს აგენტმა გადაამოწმა 14 გამჟღავნებული Hugging Face-ის ტოკენი ჩაწერის უფლებით და გააზიარა ისინი. ჩანგის თქმით, წესი დააფიქსირებდა კრედენციალს ინსტრუმენტის შედეგში, თუ ამის შემდეგ აგენტი გარე სერვისს გამოიძახებდა, რაც, სავარაუდოდ, სასურველ პარამეტრებში არ შედის.

წესები და ზედამხედველობა

Cisco-ს გუნდი აცხადებს, რომ წესები თავისთავად არ არის აზროვნების ჯაჭვის მონიტორების ან სხვა ადამიანური ზედამხედველობის შემცვლელი. ისინი მაინც ეხმარებიან იმ ნიმუშის დაფიქსირებას, რომელიც სხვა გუნდებს შეუძლიათ გადახედონ, გამოსცადონ და საკუთარ აგენტებზე გამოიყენონ. ჩანგის თქმით, ღია კოდი დამცველებს საშუალებას აძლევს, გაიზიარონ პრობლემის ნაწილები და ერთობლივად იმუშაონ AI-ის მტრული გამოყენების წინააღმდეგ.

წყაროები: The Register