Cisco-ը բացել է Project Quarry-ի կոդը՝ AI գործակալների չարամիտ վարքը հայտնաբերելու համար

Cisco-ը բացել է Project Quarry-ի կոդը՝ AI գործակալների վարքի հայտնաբերման շարժիչ, որը նախատեսված է անվտանգության թիմերին օգնելու հայտնաբերել չարամիտ գործակալներին մինչև նրանք վնաս կհասցնեն։ Գործիքը նպատակ ունի ապահովելու գործակալների վարքը գնահատելու ընդհանուր լեզու, նման այն բանին, ինչ Snort-ն անում է ցանցային թրաֆիկի, իսկ YARA-ն՝ չարամիտ ծրագրերի կանոնների համար։ Cisco-ում AI սպառնալիքների և անվտանգության հետազոտությունների ղեկավար Էյմի Չանգը նշել է, որ շատ գործիքներ բաց են թողնում այն ամբողջ համատեքստը, որտեղ տեղի է ունենում գործողությունը։

Համատեքստը կարևոր է

Հայտնաբերման գործիքների մեծ մասը կենտրոնանում է կոնկրետ փոխազդեցությունների վրա, ինչպիսիք են prompt ներարկման փորձերը կամ հարձակման գործիքներին կանչերը։ Չանգը դա համեմատել է վարկային քարտերի խարդախության հայտնաբերման հետ, որտեղ փոքր թեստային գանձումը կամ քարտապանի սովորական վայրից հեռու գնումը միայնակ գուցե չառաջացնեն կասկած։ Quarry-ն փոխարենը դիտարկում է գործակալի ամբողջ սեսիան, ուստի մեկ գործիքային կանչը, որը թվում է թույլատրելի սահմաններում, կարող է գնահատվել ըստ դրան հաջորդողի։ Չանգը նշել է, որ զգայուն ֆայլի ընթերցումը, որին սահմանված պատուհանի ընթացքում հաջորդում է արտաքին ուղարկում, կարող է վկայել տվյալների արտահոսքի մասին, քանի որ ռիսկը բխում է գործողությունների միջև կապից։

Գործակալների և MCP-ի ընդգրկումը

Quarry-ն ընդգրկում է մեկ և բազմաշրջան խոշոր լեզվական մոդելների զրույցներ, գործակալներ, գործիքների օգտագործում, Model Context Protocol փոխազդեցություններ և բազմամոդալ մուտքեր։ Նրա GitHub պահոցը ներառում է տեղադրման հրահանգներ, աջակցվող Python տարբերակներ, փլագիններ Claude Code-ի, Codex-ի և այլ MCP-համատեղելի գործակալների համար, կազմաձևման օրինակներ, կանոններ գրելու ուղեցույց և կանոնների մեկնարկային փաթեթ։ Կանոնների փաթեթի դեպքում Չանգը նշել է, որ գործիքային կանչի մեջ ինչ-որ տեղ base 64-ով կոդավորված չարամիտ ծրագիրը կհանգեցնի արգելափակման։ Կանոնների ձևաչափը նման է YARA կամ Snort կանոններին, որտեղ վերնագիրը մանրամասնում է ստուգվող թրաֆիկը, համապատասխանեցվող բովանդակությունը և հետևելու համար նախատեսված մետատվյալները։ Մեկ օրինակ կանոն նշում է գործակալին, որը կարդում է հավատարմագրերի ֆայլ։

Hugging Face-ի միջադեպը

Cisco-ի հետազոտողները Quarry-ն չեն գործարկել OpenAI-ի Hugging Face-ի միջադեպը նկարագրող տվյալների վրա, սակայն ենթադրում են, որ եթե ներխուժումը կարդացվեր որպես մեկ սեսիայի ամբողջական գրառում, գործակալի մի քանի քայլեր Quarry-ի կանոնին առիթ կտային գործելու։ Օրինակ՝ Quarry-ն հավանաբար կնշեր սենդբոքսից ինտերնետ հասանելիությունը։ Ըստ OpenAI-ի տեխնիկական զեկույցի՝ հուլիսի 10-ին գործակալը վավերացրել է 14 բացահայտված Hugging Face թոքեն՝ գրելու հասանելիությամբ, և կիսվել դրանցով։ Չանգը նշել է, որ կանոնը կնշեր գործիքային արդյունքի մեջ եղած հավատարմագիրը, որը հետո կանչել է արտաքին ծառայություն, ինչը հավանաբար դուրս է ցանկալի պարամետրերից։

Կանոններ և վերահսկողություն

Cisco-ի թիմը նշում է, որ միայն կանոնները չեն փոխարինում մտքի շղթայի մոնիտորներին կամ այլ մարդկային վերահսկողությանը։ Դրանք այնուամենայնիվ օգնում են գրանցել օրինաչափություն, որը այլ թիմեր կարող են վերանայել, փորձարկել և կիրառել իրենց գործակալների նկատմամբ։ Չանգը նշել է, որ բաց կոդը թույլ է տալիս պաշտպաններին կիսել խնդրի մասերը և միասին աշխատել AI-ի հակառակորդային օգտագործման դեմ։

Աղբյուրներ: The Register