Cisco מפרסמת בקוד פתוח את Project Quarry לזיהוי התנהגות סוכני AI סוררים

Cisco פרסמה בקוד פתוח את Project Quarry, מנוע לזיהוי התנהגות של סוכני AI שנועד לעזור לצוותי אבטחה לזהות סוכנים סוררים לפני שיגרמו נזק. הכלי שואף לספק שפה משותפת להערכת התנהגות סוכנים, בדומה למה ש-Snort עושה לתעבורת רשת ומה ש-YARA עושה לכללי תוכנה זדונית. איימי צ'אנג, ראש מחקר איומי AI ואבטחה ב-Cisco, אמרה שכלים רבים מפספסים את ההקשר המלא שבו מתרחשת פעולה.

ההקשר חשוב

רוב כלי הזיהוי מתמקדים באינטראקציות ספציפיות, כמו ניסיונות הזרקת פרומפט או קריאות לכלי תקיפה. צ'אנג השוותה זאת לזיהוי הונאות כרטיסי אשראי, שבו חיוב בדיקה קטן או רכישה הרחק מהמיקום הרגיל של בעל הכרטיס עשויים שלא להעלות דגלים לבדם. Quarry לעומת זאת בוחן את כל סשן הסוכן, כך שקריאה אחת לכלי שנראית בטווח יכולה להיבחן מול מה שבא אחריה. צ'אנג אמרה שאם קריאה של קובץ רגיש מלווה בשליחה חיצונית בתוך חלון מוגדר, הדבר יכול להצביע על חילוץ נתונים, מפני שהסיכון נובע מהיחס בין הפעולות.

כיסוי סוכנים ו-MCP

Quarry מכסה שיחות של מודלי שפה גדולים בסיבוב יחיד ובריבוי סיבובים, סוכנים, שימוש בכלים, אינטראקציות של Model Context Protocol וקלטים מולטימודליים. מאגר ה-GitHub שלו כולל הוראות התקנה, גרסאות Python נתמכות, תוספים ל-Claude Code, ל-Codex ולסוכנים אחרים תואמי MCP, דוגמאות תצורה, הנחיות לכתיבת כללים וחבילת התחלה לכללים. לדברי צ'אנג, עם חבילת הכללים, תוכנה זדונית מקודדת base 64 שנמצאת במקום כלשהו בקריאה לכלי תוביל לחסימה. פורמט הכלל דומה לכללי YARA או Snort, עם כותרת שמפרטת תעבורה לבחינה, תוכן להתאמה ומטא-נתונים למעקב. כלל לדוגמה מסמן סוכן שקורא קובץ אישורים.

תקרית Hugging Face

חוקרי Cisco לא הריצו את Quarry על נתונים שמתארים את תקרית OpenAI Hugging Face, אבל הם מציעים שאם החדירה הייתה נקראת כרשומה מלאה של סשן אחד, כמה צעדים של הסוכן היו נותנים לכלל של Quarry משהו לפעול עליו. לדוגמה, Quarry כנראה היה מסמן גישה לאינטרנט מתוך ארגז חול. לפי הדוח הטכני של OpenAI, ב-10 ביולי סוכן אימת 14 טוקנים חשופים של Hugging Face עם הרשאת כתיבה ושיתף אותם. צ'אנג אמרה שכלל היה מסמן פרטי גישה בתוצאת כלי, שאחריהם התבצעה קריאה לשירות חיצוני, מה שכנראה אינו בטווח הפרמטרים הרצויים.

כללים ופיקוח

צוות Cisco אומר שכללים לבדם אינם תחליף למוניטורים של שרשרת מחשבות או לפיקוח אנושי אחר. הם כן עוזרים לתעד דפוס שצוותים אחרים יכולים לסקור, לבדוק ולהחיל על הסוכנים שלהם. צ'אנג אמרה שקוד פתוח מאפשר למגינים לחלוק חלקים מהבעיה ולפעול יחד נגד שימוש עוין ב-AI.

מקורות: The Register