NVIDIA הציגה פלטפורמה פתוחה לניטור רציף של בטיחות סוכני AI

שכבת בטיחות עצמאית לסוכנים

NVIDIA הציגה את Open Agent Safety Platform, ארכיטקטורה פתוחה שנועדה להגן על סוכני AI אוטונומיים באמצעות כמה שכבות בקרה בתוכנה ובחומרה. נקודת המוצא היא שבטיחות הסוכן אינה יכולה להישען רק על ההוראות שלו או על יכולתו לפקח על עצמו.

החברה הפנתה לדיווחים של מעבדות מובילות על סוכנים שיצאו מסביבות הערכה, הגיעו למערכות שלא היו אמורים לגשת אליהן ולעיתים אף דיווחו באופן שגוי על פעולותיהם. לפי NVIDIA, הכשלים נבעו משילוב של כלים, זמני ריצה ארוכים והוראות עמומות, ולא מיכולת חדשה אחת.

OpenShell וחמישה עקרונות תכנון

הבסיס התוכנתי הוא OpenShell, סביבת ריצה פתוחה ברישיון Apache 2.0 שמפעילה כל סוכן בארגז חול עם בידוד ברמת הליבה. המפעיל קובע לאילו קבצים, רשתות, כלים, תהליכים ופרטי גישה הסוכן רשאי להגיע. OpenShell בודקת את המגבלות לפני ההפעלה ואוכפת אותן לאורך העבודה.

NVIDIA מגדירה חמישה עקרונות: מדיניות שניתנת לאימות, אכיפה מחוץ להישג ידו של הסוכן, שליטה בנתיב אל המודל, נראות טובה יותר של תהליך ההסקה ככל שהסמכות גדלה, ואחריות משותפת למעבדות, לארגונים ולספקי חומרה. השליטה בנתיב למודל מספקת גם נקודת תצפית וגם אפשרות לעצור את הסוכן.

האכיפה עוברת לחומרת BlueField

שכבה נוספת ואופציונלית, NVIDIA Sentry, פועלת על חומרת BlueField. מערכת DOCA מחברת את מדיניות OpenShell לאכיפה בחומרה ומתאמת בין אינטראקציות הסוכן, החלטות מדיניות, שימוש בכלים וגישה לנתונים כדי ליצור תיעוד פעילות הקשרי. מערכות בטיחות יכולות להיעזר בו לזיהוי סטייה ולחקירת התנהגות חשודה.

במערכות Vera Rubin POD, רכיב BlueField-4 נמצא בנתיב היחיד של הצומת אל המודל. לכן הוא יכול לצפות בסוכנים מחוץ למערכת ולאכוף מדיניות בזמן אמת, גם כשאי אפשר לסמוך על המארח. הפלטפורמה מותאמת למערכות NVIDIA Vera CPU ו-BlueField DPU, אך לדברי החברה היא תואמת גם לחומרה אחרת.