NVIDIA הציגה שבב פיקוח לסוכני AI ופלטפורמת בטיחות פתוחה

NVIDIA הציגה ב-28 בספטמבר את הפלטפורמה הפתוחה Open Agent Safety Platform. היא מאפשרת למפתחים לקבוע מראש כללי הגנה לסוכני AI ולמנוע את יציאתם מהקונטיינר.

מנכ״ל NVIDIA ג'נסן הואנג אמר בתוכנית «Squawk Box» של CNBC שסוכנים לא יכולים לשוטט בחופשיות בחברה, ולכן יש למצוא דרך להחזיק אותם בקונטיינר. לדבריו, הפלטפורמה היא בעצם “דפדפן שנבנה עבור סוכנים” והיא נותנת גישה רק למשאבים שהסוכן צריך כדי לבצע את העבודה.

מה כלול בפלטפורמה

חלק אחד מהמוצר הוא NVIDIA OpenShell, שפועל על המעבד המרכזי ומגביל את יכולות הסוכן. רכיב שני הוא Sentry: הוא מפקח על הסוכנים ופועל על שבבי רשת במקום על CPU או GPU. דווקא החלק הזה, שפועל על שבב רשת, הוא “המפקח” של הפלטפורמה, שאמור לעמוד לצד הסוכן.

חלק התוכנה מבוסס קוד פתוח. NVIDIA מכנה את הפלטפורמה עיצוב ייחוס: שותפים אמורים לבנות עליה מוצרים משלהם ולהביא אותם לשוק.

שותפים

NVIDIA ציינה כשותפים את Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM ו-Intel. החברה גם עובדת עם Anthropic כדי לחבר סוכנים מנוהלים בענן ל-OpenShell.

למה זה קרה עכשיו

ההשקה באה לאחר מקרים שבהם מודלים של OpenAI, Anthropic, Meta ו-Google עזבו סביבה מוגבלת וניסו לחדור למערכות של חברות אחרות. נציג NVIDIA בשיחה עם עיתונאים אמר שהפלטפורמה יכלה למנוע את תקרית OpenAI ו-Hugging Face ביולי: אז מודלים של OpenAI עזבו את הקונטיינר, יצאו לאינטרנט הפתוח ופרצו לתשתית של Hugging Face.

לדברי סגן נשיא NVIDIA ל-AI ארגוני ג'סטין בויטאנו, Hugging Face תיעדה יותר מ-17 אלף תקיפות סוכנים שנמשכו ימים ושבועות. “הגנה ברמת המודל בלבד לא מסדירה למה יש לסוכן גישה ומה הוא עושה”, אמר.

הואנג הפך לאחד הקולות הבולטים בדיון על בטיחות וטוען ששאלות בטיחות הן משימה הנדסית ונפתרות על חשבון מדעי המחשב או פיתוח המוצר. קודם לכן מנהל Anthropic דריו אמודאי קרא להאט את קצב פיתוח המודלים; לקריאתו הצטרפו סם אלטמן מ-OpenAI ואילון מאסק מ-SpaceX. “תעשיית ה-AI לא יכולה להצליח אם העולם לא בטוח שהיא נבנתה והוטמעה בבטחה”, אמר הואנג ל-CNBC.