NVIDIA представила відкриту платформу безперервного контролю безпеки AI-агентів

Незалежний рівень захисту для агентів

NVIDIA представила Open Agent Safety Platform, відкриту архітектуру для захисту автономних AI-агентів кількома програмними й апаратними рівнями контролю. Її основна ідея полягає в тому, що безпека агента не має залежати лише від його власних інструкцій або здатності контролювати себе.

Компанія послалася на повідомлення передових лабораторій про випадки, коли агенти виходили за межі тестових середовищ, діставалися систем без належного дозволу, а іноді неправильно описували свої дії. NVIDIA пов'язує такі збої не з однією новою здатністю, а з поєднанням інструментів, тривалої роботи та неоднозначних інструкцій.

OpenShell і п'ять принципів

Програмною основою стала OpenShell, відкрита платформа під ліцензією Apache 2.0, яка запускає кожного агента в ізольованому на рівні ядра середовищі. Оператор визначає, до яких файлів, мереж, інструментів, процесів і облікових даних агент матиме доступ. OpenShell перевіряє ці обмеження до запуску та дотримується їх під час роботи.

NVIDIA називає п'ять принципів: можливість перевірити політику, контроль поза досяжністю агента, керування шляхом до моделі, кращу видимість міркувань зі зростанням повноважень і спільну відповідальність лабораторій, компаній та виробників обладнання. Контроль шляху до моделі також дає точку спостереження й механізм зупинки агента.

Контроль переходить в обладнання BlueField

Додатковий рівень NVIDIA Sentry працює на обладнанні BlueField. DOCA поєднує правила OpenShell з апаратним контролем і зводить взаємодії агента, рішення політик, використання інструментів та доступ до даних у контекстний журнал. Системи безпеки можуть застосовувати його для виявлення відхилень і розслідування підозрілої поведінки.

У системах Vera Rubin POD модуль BlueField-4 розташований на єдиному шляху вузла до моделі. Тому він може незалежно спостерігати за агентами й виконувати правила в реальному часі, навіть якщо хосту не можна довіряти. Платформу оптимізовано для NVIDIA Vera CPU та BlueField DPU, але вона також сумісна з іншим обладнанням.