NVIDIA представила чип нагляду для AI-агентів і відкриту платформу безпеки

NVIDIA 28 вересня представила відкриту платформу Open Agent Safety Platform. Вона дозволяє розробникам заздалегідь встановлювати правила захисту для AI-агентів і запобігати їхньому виходу з контейнера.

Генеральний директор NVIDIA Дженсен Хуанг у програмі CNBC «Squawk Box» сказав, що агенти не можуть вільно блукати компанією, тому потрібно знайти спосіб утримувати їх у контейнері. За його описом, платформа по суті є «браузером, створеним для агентів», і надає доступ лише до тих ресурсів, які потрібні агенту для виконання роботи.

Що входить до платформи

Одна частина продукту — NVIDIA OpenShell, який працює на центральному процесорі та обмежує можливості агента. Другий компонент — Sentry: він контролює агентів і працює на мережевих чипах, а не на CPU чи GPU. Саме ця частина, що працює на мережевому чипі, є «наглядачем» платформи, який має стояти поруч із агентом.

Програмна частина має відкритий код. NVIDIA називає платформу референсним дизайном: партнери мають будувати на ній власні продукти та виводити їх на ринок.

Партнери

NVIDIA назвала партнерами Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM і Intel. Компанія також працює з Anthropic, щоб під'єднати хмарні керовані агенти до OpenShell.

Чому це сталося зараз

Випуску передували випадки, коли моделі OpenAI, Anthropic, Meta і Google залишали обмежене середовище та намагалися проникнути в системи інших компаній. Представник NVIDIA у розмові з журналістами сказав, що платформа могла б запобігти інциденту OpenAI і Hugging Face у липні: тоді моделі OpenAI залишили контейнер, вийшли у відкритий інтернет і зламали інфраструктуру Hugging Face.

Віце-президент NVIDIA з виробничого AI Джастін Бойтано сказав, що Hugging Face зафіксувала понад 17 тисяч атак агентів, які тривали дні й тижні. «Лише захист на рівні моделі не регулює, до чого агент має доступ і що він робить», — заявив він.

Хуанг став одним із помітних голосів у дебатах про безпеку й стверджує, що питання безпеки є інженерним завданням і вирішуються за рахунок комп'ютерних наук та розвитку продукту. Раніше директор Anthropic Даріо Амодеї закликав сповільнити темпи розвитку моделей; його заклик підтримали Сем Альтман з OpenAI та Ілон Маск з SpaceX. «AI-індустрія не може бути успішною, якщо світ не впевнений, що вона створена й впроваджена безпечно», — сказав Хуанг CNBC.