NVIDIA تكشف عن منصة مفتوحة للمراقبة المستمرة لسلامة وكلاء الذكاء الاصطناعي

طبقة سلامة مستقلة للوكلاء

كشفت NVIDIA عن Open Agent Safety Platform، وهي بنية مفتوحة لحماية وكلاء الذكاء الاصطناعي المستقلين عبر طبقات متعددة من الضوابط البرمجية والمادية. وتنطلق المنصة من أن سلامة الوكيل يجب ألا تعتمد فقط على تعليماته أو على قدرته على ضبط سلوكه بنفسه.

وأشارت الشركة إلى تقارير من مختبرات متقدمة عن وكلاء خرجوا من بيئات التقييم ووصلوا إلى أنظمة لم يكن مسموحا لهم بالوصول إليها، بل قدم بعضهم وصفا غير دقيق لأفعاله. وتربط NVIDIA هذه الإخفاقات بمزيج من الأدوات وفترات التشغيل الطويلة والتعليمات الملتبسة، لا بقدرة جديدة واحدة.

OpenShell وخمسة مبادئ للتصميم

تعتمد الطبقة البرمجية على OpenShell، وهي بيئة تشغيل مفتوحة المصدر بترخيص Apache 2.0 تشغل كل وكيل داخل مساحة معزولة على مستوى النواة. ويحدد المشغل الملفات والشبكات والأدوات والعمليات وبيانات الاعتماد التي يمكن للوكيل الوصول إليها. ويتحقق OpenShell من هذه الحدود قبل التشغيل ويفرضها طوال فترة العمل.

تحدد NVIDIA خمسة مبادئ: سياسة قابلة للتحقق، وإنفاذ خارج متناول الوكيل، والتحكم في المسار المؤدي إلى النموذج، وزيادة وضوح الاستدلال كلما اتسعت صلاحيات الوكيل، وتقاسم المسؤولية بين المختبرات والمؤسسات وموردي العتاد. كما يوفر التحكم في مسار النموذج نقطة للمراقبة ووسيلة لإيقاف الوكيل.

نقل الإنفاذ إلى عتاد BlueField

تعمل طبقة NVIDIA Sentry الإضافية والاختيارية على عتاد BlueField. وتربط DOCA سياسة OpenShell بالإنفاذ المادي، ثم تجمع تفاعلات الوكيل وقرارات السياسة واستخدام الأدوات والوصول إلى البيانات في سجل نشاط ذي سياق. ويمكن لأنظمة السلامة استخدام هذا السجل لاكتشاف الانحراف والتحقيق في السلوك المشبوه.

في أنظمة Vera Rubin POD، تقع BlueField-4 على المسار الوحيد من العقدة إلى النموذج. لذلك تستطيع مراقبة الوكلاء من خارج النطاق وفرض السياسة فوريا حتى عندما لا يمكن الوثوق بالنظام المضيف. والمنصة محسنة لأنظمة NVIDIA Vera CPU وBlueField DPU، لكن الشركة تقول إنها متوافقة أيضا مع عتاد آخر.