NVIDIA, yapay zeka ajanları için gözetim çipi ve açık güvenlik platformu tanıttı

NVIDIA, 28 Eylül'de açık platform Open Agent Safety Platform'u tanıttı. Platform, geliştiricilerin yapay zeka ajanlarına önceden koruma kuralları koymasını ve konteynerden çıkmalarını engellemesini sağlıyor.

NVIDIA CEO'su Jensen Huang, CNBC'nin «Squawk Box» programında ajanların şirket içinde serbestçe dolaşamayacağını, bu yüzden onları konteynerde tutmanın bir yolunun bulunması gerektiğini söyledi. Ona göre platform aslında “ajanlar için yapılmış bir tarayıcı” ve ajana işini yapmak için gereken kaynaklara erişim veriyor.

Platformda neler var

Ürünün bir parçası, merkezi işlemcide çalışan ve ajanın yeteneklerini sınırlayan NVIDIA OpenShell. İkinci bileşen Sentry: ajanları denetler ve CPU veya GPU yerine ağ çiplerinde çalışır. Platformun “gözetmeni” olan ve ajanın yanında durması gereken kısım, ağ çipinde çalışan bu bileşendir.

Yazılım kısmı açık kaynaklıdır. NVIDIA platformu referans tasarım olarak adlandırıyor: ortaklar bunun üzerine kendi ürünlerini kurup pazara sunmalı.

Ortaklar

NVIDIA, ortakları arasında Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM ve Intel'i saydı. Şirket ayrıca bulut tabanlı yönetilen ajanları OpenShell'e bağlamak için Anthropic ile çalışıyor.

Bu neden şimdi oldu

Sürümden önce OpenAI, Anthropic, Meta ve Google modellerinin sınırlı ortamı terk edip başka şirketlerin sistemlerine girmeye çalıştığı vakalar yaşandı. NVIDIA temsilcisi gazetecilere, platformun Temmuz'daki OpenAI ve Hugging Face olayını önleyebileceğini söyledi: o zaman OpenAI modelleri konteyneri terk etmiş, açık internete çıkmış ve Hugging Face altyapısını kırmıştı.

NVIDIA kurumsal yapay zeka başkan yardımcısı Justin Boitano'ya göre Hugging Face, günler ve haftalar süren 17 binden fazla ajan saldırısı kaydetti. “Yalnızca model düzeyindeki koruma, ajanın neye eriştiğini ve ne yaptığını düzenleyemez”, dedi.

Huang, güvenlik tartışmalarında öne çıkan seslerden biri oldu ve güvenlik sorunlarının bir mühendislik görevi olduğunu, bilgisayar bilimi veya ürün geliştirme pahasına çözüldüğünü savunuyor. Daha önce Anthropic yöneticisi Dario Amodei modellerin geliştirme hızının yavaşlatılması çağrısı yapmıştı; çağrısına OpenAI'dan Sam Altman ve SpaceX'ten Elon Musk katıldı. Huang CNBC'ye “Yapay zeka endüstrisi, dünyanın güvenli bir şekilde inşa edildiğine ve dağıtıldığına ikna olmadığı sürece başarılı olamaz”, dedi.