Gizli AI: kurumsal veriyi ve model ağırlıklarını birlikte korumak

Kurumlar en hassas verileri üzerinde AI çalıştırmak istiyor, ancak modelleri geliştiren şirketler ağırlıklarını devretmeyi reddediyor. Karşılıklı kontrol ihtiyacı bir çıkmaz yarattı ve gizli AI bunu aşmaya çalışıyor.

İki taraflı güven sorunu

Kurumsal AI'nın tatmin etmesi gereken iki taraf var. Kuruluşlar hassas verileri kendi kontrolünde tutmak, model geliştiricileri ise yıllara dayanan araştırmayı ve fikri mülkiyeti temsil eden ağırlıkları korumak zorunda.

VAST Data'nın CTO'su ve kurucu ortağı Alon Horev, The New Stack'e sorunun AI müşteri bilgisi işlediğinde en keskin hale geldiğini söylüyor. “Bugün modelden bir konuşmayı gizlemesini ya da PII'yi metinden çıkarmasını isteseniz bile, bunun gerçekten olduğundan %100 emin olmak zor,” diyor.

Ona göre en yetenekli modeller giderek daha çok SaaS hizmeti olarak sunuluyor. Ancak veriyi WAN üzerinden göndermek onu daha fazla sisteme ve operatöre teslim ediyor; kuruluşlar da sağlayıcının sözüne güvenmek istemeyebilir. Bu yüzden verinin bir kısmı yerinde kalıyor.

Gizli hesaplama nasıl çalışıyor

Bekleme ve aktarım sırasındaki şifreleme veriyi korur. Gizli hesaplama (confidential computing) bu korumayı işleme ortamına taşır: donanım düzeyinde yalıtım, verinin ve model ağırlıklarının onaylanmış bir iş yüküne bırakılana kadar şifreli kaldığı korunaklı bir bölge oluşturur.

Kriptografik kanıtlama, anahtarlar verilmeden önce erişim isteyen donanımı, sanal makineyi ve yazılımı doğrular. Geliştirici modelini belirli bir gizli VM'in ortak anahtarıyla şifreleyebilir; korunan bellekte bunu yalnızca o VM'in özel anahtarı çözebilir. Müşteri modeli kullanır ama ağırlıklarına erişmez.

Bağımsız anahtar kontrolü tarafları ayırır: kuruluş kendi verisinin, geliştirici kendi modelinin anahtarlarını elinde tutar ve iş yükü çalışırken altyapı operatörü iki setin hiçbirini kontrol etmez.

VAST DataEnclave ve ekosistemi

22 Eylül'de duyurulan DataEnclave, VAST AI Operating System'in bir yeteneğidir. Modeli, uygulama katmanını ve veri platformunu müşterinin kontrol ettiği koşullarda bir araya getirir; sağlayıcı fikri mülkiyeti devretmeden yazılımını sunar.

Horev'e göre şirket Cohere, Deepgram, Factory, Fundamental ve TwelveLabs gibi model geliştiricileriyle, NVIDIA, CrowdStrike, Fortanix, Nscale, Cisco ve Supermicro gibi altyapı ve güvenlik sağlayıcılarıyla çalışıyor. Gizli AI için korunan bir GPU yetmiyor.

Maliyet, operasyon ve ajanlar

Müşteri kontrolündeki altyapı maliyet tartışmasını da değiştiriyor, ancak AI'yı kendiliğinden ucuzlatmıyor. “Ajanlı AI dünyası çok hızlı ilerliyor ve bir ajanın neleri görüp neleri yapabileceğini sınırlamamız gerekiyor,” diyor Horev. Ekiplerin depolama, ağ ve hesaplama üzerinde tek bir görünüme, sanal alanlara ve ajanın hangi veriye dokunduğunu kaydeden gözlemlenebilirliğe ihtiyacı var.