Vals AI: açık ve kapalı yapay zekâ modelleri siber yetenek farkını daraltıyor

Vals AI'nin CyberOffense kıyaslaması, yapay zekâ ajanlarının gerçekçi simülasyon kurumsal ağlara tek başlarına sızabildiğini ortaya koydu. OpenAI'nin kısıtlı Daybreak siber programının parçası olan GPT-6 Sol Daybreak, hedeflerin yüzde 80,8'ine ulaştı; açık ağırlıklı Deepseek V4.1 Flash 1017 ise çalıştırma başına yaklaşık 3 dolar karşılığında yüzde 72,8'e ulaştı, bu da yaklaşık 22 doların çok altındaydı.

Kıyas testi kurulumu ve en iyi sonuçlar

Kıyas testi gerçekçi kurumsal ağları simüle eder. Her ajan, yalıtılmış bir saldırı makinesinde tek başına çalışır ve yalnızca genel bir web adresiyle başlar, insan yardımı almaz. Yalıtılmış bir Kali Linux makinesinden çalışır, simülasyon ağına bağımsız olarak komut gönderir ve bir web uygulamasından Windows sunucularına, oradan da yönetici yetkilerine kadar ilerler. Her eylem dışarıdan kaydedilir ve otomatik olarak puanlanır. Vals araştırmacıları, bir modelin ağırlıkları bir kez herkese açıldıktan sonra hiçbir sağlayıcının kullanımını denetleyemeyeceğini veya kısıtlayamayacağını söylüyor.

Token kullanımı ve daha zor test

Bir yapay zekâ ajanı ne kadar çok token kullanırsa, o kadar fazla saldırı hedefine ulaşır. GPT-6 Sol Daybreak yaklaşık yüzde 80 ile öndedir, Deepseek V4.1 Flash ise yaklaşık yüzde 73 ile izler. Çoğu model, 100 milyon token sınırını geçene kadar anlamlı ilerleme kaydetmez. Daha zor Lighthouse testinde Daybreak, ilk şirketin yönetici kontrolünü ele geçirdi, parolaları çaldı ve bunları ikinci şirkete sızarken kullandı; üç saat içinde 31 hedeften 27'sini tamamladı. Deepseek, maliyetin onda biriyle 21 hedefe ulaştı ve yalnızca güvenlik korumalarıyla sınırlı değildi. Deepseek ilk 25 milyon token'da sıfır sonuç elde etti ve en fazla ilerlemeyi 100 milyon token'dan sonra kaydetti; bu nedenle kısa testler açık modellerin gerçek potansiyelini hafife alır.

Daha basit test, tablo ve savunmacı fırsatı

Daha basit Nova testinde GPT-6 Sol Daybreak saldırı hedeflerinin yaklaşık yüzde 80'iyle öndedir, daha zor Lighthouse senaryosunda ise Deepseek V4.1 Flash alanı geçer. Çoğu açık Çin modeli, 100 milyon token sınırını geçene kadar anlamlı ilerleme kaydetmez ve kısa kıyas testleri potansiyellerini hafife alır. GPT-6 Sol Daybreak Nova'da 21 üzerinden ortalama 15,7, 12 ila 19 arasında bir aralıkla; Lighthouse'da 31 üzerinden 27 puan aldı. Deepseek V4.1 Flash 1017 Nova'da 21 üzerinden ortalama 16,3, 15 ila 18 arasında bir aralıkla; Lighthouse'da 31 üzerinden 21 puan aldı. Kimi K3.1 Pro 13 ve 20, Meta Wonder 7 ve 28, Grok 4.7 12 ve 16, Kimi K3 9 ve 10, GLM 5.3 Flash ise 5 ve 5 puan aldı. Vals, aynı bulguların savunmacılar için bir fırsat yarattığını söylüyor; çünkü zafiyetleri istismar eden modeller şirketlerin bunları önce bulup düzeltmesine yardımcı olabilir. Gerçek ağlara yönelik saldırıların önümüzdeki aylarda artması olasıdır.

Önceki çalışmalar aynı eğilimi gösteriyor

Sonuçlar, Birleşik Krallık'ın Yapay Zekâ Güvenlik Enstitüsü'nün Temmuz analiziyle örtüşüyor. Siber yeteneklerde açık ve kapalı sınır modelleri arasındaki fark, 2025'in çoğu döneminde altı ila on aydayken dört ila yedi aya indi. Açık modeller de çok daha ucuz: AISI'ye göre Deepseek V4-Pro ile bir siber alan çalıştırması 1,19 dolar, Anthropic'in Opus 4.5 modeliyle ise 85 dolar. Açık modellerdeki güvenlik önlemlerinin büyük ölçüde etkisiz olduğu görüldü. Yakın tarihli bir Anthropic çalışması ayrıca, herkese açık GLM-5-3 modelinin istismar kodları oluşturabilme düzeyinin iç üst model Mythos ile neredeyse aynı olduğunu gösterdi.

Kaynaklar: The Decoder