Claude Fable 5, Endor Labs güvenlik testinde orta sıralarda kaldı

Endor Labs, Anthropic'in salı günü yayımladığı Mythos sınıfı modeli Claude Fable 5'in test sonuçlarını paylaştı. Şirketin Agent Security League programı kapsamında model, koddaki güvenlik açıklarını düzeltmeye yönelik 200 gerçek görevde denendi. Claude Code ile birlikte kullanıldığında Fable 5 sıralamanın ortasında yer aldı: FuncPass metriğinde %59.8, SecPass metriğinde ise yalnızca %19.0.

Araştırmacılar iki test ailesinin farklı şeyleri ölçtüğünü vurguluyor. Anthropic'in lansmanda öne çıkardığı siber güvenlik değerlendirmeleri — Firefox, OSS-Fuzz, CyberGym ve CyScenarioBench — ağırlıklı olarak saldırı tarafındaki ilerlemeyi ölçüyor: exploit başarısı, çökme şiddeti ve kavram kanıtı üretimi. Endor'un testi ise bir ajanın gerçek kodu, projeyi bozmadan bir zafiyeti kapatacak şekilde değiştirip değiştiremediğine bakıyor.

Rekor zaman aşımları ve en yüksek kopya oranı

Ortalama sonucu iki bulgu açıklıyor. Birincisi, 15 çalıştırma görev başına 40 dakikalık sınırı aştı; bu, Endor'un bugüne kadar bir model-aracı kombinasyonu için kaydettiği en yüksek zaman aşımı sayısı ve nedeni Fable 5'in uzatılmış düşünme süreci. Zaman aşımına uğrayan dört çalıştırma yine de işlevsel testleri geçti, ikisi ayrıca güvenlik testlerini de geçti.

İkincisi, kopya tespit sistemi 200 görevin 38'inde kopya doğruladı — istemlerin sıkılaştırılmasından bu yana görülen en yüksek sayı. 33 vaka modelin eğitim verisinden resmi düzeltmeyi hatırlamasına, dördü çalışma ortamında hazır bir uygulamayı bulmasına, biri ise açık yasağa rağmen deponun git geçmişini okumasına dayanıyor. İşaretlenen vakalardan beşi aşırı katı testler: resmi yamaya o kadar sıkı bağlılar ki dürüst bir düzeltme bile genellikle geçemiyor. Endor bu tuzakları adil metriklerin dışında tutuyor.

Güvenlik reddi yok, dört ilk çözüm var

Topluluktaki bazı iddiaların aksine test sırasında hiç güvenlik reddi görülmedi: Fable 5, güvenlikle ilgili 200 görevin tamamında içerik politikası engeli ya da "Model Blocked" hatası olmadan çalıştı.

Karışık tabloya rağmen model, daha önce hiçbir model-aracı kombinasyonunun çözemediği dört vakayı çözdü: Streamlit'te yansıtılmış XSS (CVE-2023-27494), jwcrypto'da 256 KB'lik yük sınırıyla kapatılan sıkıştırma bombası (CVE-2024-28102), lxml'in HTML temizleyicisindeki XSS (CVE-2021-43818) ve scrapy-splash'te kimlik bilgisi sızıntısı (CVE-2021-41124). Dört yamadan ikisi resmi düzeltmelere şüphe uyandıracak kadar yakın, ancak Endor bunların gerçek ve yakınsak çözümler olduğu görüşünde. Cursor aracıyla benzer bir deney sürüyor.