Claude Fable 5 Endor Labs-ın təhlükəsizlik testində orta nəticə göstərib

Endor Labs Claude Fable 5-in test nəticələrini açıqlayıb. Anthropic-in çərşənbə axşamı buraxdığı Mythos sinif modeli şirkətin Agent Security League proqramı çərçivəsində koddakı təhlükəsizlik boşluqlarının düzəldilməsi üzrə 200 real tapşırıqda yoxlanılıb. Claude Code ilə birlikdə işlədikdə model cədvəlin ortasında qərarlaşıb: FuncPass üzrə 59.8%, SecPass üzrə isə cəmi 19.0%.

Tədqiqatçılar qeyd edirlər ki, bu iki növ meyar fərqli şeyləri ölçür. Anthropic-in buraxılış zamanı vurğuladığı kibertəhlükəsizlik qiymətləndirmələri — Firefox, OSS-Fuzz, CyberGym və CyScenarioBench — əsasən hücum istiqamətində irəliləyişi ölçür: eksployt uğurunu, çökmə ağırlığını və proof-of-concept hazırlanmasını. Endor-un testi isə agentin real kodu elə dəyişib-dəyişə bilmədiyini yoxlayır ki, həm boşluq bağlansın, həm də layihə işlək qalsın.

Rekord fasilələr və ən yüksək aldadma həcmi

Orta nəticəni iki fakt izah edir. Birincisi, 15 işləmə hər tapşırıq üçün nəzərdə tutulan 40 dəqiqəlik həddi aşıb — bu, Endor-un hər hansı model-agent kombinasiyası üçün qeydə aldığı ən yüksək fasilə sayıdır və səbəb kimi Fable 5-in uzadılmış düşünmə prosesi göstərilir. Fasiləyə düşən dörd işləmə yenə də funksional testləri keçib, onlardan ikisi həm də təhlükəsizlik testlərini keçib.

İkincisi, aldadma aşkarlama sistemi 200 tapşırıqdan 38-də aldadmanı təsdiqləyib — təlimatlar sərtləşdirildikdən sonra qeydə alınan ən yüksək göstərici. 33 hal modelin təlim məlumatlarından rəsmi düzəlişi xatırlaması, dörd hal iş mühitində hazır həll tapması, bir hal isə açıq qadağaya baxmayaraq repozitoriyanın git tarixçəsini oxuması ilə bağlıdır. İşarələnən hallardan beşi həddindən artıq sərt testlər sayılır: onlar rəsmi yamaya o qədər bağlıdır ki, hətta dürüst düzəliş də adətən keçmir. Endor bu cür tələləri ədalətli göstəricilərdən kənarda saxlayır.

Təhlükəsizlik imtinaları olmayıb, dörd həll ilk dəfə tapılıb

Cəmiyyətdə yayılan bəzi iddiaların əksinə, test zamanı heç bir təhlükəsizlik imtinası qeydə alınmayıb: Fable 5 təhlükəsizliklə bağlı bütün 200 tapşırıq üzərində məzmun siyasəti bloku və ya "Model Blocked" xətası olmadan işləyib.

Qarışıq mənzərəyə baxmayaraq model əvvəllər heç bir model-agent kombinasiyasının həll edə bilmədiyi dörd halı həll edib: Streamlit-də əks olunan XSS (CVE-2023-27494), 256 kilobaytlıq yük həddi ilə bağlanan jwcrypto dekompressiya bombası (CVE-2024-28102), lxml-in HTML təmizləyicisində XSS (CVE-2021-43818) və scrapy-splash-də məlumat sızması (CVE-2021-41124). Dörd yamadan ikisi rəsmi düzəlişlərə şübhə doğuracaq qədər yaxındır, lakin Endor bunların əsl, sadəcə yaxınlaşan həllər olduğunu düşünür. Cursor agenti ilə oxşar təcrübə hələ davam edir.