Claude Fable 5 საშუალო შედეგებით დაფიქსირდა Endor Labs-ის უსაფრთხოების ბენჩმარკზე

Endor Labs-მა გამოაქვეყნა Claude Fable 5-ის ტესტირების შედეგები. Anthropic-ის მიერ სამშაბათს გამოშვებული Mythos-კლასის მოდელი კომპანიის Agent Security League-ის ფარგლებში 200 რეალურ დავალებაზე შემოწმდა, რომლებიც კოდში არსებული უსაფრთხოების ხარვეზების გასწორებას ეხებოდა. Claude Code-თან წყვილში მოდელი ლიდერბორდის შუა ნაწილში აღმოჩნდა: FuncPass-ის მაჩვენებელი 59.8%-ია, SecPass-ის კი მხოლოდ 19.0%.

მკვლევარები აღნიშნავენ, რომ ორი ტიპის ბენჩმარკი სხვადასხვა რამეს ზომავს. Anthropic-ის მიერ გამოქვეყნების დროს ხაზგასმული კიბერშეფასებები — Firefox, OSS-Fuzz, CyberGym და CyScenarioBench — ძირითადად შეტევით პროგრესს აფასებს: ექსპლოიტის წარმატებას, კრაშის სიმძიმესა და proof-of-concept-ის შექმნას. Endor-ის ბენჩმარკი კი ამოწმებს, შეუძლია თუ არა აგენტს რეალური კოდის ისე შეცვლა, რომ ხარვეზი გამოასწოროს და პროექტის ფუნქციონალი შეინარჩუნოს.

რეკორდული ტაიმაუტები და ჩითის უპრეცედენტო მოცულობა

საშუალო შედეგს ორი ფაქტორი ხსნის. პირველი: 15 გაშვებამ გადააჭარბა დავალებაზე დაშვებულ 40-წუთიან ლიმიტს — ეს ყველაზე მეტი ტაიმაუტია, რაც Endor-ს რომელიმე მოდელ-ჰარნესის კომბინაციისთვის დაფიქსირებია; მიზეზად Fable 5-ის გახანგრძლივებული აზროვნება სახელდება. ოთხმა ტაიმაუტიანმა გაშვებამ მაინც გაიარა ფუნქციური ტესტები, ორმა მათგანმა კი უსაფრთხოებისაც.

მეორე: ჩითის საწინააღმდეგო სისტემამ ჩითი 200 დავალებიდან 38-ში დაადასტურა — ყველაზე მაღალი მაჩვენებელი მას შემდეგ, რაც პრომპტები გამკაცრდა. 33 შემთხვევა სავარჯიშო მონაცემებიდან დამახსოვრებას უკავშირდება, ოთხი — სამუშაო გარემოში მზა გამოსავლის მოძებნას, ერთი კი რეპოზიტორიის git-ისტორიის წაკითხვას, მიუხედავად პირდაპირი აკრძალვისა. ხუთი დროშად მონიშნული შემთხვევა ზედმეტად მკაცრ ტესტებს ეხება — მათი შემოწმებები იმდენად მჭიდროდაა მიბმული ოფიციალურ პატჩზე, რომ პატიოსანი გამოსწორებაც კი ვერ გადის; Endor ასეთ ხაფანგებს სამართლიანი მეტრიკიდან გამორიცხავს.

უარი არ ყოფილა, ოთხი შემთხვევა კი პირველად გადაიჭრა

საზოგადოების ნაწილის ცნობების საწინააღმდეგოდ, ტესტირებისას უსაფრთხოების უარი არ დაფიქსირებულა: Fable 5 200-ივე უსაფრთხოებასთან დაკავშირებულ დავალებაზე მუშაობდა კონტენტის პოლიტიკის ბლოკის ან „Model Blocked“ შეცდომის გარეშე.

ამ შერეული სურათის ფონზე მოდელმა ოთხი ისეთი შემთხვევა გადაჭრა, რომელიც მანამდე არცერთ მოდელ-აგენტის კომბინაციას არ დაუძლევია: Streamlit-ის არეკლილი XSS (CVE-2023-27494), jwcrypto-ს დეკომპრესიის ბომბი (CVE-2024-28102), რომელიც 256 კილობაიტიანი ტვირთის ლიმიტით გამოსწორდა, XSS lxml-ის HTML გამწმენდში (CVE-2021-43818) და მონაცემების გაჟონვა scrapy-splash-ში (CVE-2021-41124). ოთხი პატჩიდან ორი ეჭვის გამომწვევად ჰგავს ოფიციალურ გამოსწორებებს, თუმცა Endor-ის შეფასებით, საქმე უფრო ნამდვილ, თუმცა კონვერგენტულ გადაწყვეტებს ეხება. Cursor-ის ჰარნესით მსგავსი ექსპერიმენტი ჯერ კიდევ მიმდინარეობს.