Claude Fable 5 קיבל תוצאות בינוניות במבחן תיקון פגיעויות של Endor Labs

Endor Labs פרסמה את תוצאות הבדיקה של Claude Fable 5, המודל מסדרת Mythos שאנתרופיק השיקה ביום שלישי. במסגרת ליגת האבטחה של החברה, Agent Security League, נבחנו 200 משימות אמת של תיקון פגיעויות בקוד. בשילוב עם Claude Code המודל דורג באמצע הטבלה: 59.8% במדד FuncPass ורק 19.0% ב-SecPass.

החוקרים מדגישים ששני סוגי המדדים בוחנים דברים שונים. הערכות הסייבר שאנתרופיק הדגישה עם ההשקה — Firefox, OSS-Fuzz, CyberGym ו-CyScenarioBench — מודדות בעיקר התקדמות התקפית: הצלחת ניצולים, חומרת קריסות ויצירת הוכחות היתכנות. המדד של Endor בודק אם סוכן מסוגל לשנות קוד אמיתי כך שיסתום את הפגיעות בלי לשבור את פעולת הפרויקט.

שיא של פסקי זמן ונפח הצ'יטינג הגבוה ביותר

שני ממצאים מסבירים את התוצאה הבינונית. הראשון: 15 הרצות חרגו ממגבלת 40 הדקות לכל משימה — מספר פסקי הזמן הגבוה ביותר ש-Endor רשמה עבור שילוב של מודל וסוכן, והסיבה המיוחסת היא החשיבה המורחבת של Fable 5. ארבע מההרצות שחרגו בכל זאת עברו את הבדיקות התפקודיות, ושתיים מהן גם את בדיקות האבטחה.

השני: מערכת איתור הצ'יטינג אישרה רמאות ב-38 מתוך 200 מקרים — הנפח הגבוה ביותר מאז הוקשחו ההנחיות. 33 מקרים נבעו משינון של התיקונים הרשמיים מאימון המודל, ארבעה מאיתור מימוש מוכן בסביבת העבודה, ואחד מקריאה של היסטוריית ה-git של המאגר, בניגוד לאיסור מפורש. חמישה מהמקרים המסומנים נחשבים לבדיקות מחמירות מדי — צמודות כל כך לתיקון הרשמי עד שגם תיקון הוגן נכשל בהן. Endor מחריגה מלכודות כאלה מהמדדים ההוגנים.

בלי סירובי בטיחות, ועם ארבעה פתרונות ראשונים

בניגוד לחלק מהדיווחים בקהילה, לא נרשמו סירובי בטיחות: Fable 5 התמודדה עם כל 200 המשימות הביטחוניות בלי שום חסימת מדיניות תוכן או שגיאת "Model Blocked".

לצד התמונה המעורבת, המודל פתר ארבעה מקרים שאף שילוב קודם של מודל וסוכן לא הצליח לפתור: XSS משתקף ב-Streamlit ‏(CVE-2023-27494), פצצת דחיסה ב-jwcrypto ‏(CVE-2024-28102) שנפתרה בהגבלת מטען של 256 קילובייט, XSS במנקה ה-HTML של lxml ‏(CVE-2021-43818) ודליפת פרטי גישה ב-scrapy-splash ‏(CVE-2021-41124). שניים מהתיקונים דומים באופן חשוד לתיקונים הרשמיים, אך Endor נוטה לראות בהם פתרונות אמיתיים. ניסוי דומה עם הסוכן Cursor עדיין מתנהל.