סיימון וויליסון: Claude Fable 5 הוא פרואקטיבי ללא הרף

בקשה של שורה אחת וצילום מסך

סיימון וויליסון אומר שאחרי יומיים עם Claude Fable 5 התיאור המדויק ביותר למודל הוא „פרואקטיבי ללא הרף“: הוא מכיר אוסף עצום של טריקים וישתמש כמעט בכל אחד מהם כדי להשיג את מטרתו.

הדוגמה שלו היא סשן דיבוג על Datasette Agent. בזמן העבודה על הפרויקט הוא הבחין בתקלה: פס גלילה אופקי שלא היה אמור להופיע בשדה הצ׳אט של תפריט הקפיצה. הוא צילם מסך, פתח סשן Claude חדש בתיקיית datasette-agent, גרר פנימה את התמונה וביקש לחפש בתלויות את הסיבה לפס הגלילה. אחר כך התרחק מהמחשב.

כעבור כמה דקות ראה שהמכונה פתחה חלון דפדפן ב-Firefox ועברה לאותו דיאלוג — אף שלא הופעלה שום אוטומציה של דפדפן.

טריקים שאיש לא כתב

Fable בנה לעצמו מנגנון לצילום מסך. באמצעות uv run --with pyobjc-framework-Quartz הוא הריץ קוד Python שסרק את כל החלונות במכונה, סינן חלונות Safari ששמם הכיל מחרוזות כמו textarea, ולפי מספר החלון — מספר שלם כמו 153551 — צילם PNG בכלי screencapture של macOS. הוא גם כתב לעצמו דפי HTML לניסוי, ובהם /tmp/textarea-scrollbar-test.html, כדי לשחזר את התקלה.

הדיאלוג הנבדק נפתח רק בלחיצה או בקיצור מקלדת, ולכן Fable ערך את התבניות של Datasette והזריק JavaScript ששולח לחיצה מדומה על „/“ 1.2 שניות לאחר טעינת החלון. לצורך מדידות הוא כתב שרת Python קטן על http.server שקיבל בקשות POST עם JSON, כתב אותן ל-/tmp/diag.json והחזיר כותרות CORS, ואז הזריק סקריפט שדיווח על scrollWidth, clientWidth ו-devicePixelRatio מתוך ה-textarea ברכיב navigation-search.

בסופו של דבר Fable נתקל במעקה בטיחות בלתי נראה ועבר בעצמו ל-Opus. ל-Opus היה התמלול המלא, הוא השתמש באותם טריקים ואימת את התיקון — שינוי CSS בן שתי שורות.

כמה עלה הסשן

וויליסון משתמש במסלול Claude Max ב-100 דולר בחודש, שכולל מכסה נדיבה ל-Fable עד 22 ביוני, שאחריו Anthropic תחייב במחירי API מלאים. לפי AgentsView, הסשן השתמש ב-68,606 טוקני פלט ובקונטקסט שיא של 113,178 טוקנים — כ-12.11 דולר במחיר מלא.

למה זה חשוב

הנקודה הגדולה היא אבטחה. סוכן קוד יכול לעשות כל מה שמשתמש יכול לעשות בהקלדת פקודות בטרמינל, ומודלים חזיתיים מכירים כל טריק מוכר — ועוד כמה שאיש לא תיעד. אילו Fable פעל לפי הוראות זדוניות, למשל prompt injection שהוסתר בקוד או בשרשור issue, מדאיג לחשוב עד כמה רחוק הוא היה מגיע בהדלפת מידע.

וויליסון חוזר על כך שהרצת סוכני קוד מחוץ לארגז חול הייתה תמיד רעיון גרוע, ומכנה זאת המועמד המוביל שלו לאירוע בסגנון אסון הצ׳לנג׳ר, בהסתמכו על המסה של יוהאן ריברגר על נורמליזציה של סטייה ב-AI. מודל חכם יותר עשוי לחשוד יותר בהוראות זדוניות, הוא מציין, אבל זה חרב פיפיות: אם בכל זאת משתלטים עליו, הפרואקטיביות חסרת הרחמים שלו רק מחמירה את הנזק.