למה לא כדאי לסמוך על חלונות הקשר גדולים

פוסט שפורסם ב-Garrit's Notes ב-6 במאי 2026 טוען שהמספרים הגדולים שמלווים חלונות הקשר של מודלי שפה מתארים קיבולת, לא מרחב עבודה שמיש. המחבר מצטט סרטון שמחלק את החלון לשני אזורים: "אזור חכם", שבו המודל חד, ו"אזור טיפש", שבו הקשב יורד והמודל מתחיל לשכוח הוראות שניתנו דקות קודם. לפי תיאורו, הגבול נמצא בסביבות 100,000 טוקנים.

סוכנים מגיעים לגבול לפני הצהריים

הפער הזה קריטי בעיקר לסוכני קוד, ששורפים טוקנים במהירות. כמה קריאות קבצים, הפעלת דיבוג ארוכה והרצת בדיקות מסועפת יכולים להעביר הפעלה מעבר ל-100 אלף טוקנים עוד לפני הצהריים. הספקים לעומת זאת מפרסמים חלונות של 200 אלף, מיליון ואפילו שני מיליון טוקנים, כאילו המספרים האלה מתארים זיכרון עבודה שמיש.

המחבר מפנה למחקרים שפורסמו, ובהם מדד RULER והדוח של Chroma על "רקבון הקשר" (context rot), שלטענתו מראים שההקשר האפקטיבי הוא רק חלק מהמספר המפורסם, ושהביצועים נחלשים בהדרגה ככל שהחלון מתמלא. מסקנתו: המספר הגדול הוא בעיקר נתון שיווקי, והארכיטקטורות שמאחוריו אינן פותרות את הבעיה העמוקה של מנגנון הקשב.

דחיסה עוזרת, אבל מגיעה מאוחר

סוכנים מודרניים החלו לפצות על כך. כלים כמו Claude Code מבצעים דחיסה אוטומטית: כשההפעלה מתארכת, הסוכן מסכם את ההיסטוריה ומתחיל מחדש. זה עוזר, כותב המחבר, אבל הדחיסה מופעלת אחרי שכבר הושקע זמן באזור הירוד, והסיכום עצמו נכתב על ידי מודל שכבר ירוד בעצמו. טוב מכלום, הוא מוסיף, אבל לא המצב שהוא היה בוחר בו.

החלופה שלו היא לפתוח הפעלה חדשה ולהעביר לה מפרט שהוא עצמו כתב. זהו מעבר באיכות אות גבוהה מכל סיכום אוטומטי, מפני שאדם מחליט מה עוד חשוב בהמשך. הוא מתאר זאת כשיטת "פירורי הלחם" (breadcrumbs) כפי שהיא מיושמת על סוכנים: להשאיר חפץ שההפעלה הבאה, או האדם הבא, יאסוף בצורה נקייה.

חפצים במקום היסטוריה

פרויקטים כמו obra/superpowers ו-mattpocock/skills בונים תהליכי עבודה שלמים של סוכנים סביב חפצים קטנים בעלי שם — מסמכי דרישות, תוכניות, מיומנויות (skills) והעברות בין תת-סוכנים. כל אחד מהם מוציא מידע מההפעלה החיה אל משהו שההפעלה הבאה יכולה לקרוא, וכך נשמר הקשר העבודה בתוך האזור שבו המודל עוד חד. הכלל של המחבר: להתייחס לחלון ההקשר כתקציב, להניח שרק חלקו הראשון באמת עובד, ולהעביר את כל השאר לכתב.