Ինչու չպետք է վստահել մեծ context window-ներին

2026 թվականի մայիսի 6-ին Garrit's Notes-ում հրապարակված գրառումը պնդում է, որ լեզվական մոդելների context window-ի գովազդային թվերը նկարագրում են տարողությունը, այլ ոչ իրականում օգտագործելի աշխատանքային տարածքը։ Հեղինակը վկայակոչում է տեսանյութ, որը պատուհանը բաժանում է երկու գոտու՝ «խելացի գոտու», որտեղ մոդելը սուր է մնում, և «հիմար գոտու», որտեղ ուշադրությունը նվազում է, և մոդելը սկսում է մոռանալ րոպեներ առաջ տրված հրահանգները։ Նրա գնահատմամբ՝ սահմանն անցնում է մոտ 100 000 թոքենի վրա։

Ագենտները սահմանին հասնում են ճաշից առաջ

Այս տարբերությունն ամենաշատը վերաբերում է կոդի ագենտներին, որոնք թոքենները արագ այրում են։ Ֆայլերի մի քանի ընթերցում, երկար դեբագինգի սեսիա և ծավալուն թեստերի գործարկում կարող են սեսիան 100 հազար թոքենից այն կողմ տեղափոխել դեռ ճաշից առաջ։ Արտադրողներն այդ ընթացքում գովազդում են 200 հազար, 1 միլիոն և նույնիսկ 2 միլիոն թոքենանոց պատուհաններ, կարծես այդ թվերը նկարագրում են աշխատանքային օգտագործելի հիշողություն։

Հեղինակը վկայակոչում է հրապարակված հետազոտություններ, այդ թվում՝ RULER չափանիշը և Chroma-ի զեկույցը «context rot»-ի (կոնտեքստի քայքայման) մասին, որոնք, նրա խոսքով, ցույց են տալիս, որ արդյունավետ կոնտեքստը գովազդվող թվի միայն մի մասն է, և որ արդյունավետությունը աստիճանաբար վատանում է պատուհանի լցվելուն զուգահեռ։ Նրա եզրակացությունը՝ մեծ թիվը հիմնականում մարքեթինգային ցուցանիշ է, իսկ դրա հետևում եղած արխիտեկտուրաները չեն լուծում ուշադրության մեխանիզմի հիմնարար խնդիրը։

Կոմպակտացումն օգնում է, բայց ուշ է միանում

Ժամանակակից ագենտները սկսել են փոխհատուցել դա։ Claude Code-ի նման գործիքները ավտոմատ կոմպակտացնում են սեսիան. երբ այն երկարում է, ագենտն ամփոփում է պատմությունը և սկսում նորից։ Դա օգնում է, նշում է հեղինակը, սակայն կոմպակտացումը միանում է այն բանից հետո, երբ ժամանակն արդեն ծախսվել է դեգրադացված գոտում, և ամփոփումը գրում է այն մոդելը, որն ինքն արդեն դեգրադացված է։ Սա ավելի լավ է, քան ոչինչ, ավելացնում է նա, բայց ոչ այն տարբերակը, որը նա կընտրեր։

Նրա այլընտրանքը նոր սեսիա բացելն է և դրան ինքնուրույն գրված սպեցիֆիկացիա փոխանցելը։ Սա շատ ավելի բարձր ազդանշանային փոխանցում է, քան ցանկացած ավտոմատ ամփոփում, որովհետև մարդն է որոշում, թե ինչն է հետագայում կարևոր։ Նա դա նկարագրում է որպես «հացի փշրանքների» (breadcrumbs) մոտեցում՝ կիրառված ագենտների վրա. թողնել արտեֆակտ, որը հաջորդ սեսիան կամ հաջորդ մարդը կվերցնի մաքուր վիճակում։

Արտեֆակտներ՝ պատմության փոխարեն

obra/superpowers և mattpocock/skills նախագծերը ագենտների ամբողջ աշխատահոսքերը կառուցում են փոքր, անվանված արտեֆակտների շուրջ՝ պահանջների փաստաթղթեր, պլաններ, հմտություններ (skills) և ենթաագենտների փոխանցումներ։ Դրանցից յուրաքանչյուրը տեղեկատվությունը կենդանի սեսիայից դուրս է բերում՝ ինչ-որ բանի մեջ, որը կկարդա հաջորդ սեսիան, և աշխատանքային կոնտեքստը պահում է այն գոտում, որտեղ մոդելը դեռ սուր է։ Հեղինակի կանոնը՝ վերաբերվել context window-ին որպես բյուջե. ենթադրել, որ իրապես աշխատում է միայն նրա սկզբնական մասը, իսկ մնացածը տեղափոխել գրավոր ձևի։