დიდი context window-ები: რატომ არ უნდა ენდო მათ

2026 წლის 6 მაისს Garrit's Notes-ში გამოქვეყნებული ჩანაწერი ამტკიცებს, რომ დიდი ენობრივი მოდელების context window-ის სარეკლამო ციფრები ტევადობას აღწერს და არა რეალურად გამოსაყენებელ სამუშაო სივრცეს. ავტორი მოჰყავს ვიდეო, რომელიც ფანჯარას ორ ზონად ყოფს: „ჭკვიან ზონად", სადაც მოდელი ზუსტად მუშაობს, და „სულელ ზონად", სადაც ყურადღება ეცემა და მოდელი ივიწყებს რამდენიმე წუთით ადრე მიცემულ მითითებებს. მისი შეფასებით, საზღვარი დაახლოებით 100 000 ტოკენზე გადის.

აგენტები ლიმიტს სადილამდე აღწევენ

ეს სხვაობა განსაკუთრებით კოდის აგენტებს ეხება, რომლებიც ტოკენებს სწრაფად წვავენ. რამდენიმე ფაილის წაკითხვა, გრძელი დებაგინგის სესია და მოცულობითი ტესტების გაშვება სესიას 100 ათას ტოკენს სადილამდე გადააცილებს. მწარმოებლები კი აცხადებენ 200 ათასი, 1 მილიონი და თუნდაც 2 მილიონი ტოკენის ფანჯრებს, თითქოს ეს ციფრები რეალურ სამუშაო მეხსიერებას აღწერდეს.

ავტორი მიუთითებს გამოქვეყნებულ კვლევებზე, მათ შორის RULER-ის ბენჩმარკსა და Chroma-ს მოხსენებაზე „context rot"-ის შესახებ, რომლებიც, მისი თქმით, აჩვენებენ, რომ ეფექტური კონტექსტი რეკლამირებული ციფრის მხოლოდ ნაწილია და რომ შესრულება თანდათან უარესდება ფანჯრის შევსებისას. მისი დასკვნაა: დიდი რიცხვი ძირითადად მარკეტინგული მაჩვენებელია, ხოლო მის უკან არსებული არქიტექტურები ყურადღების მექანიზმის ფუნდამენტურ პრობლემას არ წყვეტენ.

კომპაქტიზაცია ეხმარება, მაგრამ გვიან ჩაერთვება

თანამედროვე აგენტებმა ამის კომპენსაცია დაიწყეს. ინსტრუმენტები, როგორიც Claude Code-ია, სესიას ავტომატურად იკუმშებენ: როცა სესია გრძელდება, აგენტი ისტორიას აჯამებს და თავიდან იწყებს. ეს ეხმარება, აღნიშნავს ავტორი, თუმცა კომპაქტიზაცია მაშინ ჩაირთვება, როცა დრო უკვე დეგრადირებულ ზონაშია გატარებული, და თავად შეჯამებას ის მოდელი წერს, რომელიც უკვე დეგრადირებულია. ეს უკეთესია, ვიდრე არაფერი, მაგრამ არა ის ვარიანტი, რომელსაც ავტორი აირჩევდა.

მისი ალტერნატივაა ახალი სესიის გახსნა და მასში საკუთარი ხელით დაწერილი სპეციფიკაციის გადაცემა. ეს გაცილებით მაღალსიგნალო გადაცემაა, ვიდრე ნებისმიერი ავტომატური შეჯამება, რადგან ადამიანი წყვეტს, რა არის შემდგომ მნიშვნელოვანი. ის ამას აღწერს როგორც „პურის ნატეხების" (breadcrumbs) მიდგომას აგენტებზე: დატოვე არტეფაქტი, რომელსაც შემდეგი სესია ან შემდეგი ადამიანი სუფთად აიღებს.

არტეფაქტები ისტორიის ნაცვლად

პროექტები obra/superpowers და mattpocock/skills აგენტების მთელ სამუშაო პროცესებს პატარა, დასახელებული არტეფაქტების გარშემო აწყობენ — მოთხოვნების დოკუმენტები, გეგმები, უნარები (skills) და ქვეაგენტებს შორის გადაცემები. თითოეული მათგანი ინფორმაციას ცოცხალი სესიიდან გარეთ გააქვს, იმაში, რასაც შემდეგი სესია წაიკითხავს, და სამუშაო კონტექსტს იმ ზონაში ინახავს, სადაც მოდელი ჯერ კიდევ ზუსტია. ავტორის წესია, context window-ს ბიუჯეტივით მოეპყრას: ჩათვალოს, რომ რეალურად მხოლოდ მისი საწყისი ნაწილი მუშაობს, დანარჩენი კი წერილობით ფორმაში გადაიტანოს.