Büyük bağlam pencerelerine neden güvenmemeli

Garrit's Notes'ta 6 Mayıs 2026'da yayımlanan bir not, büyük dil modellerinin bağlam pencerelerine iliştirilen manşet sayıların kullanılabilir çalışma alanını değil kapasiteyi anlattığını savunuyor. Yazar, pencereyi iki bölgeye ayıran bir videoya atıf yapıyor: modelin keskin kaldığı "akıllı bölge" ve dikkatin düştüğü, modelin birkaç dakika önce verilen talimatları unutmaya başladığı "aptal bölge". Ona göre sınır yaklaşık 100.000 token civarında.

Ajanlar sınıra öğle yemeğinden önce ulaşıyor

Bu fark en çok, tokenleri hızla tüketen kod ajanlarını ilgilendiriyor. Birkaç dosya okuması, uzun bir hata ayıklama oturumu ve geniş bir test koşusu, bir oturumu öğle yemeğinden önce 100 bin tokenın üzerine taşıyabiliyor. Üreticiler ise 200 bin, 1 milyon ve hatta 2 milyon tokenlık pencereleri, sanki bu sayılar kullanılabilir bir çalışma belleğini tanımlıyormuş gibi duyuruyor.

Yazar, aralarında RULER kıyaslaması ve Chroma'nın "context rot" (bağlam çürümesi) raporunun bulunduğu yayımlanmış araştırmalara işaret ediyor; ona göre bu çalışmalar etkin bağlamın ilan edilen sayının yalnızca bir kesri olduğunu ve pencere doldukça performansın kademeli olarak düştüğünü gösteriyor. Vardığı sonuç: büyük sayı büyük ölçüde bir pazarlama verisi ve arkasındaki mimariler dikkat mekanizmasının temel sorununu çözmüyor.

Sıkıştırma yardımcı oluyor, ama geç devreye giriyor

Modern ajanlar bunu telafi etmeye başladı. Claude Code gibi araçlar otomatik sıkıştırma yapıyor: oturum uzadığında ajan geçmişi özetliyor ve sıfırdan başlıyor. Yazar, bunun yardımcı olduğunu ancak sıkıştırmanın, zaman zaten bozulmuş bölgede harcandıktan sonra devreye girdiğini ve özetin de kendisi bozulmuş bir model tarafından yazıldığını belirtiyor. Ona göre bu hiç yoktan iyidir, ama seçeceği durum değildir.

Onun alternatifi yeni bir oturum açıp ona kendi yazdığı bir şartnameyi teslim etmek. Bu, herhangi bir otomatik özetten çok daha yüksek sinyalli bir aktarım, çünkü ileride neyin önemli olduğuna bir insan karar veriyor. Yazar bunu ajanlara uygulanmış "ekmek kırıntısı" (breadcrumbs) yaklaşımı olarak tanımlıyor: bir sonraki oturumun ya da bir sonraki kişinin temiz biçimde devralabileceği bir çıktı bırakmak.

Geçmiş yerine çıktılar

obra/superpowers ve mattpocock/skills gibi projeler, ajan iş akışlarının tamamını küçük ve adlandırılmış çıktılar etrafında kuruyor: gereksinim belgeleri, planlar, beceriler (skills) ve alt ajan devirleri. Her biri bilgiyi canlı oturumun dışına, bir sonraki oturumun okuyabileceği bir şeye taşıyor ve çalışma bağlamını modelin hâlâ keskin olduğu bölgede tutuyor. Yazarın kuralı, bağlam penceresini bir bütçe gibi görmek: yalnızca ilk bölümünün gerçekten çalıştığını varsaymak ve geri kalanını yazıya dökmek.