OpenAI, GPT-6 için istem önbelleğini geliştirdi

OpenAI, GPT-6 model ailesi için geliştirdiği istem önbelleğe alma sisteminin ayrıntılarını yayımladı. Şirkete göre sistem, önbellek isabet oranını varsayılan olarak yükseltiyor ve geliştiricilere önbellekten gelen girdi tokenlarında yüzde 90'a varan indirim sağlıyor. Güncelleme 22 Eylül 2026'da yayımlandı.

Önbelleğe alma, kod tabanlarını yeniden düzenlemekten araştırma belgeleri hazırlamaya kadar karmaşık işlerde saatlerce çalışan ajanlar için kritik önem taşıyor. Bu uygulamalar aynı talimatları, araç tanımlarını ve önceki bağlamı taşıyan uzun API istek dizileri gönderiyor; hesaplamayı yeniden kullanmak hem gecikmeyi hem maliyeti düşürüyor.

Varsayılan olarak daha yüksek isabet

OpenAI'ye göre GPT-6 ile uygun ortak önekler, 30 dakikalık bir pencere içinde yeniden kullanıldığında indirim kazanıyor. Sistem otomatik çalışıyor; ancak şirket, ekiplerin gerçekte neyin yeniden kullanıldığını ölçmesini sağlayan araçlar da ekledi.

Yeni Prompt Caching Dashboard, bir uygulamanın girdisinin ne kadarının önbellekten geldiğini gösteriyor, isabet oranını zaman içinde izliyor ve önbellekli tokenlarla önbelleksizleri karşılaştırıyor. Beklenmedik bir ıskalamada tanılama aracı, isteği yakın bir yanıtla karşılaştırıp nedeni — değişen model, araç seti, ayar veya girdi — belirtiyor ve etkilenen token sayısını tahmin ediyor. OpenAI'nin örneğinde tools_changed nedeniyle 5.629 yeniden kullanılabilir token boşa gitti.

Geliştiriciler için denetimler

Açık önbellek kesme noktaları, hangi öneklerin yeniden kullanılacağını seçmeyi sağlıyor; OpenAI ilgili kılavuzu da güncelledi. GPT-6 modellerinde akıl yürütme düzeyi artık yanıtlar arasında configuration_update eklenerek değiştirilebiliyor; istek düzeyindeki ayar sabit kaldığı için önbellek bozulmuyor.

OpenAI ayrıca araç tanımlarının, şemaların ve sıralamanın sabit tutulmasını öneriyor: tanımları silmek yerine yalnızca gerekli araçları allowed_tools ile açın ya da tool_choice değerini none yapın. Yeni talimatlar bağlamın sonuna yakın developer mesajları olarak eklenmeli; bilinen bağlam önceden ısıtılabilir.

Müşteriler ne bildiriyor

GitHub Copilot ürün müdürü Mario Rodriguez, önbellek çalışmasının milyarlarca istekte yeniden işlenmesi gereken istem tokenlarının payını yüzde 50'den fazla azalttığını söyledi. Strawberry Browser CTO'su Arian Hanifi yüzde 20 daha düşük maliyet bildirdi ve açık kesme noktalarının arka plan görevleri için sohbet çatallamayı ekonomik kıldığını belirtti. Manus bir haftadan kısa sürede yaklaşık yüzde 85'ten sürekli yüzde 90'ın üzerine çıktı; Wordsmith ise yüzde 83'ten 91'e yükselerek önbellek yazımlarını üçte iki, çıkarım maliyetlerini yüzde 36 azalttı.