Microsoft Research: Sohbet geçmişinin temizlenmesi AI ajanlarının sıkışmış çözüm yollarından kurtulmasına yardımcı oluyor

Microsoft Research'ın yeni araştırması, uzun süre çalışan AI araştırma ajanlarının aynı görevlerde performans açısından şaşırtıcı derecede farklı seviyelerde takılabileceğini ve bunun nedenin kendi birikmiş sohbet geçmişleri olabileceğini gösteriyor. Araştırmacılar, bağlam birikiminin ajanları kendi 'fikir çukurlarına', benzer çözümlerin dar alanlarına hapsettiğini ve sohbet geçmişinin sıfırlanmasıyla çok daha iyi sonuçlar alınabileceğini tespit etti.

Ajanlar fikir çukurlarına takılıyor

Araştırmacılar, tekrar tekrar çözüm öneren, değerlendiren ve geri bildirim temelinde iyileştiren "Autoresearch ajanlarını", yani AI sistemlerini inceledi. Aynı ajanın sekiz bağımsız çalıştırması aynı görevde önemli ölçüde farklı seviyelerde takıldı: nihai puanlar 68,3 ile 100,0 arasındaydı ve farklılık, hesaplama kaynağı önemli ölçüde daha fazla olduğu durumlarda bile korundu.

Tüm çalıştırmaların çözümleri, benzer çözümlerin birbirine yakın olduğu çok boyutlu bir harita üzerine yerleştirildiğinde, ekip bir çalıştırmanın çözümlerinin neredeyse her zaman küçük bir alanda kaldığını tespit etti. Ardından ajanlar kalan hesaplama bütçesinin büyük kısmını, diğer çalıştırmalarda keşfedilen daha iyi yaklaşımları aramak yerine, daha az verimli bir alanda çözümleri iyileştirmeye harcıyor. Bu örüntü, ajanlar periyodik olarak sohbet geçmişlerini özetlediğinde bile korunuyor.

Fork-and-Flush bağlamı temizler

Önerilen yöntem iki mekanizmayı birleştiriyor. "forking" sırasında ajan K paralel dala bölünür, her biri önceki çalışma alanını ve tüm üretilen dosyaları miras alır. "flushing" sırasında her dal tüm sohbet bağlamını kaybeder ancak çalışma alanını korur, bu da yeni bir sohbet başlatmayı ve önceki çalışmaya dayanmayı mümkün kılar.

Ana sürecin sohbet bağlamını koruyan dal, genellikle aynı fikir çukuruna geri döner çünkü önceki muhakeme sonraki adımlarını yönlendirir. Yeni bağlam aramada çeşitlilik katar. Sohbet geçmişi kaybolur ancak kod, dosyalar ve depolanan sonuçlar çalışma alanında kalır.

Sonuçlar 13 uzun görev üzerinde

Fork-and-Flush 13 uzun görevde test edildi, bunlar arasında: poliomino paketleme, job-shop planlama, kriptoanaliz, CIFAR sınıflandırıcının sıkıştırılması ve VLIW çekirdeğinin optimizasyonu yer alıyor. Bireysel çalıştırmalar birkaç saatten 100 saate kadar sürüyordu, ajanlar ise GitHub Copilot CLI aracılığıyla GPT-5.6-terra ve GPT-5.5 kullanıyordu.

Aynı hesaplama bütçesi koşullarında Fork-and-Flush, min-max normalize ortalama puanı 0,78'e ulaştı; bireysel çalıştırmaların 0,47'si ve best-of-4'ün 0,54'üne karşı, bu sırasıyla %66,0 ve %44,4'lük artış anlamına geliyor. Yöntem 13 görevin 12'sinde en yüksek ortalama puanı gösterdi ve daha tutarlı sonuçlar sağladı: normalize edilmiş standart sapma bireysel çalıştırmaların 0,26'sından 0,16'ya düştü. Sohbet bağlamının sadece temizlenmesi, dallanma olmadan, 11 görevde sonuçları yaklaşık %22 iyileştirdi.

Bağlam sıfırlamanın neden yararlı kalabileceği

Araştırmacılar ayrıca daha güçlü modellerin fikir çukurlarından kaçınıp kaçınmadiğini, MAX-3-SAT problemlerini kullanarak üç farklı boyuttaki model üzerinde test etti: Qwen3.5-4B, 9B ve 27B. Çalıştırmalar arasındaki varyasyon ters U formundaki bir eğriyi takip etti ve zirve, modelin yetenek sınırında olan problemlerde, yaklaşık olarak rastgele tahmin ile referans çözücünün performansı arasındaki noktada ulaştı. Modeller neredeyse her zaman çok basit görevlerde başarılı oluyor ve çok zor olanlarda başarısız oluyor.

Yazarlar, açık araştırma problemlerinin tanımlı olarak modellerin yetenek sınırında olduğunu savunuyorlar. Fork-and-Flush'ın kullandığı çeşitliliğin, modellerin iyileştirilmesiyle birlikte korunduğunu, sadece sınırın daha zor görevlere kaydığını ve düzenli bağlam sıfırlamasının öncü araştırma ajanları için de yararlı olabileceğini öne sürüyorlar.

Kaynaklar: The Decoder