Pi'nin minimalizmi avantaj: dört araçlı harness, Databricks testinde daha düşük maliyetle öne geçti

Earendil'in Pi'si bilinçli olarak minimalist tasarlanmış bir kodlama harness'ı: kutudan yalnızca dört araç çıkıyor ve sistem istemi ile araç tanımları birlikte 1.000 token'ın altında kalıyor. Şirket bir yazıda minimalizmin bir kısıt değil, Pi'nin maliyet ve performans avantajının kaynağı olduğunu savunuyor.

Databricks: harness seçimi maliyeti de değiştiriyor

Databricks, milyonlarca satırlık kod tabanında kodlama ajanları için bir karşılaştırma yayımladı; test, doygunluğa ulaşmış kamuya açık ölçümlere değil şirketin mühendislerinin düzenli yaptığı işlere dayanıyor. Şirketin bulgusuna göre modelin çağrıldığı harness maliyeti ve kaliteyi çarpıcı biçimde etkiliyor ve birçok durumda Pi gibi basit harness'lar şirketin iş yüklerinde en iyi sonucu verdi.

Yüksek düşünme eforuyla Opus 4.8 üzerinde Pi, Claude Code ve Codex'e kıyasla görev başına belirgin biçimde düşük maliyetle en yüksek genel geçme oranını elde etti. Databricks ayrıca aynı modelin aynı düşünme eforuyla farklı harness'larda görev başına maliyetinin bazı durumlarda iki katından fazla değiştiğini, kalitenin ise aynı kaldığını buldu; Pi tur başına yaklaşık üç kat daha az bağlam gönderiyor ve görevleri daha az çalıştırmayla bitiriyordu.

Shopify, Autoresearch'ü eklenti olarak geliştirdi

Shopify Engineering'den David Cortés, otonom bir optimizasyon döngüsü olan pi-autoresearch'ü doğrudan bir Pi eklentisi olarak geliştirdi: Pi'den eklentiyi oluşturmasını istemesi yeterliydi. Eklenti neyin işe yaradığını ve neyin gerilemeye yol açtığını bulmak için deneyler çalıştırıyor, gerilemeleri atıyor ve hedef ölçülebilir olduğu sürece iyileştirmeye devam ediyor. Shopify'ın bildirdiği sonuçlar arasında 300 kat hızlanan birim testleri, %20 daha hızlı React bileşen yüklemesi, birkaç projede kısalan derleme süreleri ve pnpm performansında iyileştirmeler var.

Earendil, bu araçların hiçbirinin Pi ile birlikte gelmediğini vurguluyor. Harness küçük kalıyor, kullanıcılar ihtiyaç duyduklarını kendileri ekliyor.

Minimalizm neden şimdi kazanıyor

Yaklaşık bir yıl önce yerel harness'ların yapısal bir avantajı olduğu savunulabilirdi, çünkü modeller onların etrafında geliştiriliyordu. Earendil'e göre öncü modeller terminal tarzı ortamlarda yetkinleştikçe bu argüman zayıfladı; Anthropic'in Claude Code'un sistem istemini %80 kısması da aynı eğilimin işareti olarak gösteriliyor. Soru artık harness'ın ne kadar yerel olduğundan çok, bağlamı gereksiz tekrar olmadan nasıl yönettiği.

Pi'nin bağlam disiplini özellikle yerel modeller için değerli: bu modellerin bağlam pencereleri genellikle daha küçük ve prefill süreleri uzun, sabit bir istem öneki dakikalarca yeniden işlemeyi önlüyor. Earendil'in sonucu: hem daha ucuz, hem minimal, hem de daha performanslı bir harness.