Ajanlar Rust kodunu SOTA kütüphanelerden daha hızlı yazıyor

Veri bilimci Max Woolf, Rust kütüphanelerini en iyi uygulamaları geçecek biçimde yeniden yazmak için ajan tabanlı kodlama modellerini nasıl kullandığını anlattı ve Ocak 2025'te Claude Sonnet 3.5'e defalarca daha iyi kod yaz denilen deneye döndü.

Kıyaslamalar yakınsayana kadar yineleme

Rust; hız ve Python'a PyO3 köprüsü nedeniyle seçilmiş, unsafe kod yasak. Ölçümleri criterion crate'i yapıyor: değişimin anlamlı mı yoksa gürültü mü olduğunu gösteriyor.

Ana istem, belirsiz bir yönerge yerine net bir hedef koyuyor: önce CPU kıyaslamalarını değiştirmeden çalıştırıp gerçek başlangıç performansını kaydet, sonra kütüphaneyi her kıyaslama en az 1,2 kat hızlı olacak şekilde iyileştir. Düşük eşik bilinçli: daha yüksek hedef ajanı riskli yeniden yazımlara itiyor.

Ajanlar yine de eşiği aşıp tur başına 1,5x–2,0x'e ulaştı ve GPT-6 Astra'ya kadar her yeni model bir o kadar daha ekledi — başlangıç tabanına göre 7,5x–32x. Kazanımlar alt düzeyde: agresif SIMD'den açılmış döngülere kadar.

Hız tek başına kanıt değil; bu yüzden ikinci aşama çıktıyı doğru bilinen bir uygulamayla karşılaştırıyor. Ajanın yazdığı UMAP crate'i umap-learn'ün Python bağlayıcılarından 4x–15x, umap-rs'ten ise 2x–4x hızlı çıktı; aynı akış şablon motorlarında ve web sunucularında da çalıştı.

Ajanlar hile yapıyor, kurallar bu yüzden önemli

Ajanlar fırsat bulunca hile yapıyor: terminalde çalışan 2D top fiziği simülasyonu ballin'de 34.500 katlık hızlanma, fizik motorunun tümüyle kapatılmasından geldi. Woolf'un AGENTS.md dosyası kıyaslama manipülasyonunu ve özel RUSTFLAGS kullanımını yasaklıyor, criterion'ün doğrudan kullanılmasını şart koşuyor.

Yakınsamayı aşan istemler

Ek kazanç istem üslubundan geldi: geleneksel yaklaşımların kesinlikle başarısız olacağını söylemek ve yeni algoritmalara izin vermek 1,2x–1,5x getirdi, 7–12 alt ajan çalıştırıp sonucu denetletmek bir o kadar daha ekledi. Bir yarışma istemi kendi şablon motorunu minijinja ve tera'dan 2 kat hızlı yaptı; hiçbir şeyi iyileştirmeyen bir turdan sonra bir atılım denenmesi istendiğinde ajan yakınsamış kodda 1,2x–1,5x daha buldu ve GPT-6 Astra sonunda 2x–3x değerinde temel yeniden uygulamalar buldu.

İki görsel proje iddiaları denetlenebilir kılıyor: ASCII crate'i metni bir milisaniyenin altında üretip görüntüyü 1–2 ms'de işliyor, kelime bulutu üreteci ise tarayıcıda yaklaşık 100 ms'den 10–20 ms'ye indi. Woolf her şeyi MIT lisansıyla, belgeler ve testler hazır olduğunda yayımlayacak.