Prime Intellect, Prime Agent'ı Rust'a taşıdı ve soğuk başlatmayı 52 milisaniyeye düşürdü

Ajanlar ajanları yeniden yazıyor

Prime Intellect, Prime Agent'ın kodlama harness'ini tamamen Rust'a yeniden yazdı. Ağustos ayında yayınlanmasının ardından Prime Agent 300.000'den fazla kez indirildi ve 8 trilyonun üzerinde token işledi. Yeniden yazım büyük ölçüde Prime Agent'ın kendisi tarafından gerçekleştirildi: iki haftadan süren bir süreçte 2.000'den fazla ajan grubu kod tabanını baştan sona taşıdı, 10.000'den fazla Prime Sandbox'ta çalıştı ve Prime Inference'ın GLM-5.3 uç noktasından 200 milyarın üzerinde token tüketti.

Rust uygulama aşamasında 1.981 ajan 192,99 milyar token harcadı, ardından verimliliği iyileştirme döngüsü geldi ve bu döngü 228 ajanın katılımıyla 35,70 milyar token tüketti. Zirve noktasında süreçte 2.209 ajan yer alıyordu; bunlar birbirlerine 16.758 mesaj gönderdi ve toplamda 228,70 milyar token işledi.

Neden Rust

Ekibin ifadesine göre, TypeScript ile Prime Agent hızla ortaya çıktı, ancak opsiyonel tipleri çalışma zamanında kayboluyor, hatalar kontrol edilmeyen istisnalar şeklinde ortaya çıkıyor ve CPU açısından ağır işler klavyeden gelen verilerle aynı event loop üzerinde rekabete giriyor. Rust bu sorunları çözüyor: yerel kod, garbage collector olmadan bellek ve başlatma hızını iyileştirmenin temel nedeni; Send ve Sync trait'leri derleyicinin hangi verilerin thread'ler arasında taşınamayacağını kontrol etmesine olanak tanıyor; kapsamlı enum'lar, ownership ve lifetime'lar ise kodun çalışmasından önce hata sınıflarının tamamen elemesini sağlıyor. Clippy'nin titiz lint'leri yüzlerce ek kontrol daha ekliyor, bu da kodun büyük kısmını ajanlar yazdığında özellikle önemli.

Mimari ve Parite

Yeniden yazım sırasında kod tabanı, Cargo'nun kontrol ettiği yönlü bağımlılık grafiğine sahip dokuza crate'e bölündü. En büyük kaynak dosyası artık yaklaşık 2.500 satır; TypeScript'te yaklaşık 15.000 satırdı ve hiçbir dosya 5.000 satırı aşmıyor, oysa ilk sürümde dört dosya bu sınırı geçiyordu. Ekip Windows desteği, oturum çökme izolasyonu ve daha tutarlı bir daemon protokolü ekledi; her oturum kendi worker sürecinde, küçük bir supervisor altında çalışıyor.

İşlevselliğin paritesini sağlamak için ajanlar dört tür test yürüttü: TUI parite testleri (TypeScript ve Rust binary'leri arasında terminal karşılaştırması yapan), harness parite testleri (oturum transkriptlerini model istekleriyle karşılaştıran), daemon'ın her türlü mesajı üzerinde protokol parite kontrolleri ve bileşen-bileşen işlevsellik denetimi. Her görev dört ajana aktarıldı: Planner, Implementer, ayrı bir bağlamda farklı bir model kullanan Reviewer ve parite testlerini yeni bir sandbox'ta yürüten Verifier.

Verimlilik Sonuçları

Üç günlük hillclimbing döngüsü 144'ten fazla deney ve denetim kaydı tespit etti ve 69'dan fazla geçerli değişikliği birleştirdi. Soğuk başlatmada girişe hazır olma gecikmesi 736,1 ms'den 51,9 ms'ye düştü; bu 14,18 kat iyileşme anlamına geliyor. Sıcak başlatma gecikmesi ise 552,3 ms'den 41,4 ms'ye geriledi. Büyük oturumların bellek tüketimi 1.130,0 MB'den 237,3 MB'ye, ayarlanan boyut ise 172,1 MB'den 59,6 MB'ye düştü. Harici harness'lerle karşılaştırıldığında, Prime Agent Rust ilk çıktıyı 23,6 ms'de ve soğuk modda yazmaya başlama süresini 55,8 ms'de elde ederken, TypeScript sürümü bu değerler için sırasıyla 722,8 ms ve 737,8 ms gerektiriyordu.

Sıradaki Adım

Prime Agent hâlâ açık kaynaklı bir projedir ve tek komutla kurulabilir; yeniden yazılan sürüm şu anda beta aşamasında Windows desteği ve Homebrew kurulumu sunuyor. Prime Intellect'in ifadesine göre, şirket artık işlevsellik ve evals geliştirmesini hızlandırıyor, yeniden yazımın sağladığı çok ajanlı iş akışlarını kullanıcılar için erişilebilir hale getiriyor ve Prime Intellect ekosistemiyle entegrasyonu derinleştiriyor; bu ekosistem bulut ajan gruplarını, inference'ı, traces'leri, sandbox'ları, evals'ı ve barındırmalı eğitimi kapsıyor. Şirket ayrıca yeni çalışanlar arıyor.

Kaynaklar: primeintellect.ai