Prime Intellect Prime Agent-i Rust-a köçürdü və soyuq başlatmanı 52 millisaniyəyə qədər azaltdı

Agentlər agentləri yenidən yazır

Prime Intellect Prime Agent-in kodlaşdırma harnessini tamamilə Rust-a köçürdü. Avqustda buraxılışdan sonra Prime Agent 300 000-dən çox dəfə endirildi və 8 trilyondan çox token emal etdi. Köçürmə əsasən Prime Agent-in özü tərəfindən həyata keçirildi: iki həftədən çox müddət ərzində 2 000-dən çox agent qrupu kod bazasını əvvəldən sona qədər köçürdü, 10 000-dən çox Prime Sandbox-da işlədi və Prime Inference-in GLM-5.3 endpoint-indən 200 milyarddan çox token istehlak etdi.

Rust implementasiyası mərhələsində 1 981 agent 192,99 milyard token xərclədi, bunu 228 agentin iştirakı ilə 35,70 milyard token istehlak edən performans təkmilləşdirmə dövrü izlədi. Zirvə vaxtı prosesə 2 209 agent qoşulmuşdu, onlar bir-birlərinə 16 758 mesaj göndərmiş və cəmi 228,70 milyard token emal etmişdilər.

Niyə Rust

Komanda deyir ki, TypeScript köməyi ilə Prime Agent sürətli hazırlandı, lakin onun məcburi olmayan tipləri işə salınanda itirilir, xətalar yoxlanılmayan istisnalar kimi yayılır və CPU üçün ağır iş eyni event loop-da klaviaturadan gələn məlumatlarla yarışır. Rust bu problemləri həll edir: native kod garbage collector olmadan yaddaş və işə sıxma sürətini əsasən artırır, Send və Sync trait-ləri kompilyatora hansı məlumatların thread-lər arası ötürülə biləcəyini yoxlamağa imkan verir, isə exhaustive enum-lar, ownership və lifetime-lar kodun işə salınmasından əvvəl xətaların bütün siniflərini istisna edir. Clippy-nin pedantik lint-ləri isə yüzlerçə yoxlav əlavə edir, bu xüsusilə vacibdir ki, kodun əksər hissəsini agentlər yazır.

Arxitektura və parity

Köçürmə zamanı kod bazası birbaşa asılılıqların qrafiki ilə idarə olunan doqquz crate-ə çevrildi. Ən böyük mənbə faylı indiyədək təxminən 2 500 sətirdir, TypeScript-in təxminən 15 000 əvəzinə, və heç bir fayl 5 000 sətri aşmır, hal ki, ilkin versiyada dörd belə fayl var idi. Komanda Windows dəstəyi, sessiya crash isolation və daha ardıcıl daemon protokolu əlavə etdi; hər sessiya kiçik supervisor altında öz worker prosesində işləyir.

Funksionallığın parity-sini təmin etmək üçün agentlər dörd növ yoxlama aparırdı: TUI parity testləri, hansı ki, TypeScript və Rust binarları arasında terminal kadrlarını müqayisə edir, harness parity testləri, hansı ki, sessiya transkriptlərini və model sorğularını müqayisə edir, protokol parity yoxlamaları daemon-un bütün növ mesajlarına və komponent-komponent funksionallığın auditini. Hər tapşırıq dörd agentə keçirdi: Planner, Implementer, Reviewer, hansı ki, ayrı kontekstdə başqa model istifadə edir, və Verifier, hansı ki, parity yoxlamalarını yeni sandbox-da aparırdı.

Performans nəticələri

Üç günlük hillclimbing dövrü 144-dən çox eksperiment və audit qeydini səbitləşdirdi və 69-dan çox etibarlı dəyişiklik birləşdirdi. Soyuq başlatma zamanı girişə hazır olma gecikməsi 736,1 ms-dən 51,9 ms-ə qədər azaldı, bu 14,18 dəfə təkmilləşdirmədir, isə ilıq başlatma gecikməsi 552,3 ms-dən 41,4 ms-ə düşdü. Böyük sessiyanın yaddaş istifadəsi 1 130,0 MB-dən 237,3 MB-ə qədər azaldı, quraşdırılmış ölçü isə 172,1 MB-dən 59,6 MB-ə. Xarici harness-lərlə müqayisədə, Prime Agent Rust ilk nəticəni 23,6 ms-də və yazma başlama vaxtını soyuq rejimdə 55,8 ms-də əldə etdi, TypeScript versiyasının 722,8 ms və 737,8 ms əvəzinə.

Növbəti addımlar

Prime Agent yenə açıq kod layihəsidir və bir əmr ilə işə salınır; yazılmış versiyaya beta rejimində Windows native dəstəyi və Homebrew ilə quraşdırılma gəlir. Prime Intellect-in sözünə görə, şirkət indi funksionallığı və evals-i inkişaf etdirməni sürətləndirir, köçürməyə əsaslanan çox agentli iş proseslərini istifadəçilər üçün əlçatan edir və Prime Intellect ekosistemi ilə inteqrasiyanı sıxlaşdırır, o cümlədən bulud agent qrupları, inference, traces, sandbox-lar, evals və hosting training ilə. Şirkət həmçinin yeni işçilər axtarır.

Mənbələr: primeintellect.ai