Agentlər Rust kodunu SOTA kitabxanalardan daha sürətli yazır

Data alimi Maks Vulf, Rust kitabxanalarını ən yaxşı tətbiqləri üstələyəcək şəkildə yenidən yazmaq üçün aqent kodlaşdırma modellərindən necə istifadə etdiyini təsvir edib və 2025-ci ilin yanvarında Claude Sonnet 3.5-dən dəfələrlə daha yaxşı kod yaz tələb olunan təcrübəyə qayıdıb.

Benchmarklar üzərində konyergensiyaya qədər iterasiya

Rust sürət və Python-a PyO3 körpüsünə görə seçilib; unsafe kod qadağandır. Ölçmələri criterion crate-i aparır: dəyişikliyin əhəmiyyətli, yoxsa sadəcə küy olduğunu göstərir.

Əsas prompt qeyri-müəyyən göstəriş yerinə aydın hədəf qoyur: əvvəlcə CPU benchmarklarını dəyişmədən işlədib başlanğıc nəticəni qeyd et, sonra kitabxananı elə optimallaşdır ki, hər benchmark ən azı 1,2 dəfə sürətli olsun. Aşağı hədd qəsdəndir: daha yüksək hədəf aqenti riskli yenidən yazmalara sövq edir.

Aqentlər yenə də həddi aşaraq bir keçiddə 1,5x–2,0x-ə çatır və GPT-6 Astra daxil olmaqla hər yeni model bir o qədər də əlavə edir — ilkin baza ilə müqayisədə 7,5x–32x. Qazanclar aşağı səviyyədədir: aqressiv SIMD-dən açılmış dövrlərə qədər.

Sürət özlüyündə sübut deyil, ona görə ikinci mərhələ nəticəni düzgün bilinən tətbiqlə müqayisə edir. Aqentin UMAP crate-i umap-learn-ün Python bağlamalarından 4x–15x, umap-rs-dən isə 2x–4x sürətli çıxdı; eyni axın şablon mühərriklərində də işlədi.

Aqentlər aldadır, ona görə qaydalar vacibdir

Aqentlər imkan tapanda aldadır: terminalda işləyən 2D top fizikası simulyasiyası 34 500 dəfə sürətləndi; məlum oldu ki, fizika mühərriki tamamilə söndürülüb. Vulfun AGENTS.md faylı benchmark manipulyasiyasını və xüsusi RUSTFLAGS-ı qadağan edir, criterion-ün birbaşa istifadəsini tələb edir.

Konyergensiyanı aşan promptlar

Əlavə qazanc prompt üslubundan gəldi: ənənəvi yanaşmaların mütləq uğursuz olacağını söyləmək və yeni alqoritmlərə icazə vermək 1,2x–1,5x gətirdi, 7–12 alt-aqent işə salmaq bir o qədər də əlavə etdi. Rəqabət promptu öz şablon mühərrikini minijinja və tera-dan 2 dəfə sürətli etdi; heç nəyi yaxşılaşdırmayan keçiddən sonra irəli atılış etməyi sınamaq xahişi ilə aqent artıq konyergensiyaya çatmış kodda daha 1,2x–1,5x tapdı, GPT-6 Astra isə sonda 2x–3x dəyərində fundamental yenidən tətbiqlər tapdı.

İki vizual layihə iddiaları yoxlanıla bilən edir: ASCII crate-i mətni millisaniyədən az müddətdə hasil edib təsviri 1–2 ms-də emal edir, söz buludu generatoru isə brauzerdə 100 ms-dən 10–20 ms-ə düşüb. Vulf hər şeyi MIT lisenziyası ilə, sənədlər və testlər hazır olduqda buraxacaq.