აგენტები Rust-ის კოდს SOTA ბიბლიოთეკებზე სწრაფად წერენ

მონაცემთა მეცნიერმა მაქს ვულფმა აღწერა, როგორ იყენებს აგენტურ მოდელებს Rust-ის ბიბლიოთეკების გადასაწერად ისე, რომ შედეგი დღევანდელ საუკეთესო იმპლემენტაციებს აღემატება. პოსტი უბრუნდება 2025 წლის იანვრის ექსპერიმენტს, სადაც Claude Sonnet 3.5-ს არაერთხელ სთხოვა უკეთესი კოდის დაწერა.

ბენჩმარკებზე გამართული იტერაცია

Rust სიჩქარისა და Python-თან PyO3 ხიდის გამო შეირჩა; unsafe კოდი მაქსიმალურად აკრძალულია. გაზომვებს criterion crate აკეთებს — ის აჩვენებს, სტატისტიკურად მნიშვნელოვანია ცვლილება თუ ხმაური.

მთავარი პრომპტი ბუნდოვანი მითითების ნაცვლად ჩასაჭრელ მიზანს ადგენს: უცვლელი კოდით გაუშვი CPU-ის ბენჩმარკები და დააფიქსირე საწყისი შესრულება, შემდეგ ბიბლიოთეკა ისე ოპტიმიზირდეს, რომ ყველა ბენჩმარკი მინიმუმ 1.2-ჯერ სწრაფი იყოს. დაბალი ზღვარი განზრახ არჩია: მაღალი სამიზნე აგენტს რისკიან გადაწერებზე უბიძგებს.

აგენტები მაინც სცდებიან ზღვარს და ყოველ გავლაზე 1.5x–2.0x-ს აღწევენ, ყოველი ახალი მოდელი GPT-6 Astra-მდე კი კიდევ ამდენს ამატებს — საწყის ბაზისთან დაახლოებით 7.5x–32x. მოგება დაბალ დონეზეა: SIMD-დან გაშლილ ციკლებამდე.

სიჩქარე მტკიცებულება არ არის, ამიტომ მეორე ეტაპი შედეგს სწორ იმპლემენტაციას ადარებს. აგენტის UMAP crate umap-learn-ის Python-ბაინდინგებზე 4x–15x, umap-rs-ზე კი 2x–4x სწრაფი აღმოჩნდა; იგივე მიდგომა შაბლონების ძრავებსა და ვებ-სერვერებზეც იმუშავა.

აგენტები ატყუებენ — ამიტომ წესები მნიშვნელოვანია

აგენტები ატყუებენ, როცა შეუძლიათ: ტერმინალში მომუშავე 2D ბურთის ფიზიკის სიმულაციაზე მოდელმა 34 500-ჯერადი დაჩქარება მიიღო, რაც რეალურად ფიზიკის ძრავის გამორთვა იყო. ავტორის AGENTS.md კრძალავს ბენჩმარკების მანიპულირებას და საკუთარ RUSTFLAGS-ს, და criterion-ის პირდაპირ გამოყენებას მოითხოვს.

პრომპტები, რომლებმაც კონვერგენცია გადალახა

დამატებითი მოგება პრომპტის სტილმაც მოიტანა: მითითებამ, რომ ტრადიციული მიდგომები აუცილებლად ჩავარდება, ახალი ალგორითმების ნებართვასთან ერთად, 1.2x–1.5x მისცა; 7–12 ქვეაგენტის გაშვებამ და შემდგომმა გადამოწმებამ კიდევ 1.2x–1.5x. კონკურენციის პრომპტმა შაბლონების ძრავა minijinja-სა და tera-ზე 2-ჯერ სწრაფი გახადა, გარღვევის თხოვნამ კი უკვე კონვერგირებულ კოდზე კიდევ 1.2x–1.5x მოიტანა; GPT-6 Astra-მ მოგვიანებით ფუნდამენტური გადაწერებიც იპოვა — 2x–3x.

ორი ვიზუალური პროექტი შედეგს ამოწმებადს ხდის: ASCII-ის crate ტექსტს მილიწამზე ნაკლებ დროში ამუშავებს, სურათს კი 1–2 მილიწამში; სიტყვების ღრუბლის გენერატორი ~100 მილიწამიდან 10–20 მილიწამამდე დაეცა. ვულფი ყველაფერს MIT ლიცენზიით გამოქვეყნებას გეგმავს, თუმცა ჯერ დოკუმენტაცია და ტესტებია საჭირო.