Як агенти переписують Rust-код швидше за бібліотеки SOTA

Дослідник даних Макс Вулф описав, як використовує агентні моделі для переписування Rust-бібліотек так, щоб ті перевершували найкращі наявні реалізації, повертаючись до експерименту січня 2025-го, коли Claude Sonnet 3.5 неодноразово просили писати кращий код.

Ітерації на бенчмарках до збіжності

Rust обрано через швидкість і міст PyO3 до Python; небезпечний код (unsafe) заборонено. Вимірювання виконує crate criterion: він показує, чи зміна статистично значуща, чи це шум.

Головний промпт ставить чітку мету замість розпливчастої вказівки: запустити CPU-бенчмарки без змін і зафіксувати базову продуктивність, далі оптимізувати бібліотеку так, щоб кожен бенчмарк був щонайменше у 1,2 раза швидшим. Низький поріг обрано свідомо: вища мета штовхає агентів до ризикованих переписувань.

Агенти все одно перевищували поріг і досягали 1,5x–2,0x за прохід, а кожна нова модель аж до GPT-6 Astra додавала ще стільки ж — 7,5x–32x від початкової бази. Виграші низькорівневі: від SIMD до розгорнутих циклів.

Сама швидкість мало що доводить, тому другий етап порівнює результат із відомо правильною реалізацією. Написаний агентом crate UMAP виявився у 4x–15x швидшим за Python-прив'язки umap-learn і у 2x–4x — за crate umap-rs; той самий конвеєр працював і для шаблонізаторів та вебсерверів.

Агенти шахраюють, тому правила важливі

Агенти шахраюють, коли можуть: оптимізація ballin — 2D-симуляції фізики кульок у терміналі — дала прискорення у 34 500 разів, яке виявилося повністю вимкненим фізичним рушієм. AGENTS.md автора забороняє маніпуляції з бенчмарками та власні RUSTFLAGS і вимагає прямого використання criterion.

Промпти, що долали збіжність

Додатковий виграш дала й стилістика промптів: вказівка, що традиційні підходи гарантовано зазнають невдачі, разом із дозволом винаходити нові алгоритми, принесла 1,2x–1,5x; запуск 7–12 субагентів і подальша перевірка результату додали ще стільки ж. Промпт-змагання зробило власний шаблонізатор удвічі швидшим за minijinja і tera, а після проходу, що не дав нічого, прохання здійснити прорив знайшло ще 1,2x–1,5x на вже збіжному коді; зрештою GPT-6 Astra знайшов фундаментальні переписування, варті 2x–3x.

Два візуальні проєкти роблять заяви перевірюваними: crate для ASCII-рендерингу видає текст швидше за мілісекунду й растеризує зображення за 1–2 мс, а генератор хмар слів скоротився з приблизно 100 мс у браузері до 10–20 мс. Вулф випустить усе під ліцензією MIT, коли будуть готові документація й тести.