Prime Intellect переписав Prime Agent на Rust і скоротив холодний запуск до 52 мілісекунд

Агенти пишуть агентів

Prime Intellect повністю переписав систему кодування свого Prime Agent на Rust. Після релізу в серпні Prime Agent завантажили понад 300 000 разів і він обробив понад 8 трильйонів токенів. Переписання виконував сам Prime Agent: протягом більше двох тижнів група з понад 2 000 агентів перенесла кодову базу від початку до кінця, працюючи в понад 10 000 Prime Sandbox та використавши понад 200 мільярдів токенів з ендпоінту GLM-5.3 від Prime Inference.

На етапі імплементації в Rust 1 981 агент витратив 192,99 мільярдів токенів, після чого настав цикл покращення продуктивності, який за участю 228 агентів використав 35,70 мільярдів токенів. У піковий момент у процесі було залучено 2 209 агентів, які обмінялися 16 758 повідомленнями та сумарно обробили 228,70 мільярдів токенів.

Чому Rust

За словами команди, за допомогою TypeScript Prime Agent швидко вийшов на ринок, однак його необов'язкові типи зникають під час виконання, помилки рухаються у формі неперевірених винятків, а важка для CPU робота конкурує з даними з клавіатури на тому самому event loop. Rust вирішує ці проблеми: нативний код без garbage collector є основною причиною покращення швидкості пам'яті та запуску, трейти Send і Sync дозволяють компілятору перевіряти, які дані можуть передаватися між потоками, а вичерпні enum, ownership та lifetime виключають цілі класи помилок ще до запуску коду. Педантичні lints від Clippy додають ще сотні перевірок, що особливо важливо, коли більшість коду пишуть агенти.

Архітектура та паритет

Під час переписування кодова база була розділена на дев'ять crate з однонаправленим графом залежностей, який контролює Cargo. Найбільший файл вихідного коду тепер становить близько 2 500 рядків замість приблизно 15 000 в TypeScript, і жоден файл не перевищує 5 000 рядків, тоді як в оригінальній версії таких було чотири. Команда додала підтримку Windows, crash isolation сесій та більш послідовний протокол daemon; кожна сесія працює у власному worker процесі під невеликим supervisor.

Для забезпечення функціонального паритету агенти проводили чотири типи перевірок: тести паритету TUI, які порівнюють термінальні кадри між бінарниками TypeScript та Rust, тести паритету харнесу, які порівнюють транскрипти сесій та запити моделі, перевірки паритету протоколу на всіх типах повідомлень daemon та аудит функціональності компонент-компонент. Кожне завдання проходило через чотирьох агентів: Planner, Implementer, Reviewer, який використовує іншу модель в окремому контексті, та Verifier, який проводив перевірки паритету в новому sandbox.

Результати продуктивності

Триденний цикл hillclimbing зафіксував понад 144 експерименти й записи аудиту та об'єднав понад 69 валідних змін. Холодний запуск для готовності до вводу скоротився з 736,1 ms до 51,9 ms, що є покращенням у 14,18 разів, а теплий запуск впав з 552,3 ms до 41,4 ms. Споживання пам'яті для великої сесії зменшилося з 1 130,0 MB до 237,3 MB, а встановлений розмір — з 172,1 MB до 59,6 MB. Порівняно з зовнішніми харнесами, Prime Agent Rust досяг першого виводу за 23,6 ms та часу до першого токена в холодному режимі за 55,8 ms, замість 722,8 ms і 737,8 ms у версії на TypeScript.

Що далі

Prime Agent залишається проєктом з відкритим кодом і встановлюється однією командою; переписана версія в бета-режимі має нативну підтримку Windows та встановлення через Homebrew. За словами Prime Intellect, компанія тепер прискорює розвиток функціональності та evals, робить бульш доступними для користувачів багатоагентні робочі процеси на основі переписування та поглиблює інтеграцію з екосистемою Prime Intellect, включаючи хмарні групи агентів, inference, traces, sandbox, evals та хостинг тренувань. Компанія також шукає нових співробітників.

Джерела: primeintellect.ai