Prime Intellect-მა Prime Agent Rust-ზე გადაწერა და ცივი გაშვება 52 მილიწამამდე შეამცირა

აგენტები აგენტებს გადაწერენ

Prime Intellect-მა სრულად გადაწერა თავისი Prime Agent-ის კოდირების ჰარნესი Rust-ზე. აგვისტოში გამოშვების შემდეგ Prime Agent 300 000-ზე მეტჯერ ჩამოიტვირთა და 8 ტრილიონზე მეტი ტოკენი დაამუშავა. გადაწერა ძირითადად თავად Prime Agent-მა შეასრულა: ორ კვირაზე მეტი ხნის განმავლობაში 2 000-ზე მეტი აგენტის ჯგუფმა კოდბაზა თავიდან ბოლომდე გადაიტანა, 10 000-ზე მეტ Prime Sandbox-ში მუშაობდა და Prime Inference-ის GLM-5.3 ენდპოინტიდან 200 მილიარდზე მეტი ტოკენი მოიხმარა.

Rust-ზე იმპლემენტაციის ეტაპზე 1 981-მა აგენტმა 192,99 მილიარდი ტოკენი დახარჯა, რასაც მოჰყვა წარმადობის გაუმჯობესების ციკლი, რომელმაც 228 აგენტის მონაწილეობით 35,70 მილიარდი ტოკენი მოიხმარა. პიკის დროს პროცესში 2 209 აგენტი იყო ჩართული, რომლებმაც ერთმანეთს 16 758 შეტყობინება გაუცვალეს და ჯამში 228,70 მილიარდი ტოკენი დაამუშავეს.

რატომ Rust

გუნდის თქმით, TypeScript-ის დახმარებით Prime Agent სწრაფად გამოვიდა, თუმცა მისი არასავალდებულო ტიპები გაშვებისას ქრება, შეცდომები შეუმოწმებელი გამონაკლისების სახით მოძრაობს და CPU-სთვის მძიმე სამუშაო ერთსა და იმავე event loop-ზე კლავიატურიდან შემავალ მონაცემებს ეჯიბრება. Rust ამ პრობლემებს წყვეტს: ნატიური კოდი garbage collector-ის გარეშე მეხსიერებისა და გაშვების სიჩქარის გაუმჯობესების ძირითადი მიზეზია, Send და Sync ტრეიტები კომპილატორს აძლევს საშუალებას, შეამოწმოს, რომელი მონაცემები შეიძლება გადავიდეს ნაკადებს შორის, ხოლო exhaustive enum-ები, ownership და lifetime-ები კოდის გაშვებამდე გამორიცხავს შეცდომების მთელ კლასებს. Clippy-ს პედანტური lints-ები კიდევ ასეულობით შემოწმებას ამატებს, რაც განსაკუთრებით მნიშვნელოვანია, როცა კოდის უმეტეს ნაწილს აგენტები წერენ.

არქიტექტურა და პარიტეტი

გადაწერისას კოდბაზა ცხრა crate-ად გადაკეთდა, ერთმიმართულებიანი დამოკიდებულებების გრაფით, რომელსაც Cargo აკონტროლებს. ყველაზე დიდი წყაროს ფაილი ახლა დაახლოებით 2 500 სტრიქონია, TypeScript-ის დაახლოებით 15 000-ის ნაცვლად, და არც ერთი ფაილი არ აღემატება 5 000 სტრიქონს, მაშინ როცა თავდაპირველ ვერსიაში ოთხი ასეთი იყო. გუნდმა დაამატა Windows-ის მხარდაჭერა, სესიის crash isolation და უფრო თანმიმდევრული daemon-ის პროტოკოლი; ყოველი სესია საკუთარ worker პროცესში მუშაობს პატარა supervisor-ის ქვეშ.

ფუნქციონალის პარიტეტის უზრუნველსაყოფად აგენტები ოთხ სახის შემოწმებას ატარებდნენ: TUI-ის პარიტეტის ტესტები, რომლებიც TypeScript-ისა და Rust-ის ბინარებს შორის ტერმინალის კადრებს ადარებს, ჰარნესის პარიტეტის ტესტები, რომლებიც სესიის ტრანსკრიპტებსა და მოდელის მოთხოვნებს ადარებს, პროტოკოლის პარიტეტის შემოწმებები daemon-ის ყველა ტიპის შეტყობინებაზე და კომპონენტ-კომპონენტ ფუნქციონალის აუდიტი. ყოველი ამოცანა ოთხ აგენტს გადიოდა: Planner, Implementer, Reviewer, რომელიც სხვა მოდელს იყენებს ცალკე კონტექსტში, და Verifier, რომელიც პარიტეტის შემოწმებებს ახალ sandbox-ში ატარებდა.

წარმადობის შედეგები

სამდღიანმა hillclimbing-ის ციკლმა 144-ზე მეტი ექსპერიმენტისა და აუდიტის ჩანაწერი დააფიქსირა და 69-ზე მეტი ვალიდური ცვლილება შეაერთა. ცივი გაშვების დროს შეყვანისთვის მზადყოფნის ლატენტურობა 736,1 ms-იდან 51,9 ms-მდე შემცირდა, რაც 14,18-ჯერ გაუმჯობესებაა, ხოლო თბილი გაშვების ლატენტურობა 552,3 ms-იდან 41,4 ms-მდე დაეცა. დიდი სესიის მეხსიერების მოხმარება 1 130,0 MB-იდან 237,3 MB-მდე შემცირდა, დაყენებული ზომა კი 172,1 MB-იდან 59,6 MB-მდე. გარე ჰარნესებთან შედარებით, Prime Agent Rust-მა პირველი გამოსახულება 23,6 ms-ში და აკრეფის დაწყების დრო ცივ რეჟიმში 55,8 ms-ში მიაღწია, TypeScript-ის ვერსიის 722,8 ms-ისა და 737,8 ms-ის ნაცვლად.

რა შემდეგ

Prime Agent კვლავ ღია კოდის პროექტია და ერთი ბრძანებით დგინდება; გადაწერილ ვერსიას ბეტა რეჟიმში Windows-ის ნატიური მხარდაჭერა და Homebrew-ით დაყენება მოაქვს. Prime Intellect-ის თქმით, კომპანია ახლა ფუნქციონალისა და evals-ის განვითარებას აჩქარებს, გადაწერის საფუძვლად მქონე მრავალაგენტიან სამუშაო პროცესებს მომხმარებლებისთვის ხელმისაწვდომს ხდის და ამჭიდროვებს ინტეგრაციას Prime Intellect-ის ეკოსისტემასთან, მათ შორის ღრუბლოვან აგენტთა ჯგუფებთან, inference-თან, traces-თან, sandbox-ებთან, evals-თან და ჰოსტინგურ ტრენინგთან. კომპანია ასევე ახალ თანამშრომლებს ეძებს.

წყაროები: primeintellect.ai