Prime Intellect כתבה מחדש את Prime Agent ב־Rust והקטינה את הפעלה הקרה ל־52 מילישניות

סוכנים כותבים מחדש סוכנים

Prime Intellect כתבה לחלוטין מחדש את ערכת הקידוד של Prime Agent ב־Rust. אחרי השקתו באוגוסט, Prime Agent ירד למעלה מ־300 000 פעמים ועיבד מעל 8 טריליון טוקנים. הכתיבה מחדש בוצעה בעיקר על ידי עצמו Prime Agent: במשך יותר משבועיים קבוצה של מעל 2 000 סוכנים העבירה את בסיס הקוד מההתחלה ועד לסוף, עבדה ביותר מ־10 000 Prime Sandbox וצרכה מעל 200 מיליארד טוקנים מנקודת הקצה GLM-5.3 של Prime Inference.

בשלב היישום ב־Rust סוכן מספר 1 981 צרך 192,99 מיליארד טוקנים, ואחריו עבר מחזור שיפור יעילות שצרך בשתתפות 228 סוכנים 35,70 מיליארד טוקנים. בשיא התהליך לקחו חלק 2 209 סוכנים, הם החליפו זה עם זה 16 758 הודעות ועיבדו בסך הכל 228,70 מיליארד טוקנים.

למה Rust

לטענת הצוות, עם TypeScript Prime Agent יצא מהר לאור, אך הטיפוסים הלא־מחייבים שלו נעלמים בזמן ההפעלה, שגיאות נעות כחריגות לא מאומתות ועומס כבד על ה־CPU מתחרה על נתונים שמגיעים מהמקלדת באותו event loop. Rust פותר את הבעיות האלה: קוד מקורי בלי מאסף זבל הוא הסיבה העיקרית לשיפור זיכרון ומהירות הפעלה, שתי התכונות Send ו־Sync מאפשרות למהדר לבדוק אילו נתונים יכולים לעבר בין תהליכונים, ואילו enum מלאים, ownership ו־lifetime שוללים עוד לפני ההרצה שגיאות בכלל רמות. בדיקות ה־Clippy הקפדניות מוסיפות עוד מאות בדיקות, וזה חשוב במיוחד כשרוב הקוד נכתב על ידי סוכנים.

ארכיטקטורה ופאריטט

בכתיבה מחדש בסיס הקוד חולק לתשעה crate, עם גרף תלויות הדדיות ששליטה בו מבוצעת על ידי Cargo. קובץ המקור הגדול ביותר הוא כעת בערך 2 500 שורות, במקום כ־15 000 ב־TypeScript, ואף קובץ לא עובר 5 000 שורות, בעוד בגרסה הראשונית היו ארבעה כאלה. הצוות הוסיף תמיכה ב־Windows, בידוד קריסה של סשן ופרוטוקול daemon עקבי יותר; כל סשן פועל בתהליך worker משלו תחת supervisor קטן.

כדי להבטיח פאריטט של פונקציונליות, סוכנים הריצו ארבעה סוגי בדיקות: מבחני פאריטט של TUI, שמשווים מסגרות מסוף בין בינריים של TypeScript ושל Rust, מבחני פאריטט של הערכה, שמשווים תמלילי סשן ובקשות מודל, בדיקות פאריטט פרוטוקול על כל סוגי ההודעות של ה־daemon, וביקורת פונקציונליות רכיב־ברכיב. כל משימה עברה ארבעה סוכנים: Planner, Implementer, Reviewer שהשתמש במודל אחר בהקשר נפרד, ו־Verifier שהריץ את בדיקות הפאריטט ב־sandbox חדש.

מחזור אימון hillclimbing של שלושה ימים תיעד יותר מ־144 ניסויים ותיעוד ביקורת, ואיחד יותר מ־69 שינויים תקפים. בזמן הפעלה קרה, ההשהייה לכניסה למצב מוכן לקליטה ירדה מ־736,1 ms ל־51,9 ms, שזה שיפור של 14,18 פי, ואילו ההשהייה בהפעלה חמה נפלה מ־552,3 ms ל־41,4 ms. צריכת הזיכרון של סשן גדול קטנה מ־1 130,0 MB ל־237,3 MB, והגודל המותקן מ־172,1 MB ל־59,6 MB. בהשוואה לערכות חיצוניות, Prime Agent Rust השיגה תגובה ראשונה תוך 23,6 ms וזמן להתחלת ניסור במצב קר של 55,8 ms, במקום 722,8 ms ו־737,8 ms בגרסת TypeScript.

מה הלאה

Prime Agent נותר פרויקט קוד פתוח ומותקן בפקודה אחת; לגרסה הכתובה מחדש מגיעות במצב בטא תמיכה מקורית ב־Windows והתקנה דרך Homebrew. לפי Prime Intellect, החברה מאיצה עכשיו פיתוח פונקציונליות ו־evals, הופכת תהליכי עבודה רב־סוכניים שנבנו על בסיס הכתיבה מחדש לנגישים למשתמשים, ומעמיקה אינטגרציה עם האקוסיסטמה של Prime Intellect, כולל קבוצות סוכנים בענן, inference, traces, sandbox, evals ואימון אירוח. החברה מחפשת גם עובדים חדשים.

מקורות: primeintellect.ai