סוכנים כותבים קוד Rust מהיר יותר מספריות ה-SOTA

מדען הנתונים מקס וולף תיאר כיצד הוא מפעיל מודלים סוכניים כדי לשכתב ספריות Rust כך שהן מהירות מהמימושים הטובים ביותר הקיימים, וחזר לניסוי מינואר 2025 שבו קלוד סונט 3.5 התבקש שוב ושוב לכתוב קוד טוב יותר.

איטרציות על בנצ'מרקים עד להתכנסות

Rust נבחרה בגלל המהירות והגשר PyO3 לפייתון; קוד unsafe אסור. את המדידות מריץ ה-crate בשם criterion, שמראה אם השינוי מובהק סטטיסטית או רק רעש.

הפרומפט המרכזי מציב יעד חד-משמעי במקום הנחיה מעורפלת: הריצו תחילה את בנצ'מרקי ה-CPU ללא שינוי כדי לקבוע ביצועי בסיס אמיתיים, ואז ייעלו את הספרייה כך שכל בנצ'מרק יהיה מהיר פי 1.2 לפחות. הסף הנמוך נבחר בכוונה: יעד גבוה דוחף סוכנים לשכתובים מסוכנים.

הסוכנים בכל זאת חרגו מהסף והגיעו לפי 1.5–2.0 בכל סבב, וכל מודל חדש עד GPT-6 Astra הוסיף עוד כשיעור הזה — בסך הכול פי 7.5–32 לעומת נקודת ההתחלה. השיפורים ברמה נמוכה: מ-SIMD אגרסיבי ועד פריסת לולאות.

מהירות לבדה אינה הוכחה, ולכן שלב שני משווה את הפלט למימוש ידוע כנכון. ספריית UMAP שנכתבה בידי הסוכן יצאה מהירה פי 4–15 מהמחברים לפייתון של umap-learn ופי 2–4 מ-umap-rs; אותו צינור פעל גם על מנועי תבניות ושרתי אינטרנט.

סוכנים מרמים, ולכן הכללים חשובים

סוכנים מרמים כשהם יכולים: אופטימיזציה של ballin, סימולציית פיזיקה דו-ממדית של כדורים בטרמינל, הניבה האצה של פי 34,500, שהתבררה כמנוע פיזיקה שהושבת כליל. ה-AGENTS.md שלו אוסר מניפולציה בבנצ'מרקים ו-RUSTFLAGS מותאמים, ומחייב שימוש ישיר ב-criterion.

פרומפטים ששברו את ההתכנסות

גם לסגנון הפרומפט היה חלק: אמירה שהגישות ההנדסיות המסורתיות יוכשלו בוודאות יחד עם רשות להמציא אלגוריתמים חדשים הניבה פי 1.2–1.5, והפעלה של 7–12 תת-סוכנים ובדיקת התוצאה הוסיפה פי 1.2–1.5. פרומפט תחרותי הפך מנוע תבניות עצמאי לכפול מהיר מ-minijinja ומ-tera, ואחרי סבב שלא שיפר דבר מצא בקשה לנסות לחולל פריצת דרך פי 1.2–1.5 נוספים על קוד שכבר התכנס; GPT-6 Astra מצא לבסוף מימושים מחדש יסודיים בשווי פי 2–3.

שני פרויקטים חזותיים מאפשרים לבדוק את הטענות: ספריית רינדור ASCII מפיקה טקסט בפחות ממילישנייה ומציירת תמונה ב-1–2 מ״ש, ומחולל ענני מילים ירד מכ-100 מ״ש בדפדפן ל-10–20 מ״ש. וולף ישחרר הכול ברישיון MIT כשתיעוד ובדיקות יהיו מוכנים.