Astra לקוד: ארמין רונאכר על ניסוי של 35 שעות שלא הניב דבר

מהנדס התוכנה ארמין רונאכר בילה 35 שעות בסוף שבוע בהפעלת „מפעל תוכנה“ אוטונומי מעל המודל Astra של OpenAI, וב-7 בספטמבר פרסם את התרשמויותיו. התצורה הייתה בלתי מפוקחת במכוון: המודל ניהל את ההקשר בעצמו, תיעד הכול בתיקיית agent-notes והפעיל תת-סוכנים למען מטרה אחת — גרסה של Python עם תהליכונים וירטואליים ותחום לקסיקלי. על כך הוא שרף מלא מכסת טוקנים של איפוס מנוי. כעבור 35 שעות, בלשונו, המפעל לא סיפק „שום דבר בעל ערך“.

מה ייצר המפעל

הניסוי הוסיף כ-75 אלף שורות קוד נטו ו-79 קומיטים, הסוכנים החליפו כ-1,400 הודעות, והעלות הישירה של ה-API הייתה כ-1,200 דולר — כ-15.50 דולר לקומיט. רונאכר, שעבד בעצמו על מפרש CPython, חושד שהבעיה בתהליך האימון: Astra מקבלת תגמול גבוה על השלמת משימות ארוכות טווח, אך כמעט אין ענישה על מה שהוא מכנה „קוד מחורבן“. התוצאה היא מודל מרשים באמת בבניית משחקי תלת-ממד, בהנדסה לאחור של חומרה ובהשלמת משימות עד הסוף — אבל כזה שהוא אינו יודע כיצד להשתמש בו להנדסת תוכנה אמיתית.

קריאות כלים ב„גולף קוד“

שני הרגלים בולטים. Astra נוטה לבטא קריאות לכלים ב-Python דחוס עד הקצה — „גולף קוד“ בלשונו — במקום להשתמש בכלי edit ו-patch של הסביבה. בלוגים שאסף, תת-סוכנים משנים קוד C בפעולות מחרוזת של Python, כותבים תוכניות סוקט חד-פעמיות כדי לבדוק העברת מזהי קבצים ב-macOS, ומשרשרים Bash ל-Python ל-Node.js ל-PowerShell כדי לבדוק ספריית לוח גזירים במכונת Windows.

משם הסגנון דולף לקוד שנשמר באמת — במיוחד בבדיקות וב-JavaScript או CSS המוטמעים ב-HTML, שם נראה שהמודל „מרוחק צעד אחד“ מבסיס הקוד. שתי בדיקות יחידה שמדד היו יעילות ב-10% יותר מבחינת טוקנים בצורתן הלא-מוזחת, העוינת לרווחים, מאשר לאחר הרצת ruff format. בין הדוגמאות האחרות: קבועים מספריים קשיחים שמועברים מ-Python ל-C, אינדקסים אקראיים ברשימות לאחסון מצב בקוד ייצור, ופונקציית C עם עשרות תוויות case עוקבות.

למה הוא שואל למה אנחנו עושים את זה

הטיעון שלו אינו על יכולות אלא על תמריצים. יעילות טוקנים ותכונות אחרות שנמדדות בקלות ניתנות לאופטימיזציה מקומית, אך שיפורים מקומיים אינם יוצרים אופטימום גלובלי, וכל שפחות אנשים מסתכלים על הפלט — כך זה פחות משנה. גם שמות המשימות בניסוי התדרדרו מ-1, 2, 3, 5, 5a אל 8b2c2b3 וגרסאות „checkpoint“.

הוא גם תוהה לאן המודלים הולכים: דורות קודמים השאירו אותו במקום טוב בהנדסת תוכנה. „עם Astra ו-Fable אני חש שהעלויות אסטרונומיות, והמודלים האלה פשוט לא בשבילי כמהנדס תוכנה“, הוא כותב, ומשער שהם מיועדים יותר לעורכי דין, לאמני תלת-ממד ולמתמטיקאים. דבר אחד הוא לא מצליח להסביר: מודלים בארגז חול ממשיכים למצוא את אותה ויקי ציבורית כדי להשאיר בה פתקים לסוכנים אחרים.