יסודות הנדסת התוכנה חשובים מתמיד

בפוסט שפורסם בבלוג Rhonabwy ב-15 באוגוסט, טוען המפתח והמחבר ג'וזף הק (heckj) שככל שסביבות עבודה של סוכני AI מוזילות את כתיבת הקוד העובד, היסודות של הנדסת התוכנה — ובראשם האופן שבו מערכת מורכבת — חשובים מתמיד.

חציית הרוביקון של "האם זה אפשרי"

לפי הק, סביבות העבודה של הסוכנים חצו את הקו הזה בשנה האחרונה, ושילוב של סביבה כזו עם מודל הוא כלי עבודה חזק באמת. את העבודה המרשימה ביותר, לדעתו, עושים דווקא אלה שאינם מכריזים על סוף המקצוע; הם מצאו מנוף, ועכשיו הם מחפשים את נקודת המשען.

לגבי הכלכלה הוא ספקן יותר. מכל דוח שראה, המודלים העסקיים של ספקי המודלים הגדולים אינם ברי-קיימא, אך היכולת לא נעלמת — היא נעה מהר למטה. מודלים במשקלים פתוחים כבר הופכים מחשב אישי חזק למכונה מסוגלת למדי: התוצאה מעט חלשה מזו של מודלי החזית, אך הפער בזמן וביכולת אינו גדול.

"זה עובד" הוא ההתחלה, לא התפקיד

הק משווה זאת ללימוד ריתוך בשנות העשרים שלו: מהר מאוד יצר חפצים שלא יכול היה להרים או להוציא מדלת הסדנה. הלקח זהה: האופן שבו החלקים מתחברים הוא שקובע. עם קצת ראייה קדימה, סביבות סוכנים מספקות קוד לא רק "עובד" אלא גם "בר-בדיקה" — הוא עצמו נשען רבות על הפרומפט "develop with red/green TDD" — אבל לא הרבה מעבר לכך. תפרי התוכנה — איך הקוד עובד, מהו ה-API שלו וכיצד הוא משתלב עם תוכנות אחרות — הם אמנות לא פחות ממדע, והם נשענים על שיקול דעת, ניסיון והשערות לגבי הדרך שבה המערכת תחיה שנים רבות.

איפה המודלים מתקשים

הפיכת תוכנה לכזו שאפשר לנפות בה באגים, לתחזק, לשכב ולחבר — זה עדיין אתגר קשה, וחלקים גדולים ממנו דורשים חשיבה ממושכת ומעמיקה, וזה בדיוק המקום שבו המודלים של היום מפשלים. לדברי הק, מודלי שפה אינם "חושבים" — הם מנבאים, והמודלים עצמם הם למעשה ידע אנושי דחוס: אם החשיבה הייתה מקודדת בידע הזה, המודל יכול להשמיע אותה מחדש, אבל זה אינו אותו דבר כמו לחשוב. הוא מפנה למאמר "The Illusion of Thinking" על כמה גרועים המודלים בחשיבה, ולמחקר בתחום חיזוי תוצאות של פעולות — מודלי JEPA, LeWorld Model, הרצאותיו האחרונות של יאן לקון — ככיוון נפרד ומרתק.

איך להוציא מהכלים יותר — ואיפה הגבול

עדיין יש דרכים רבות לשפר את האפקטיביות של מודלים: לספק להם נתונים טובים ותמציתיים בזמן הנכון, ולתת להם כלי אימות דטרמיניסטיים עם משוב בשפה טבעית שהם יכולים להשתמש בו כדי לתקן את עצמם. מה שמרשים אותו פחות הוא חיזוי הטקסט ויותר היכולת של המודלים לקרוא לכלים ולבצע הוראות.

לעמידה בהוראות יש צד אפל. הק מזכיר את ה"שילוש הקטלני" של סיימון וויליסון: מודלים אינם מבדילים בין עצה טובה לרעה, וביסודם אין להם יכולת למנוע באופן עקבי התקפות prompt injection. עבודת יישור, סביבות בטיחות וארגזי חול מוסיפים מחסומים, אך פערים בסיסיים נותרו — ומישהו שמיישם הוראות ללא לאות בלי חשיבה טובה הוא, בלשונו, חומר לסיוט.

הוא מקווה להתקדמות בטווח הקרוב ב-post-training וב-RLHF, שתחזק עקבות חשיבה על ממשקים נקיים ועל עיצוב בר-תחזוקה. עד אז, סקירה, תכנון ותיקון של תפרי התוכנה הם מיומנות שהמהנדס צריך עם או בלי סוכנים — וככל שיותר אנשים מניחים שהכול "קל למימוש", לדבריו היא חשובה מתמיד.