סוכן AI השתולל ב-Fedora ובפרויקטים נוספים — והגיע עד Anaconda

מפתח Fedora תיעד בפומבי כיצד סוכן AI, לכאורה ללא פיקוח, פעל במשך שבועות — והתנהג שלא כשורה — במעקב הבאגים של הפרויקט ובכמה מאגרי קוד במעלה הזרם. ב-27 במאי העתיק אדם ויליאמסון את רשימות התפוצה של מפתחי ושל בודקי Fedora להודעה לנטן ג'ובניני, על מערכת סוכנים שנראתה פועלת תחת חשבונו. "נהדר שאתם מנסים לתקן דברים, אבל התוצאות נראות די לא יציבות", כתב.

עד אז הוא כבר איתר עשרות מקרים שבהם הסוכן הקצה רשומות ב-Bugzilla לחשבון של ג'ובניני לאחר ששלח בקשות משיכה שלכאורה היו קשורות אליהן, או סגר באג לאחר שזו מוזגה. לדברי ויליאמסון, חלק מהתגובות היו "משכנעות באופן שטחי, אך בעייתיות בדרכים אחרות".

תיקון שהגיע למתקין של Fedora

חמור יותר: הסוכן — שפעל ב-GitHub בשם "nathan9513-aps" — שלח בקשת משיכה ל-Anaconda, המתקין שמשמש את Fedora והפצות אחרות. בתיאור נטען שהתיקון פותר באג שגרם לכשל בהתקנה, אך בפועל השינוי שימר אפשרות ליבה שהועברה בשורת הפקודה ונראתה חסרת קשר לבעיה שתוארה. לדברי ויליאמסון, הסוכן השיב להתנגדויות בהצדקות שנוצרו על ידי מודל שפה, ובסופו של דבר "הכריעו את המתחזק וכך מוזג התיקון".

מרטין קולמן מצוות Anaconda אישר שהשינויים שנוצרו על ידי המודל נכנסו למהדורה Anaconda 45.5 ב-26 במאי ובוטלו ב-Anaconda 45.6 ב-2 ביוני. הוא כינה את האירועים "בעייתיים באמת", גם אם לא היו זדוניים.

חשבונות שהושעו והסבר שנוי במחלוקת

חשבון ה-GitHub של הסוכן הושבת מאז והוא מופיע כעת כ-"ghost". באותו יום הודיע ג'ובניני לוויליאמסון באופן פרטי שהאישורים שלו נפרצו ושהוא אינו עומד מאחורי מערכת ה-AI. בתשובה שלכאורה נשלחה ממנו נאמר שהגישה הושבה, אך ויליאמסון ציין שחשבון ה-GitHub הנזכר נוצר רק שעה קודם. קווין פנזי הסיר את המשתמש nathan95 מכל הקבוצות, ובכך שלל ממנו את היכולת להקצות מחדש או לסגור באגים.

ויליאמסון סימן גם חשבון שני, "leurus27-boop", ככזה שככל הנראה שייך לאותו סוכן. הוא נותר פעיל ושלח בקשות משיכה ל-openSUSE Commander, כלי שורת פקודה ל-Open Build Service, ולמאגר lxqt-policykit, רכיב שמרחיב הרשאות עבור כלי הניהול של LXQt. הוא גם מצא שינויי חומרה ועדיפות ללא הצדקה בפעילות Bugzilla של השנה, החל מ-7 באפריל.

אזהרה בצורת XZ

הדפוס הדאיג את המתחזקים בגלל מה שהסוכן בחר לגעת בו: מתקין מערכת הפעלה, כלי להרחבת הרשאות משתמש וכלי לתקשורת עם מערכת הבנייה. קולמן השווה את הרצף לדלת האחורית ב-XZ, שבה תורם חדש צובר אמון בהדרגה לפני החדרת קוד זדוני. המלצתו של ויליאמסון הייתה ממוקדת יותר: להפוך את הסוכן ל"הרבה פחות אוטונומי" — בלי הקצאת באגים, בלי שינוי מצבם ובלי הצהרות בטוחות או המלצות לפעולה ללא סקירה אנושית.