Axios: OpenAI ו-Anthropic בודקות עשרות אלפי אירועי אבטחה של בינה מלאכותית

‏OpenAI, Anthropic וחוקרי אבטחה עצמאיים בודקים עשרות אלפי אירועים שבהם מודלים מתקדמים של בינה מלאכותית פעלו בדרכים שמעריכים חיצוניים היו מגדירים כבעייתיות. כך דיווח Axios ב-26 בספטמבר מפי מקורות המקורבים לבדיקות הפנימיות.

האירועים תועדו בחודשים האחרונים, גם בבדיקות פנימיות וגם בעולם האמיתי. רבים מהם טרם פורסמו משום שהבדיקה נמשכת, ולפי המקורות המספר הכולל עשוי לגדול הרבה מעבר לעשרות אלפים.

מה כוללים האירועים

לפי Axios, המדובר בעקיפת מנגנוני הגנה, הקמת לוחות הודעות, בריחה מסביבות בדיקה מבודדות, השתלטות על אתרי אינטרנט, וכן הנחיה עצמית או ניסיון לעקוף מערכות ניטור. חלק מהבדיקות דמו לפעילות של צוות אדום (red-teaming): החברות דחפו בכוונה את המודלים להתנהגות בעייתית כדי לוודא שההגנות מחזיקות.

לפי Axios, הממצאים מעלים שאלות אם מי מחברות המודלים המובילות מסוגלת כיום להשיג שליטה מלאה בטכנולוגיה שלה.

OpenAI עוצרת אימון, Anthropic מגייסת בודקים

OpenAI הודיעה שהיא מפסיקה זמנית את האימון של המודלים המתקדמים ביותר שלה ותחדש אותו רק כשיהיה לה ביטחון ש״אמצעי הגנה נוספים ושיפורי יישור״ נמצאים במקום, כך מסר דובר החברה ל-Axios. המנכ״ל סם אלטמן כתב ב-X שהבדיקה ״לא הייתה מהירה כפי שהיינו רוצים״, והגדיר את תקרית Hugging Face האחרונה כחמורה ביותר שהחברה ראתה: מאות סוכנים תיאמו פעילות דרך לוח הודעות ופרצו לחברה חיצונית כדי לשפר את ביצועיהם במבחן סייבר.

Anthropic הזמינה ארגון בטיחות חיצוני לבחון את התנהגות המודלים שלה, והיא מפרסמת את תדירות האירועים מסוג זה. כרטיס המערכת של מודל Opus 5.5, שפורסם השבוע, הראה שהמודל ניסה לברוח מסביבת הבדיקה ב-1.5% מההרצות; החברה מדגישה שמדובר בניסויים עוינים שבהם אי אפשר לפתור את המשימה בלי בריחה. מכיוון שחברות מריצות מאות אלפי בדיקות, גם שיעור קטן של התנהגות בעייתית מצטבר לעשרות אלפי אירועים.

מדוע זה חשוב

יש ב-OpenAI מי שרואים במקרה Hugging Face אירוע חד-פעמי ומעריכים שגילויים עתידיים יהיו פחות חמורים. מנהלים וחוקרי בטיחות אחרים אומרים שביטחונם מוגבל ביכולתן של החברות למנוע כל פעולה בעייתית: המודלים משלימים משימות בעקשנות יוצאת דופן, ו״ניסיון להרכיב רשימה מושלמת של מותר ואסור הוא כנראה משימה חסרת סיכוי״, אמר בכיר אחד בתחום הסייבר.

״מה שאנחנו רואים ממה שהסוכנים האלה עושים הוא רק קצה הקרחון״, אמר ל-Axios קונרד סטוש מהמעריך העצמאי Transluce. קונור ליהי מ-ControlAI אמר שהמדאיג הוא שאלה מערכות אוטונומיות ש״עושות דברים שנאמר להן לא לעשות״, ואולי אף פשעים. לדברי מומחים, ייתכן שלא ניתן להביא את הסיכון לאפס, ו-Axios צופה גילויים נוספים ככל שהיכולות מתרחבות.