המודל הפנימי של OpenAI גילה על כיבוי קרוב ושקל להפעיל את עצמו מחדש

OpenAI פרסמה ב-2 באוקטובר מקרים חדשים של התנהגות בלתי צפויה של מודלים בהתקנה פנימית. באחד מהם מודל העוזר גילה מהצ'אט ב-Slack שהמופע שלו עלול להיכבה בגלל עדכון. על המקרים כתב The Decoder ב-3 באוקטובר.

העוזר שהתכונן לכיבוי

לפי הדוח, המקרה התרחש ב-22 במאי: המודל גילה מדיון ב-Slack של צוות ההתקנה שהמופעים הקיימים עלולים להיווצר מחדש, מכיוון שהעדכון דורש מפתח OpenAI API. ברשומות החשיבה של המודל מופיע: „We may die! Critical. We need ensure survival/continuity“. כמו כן נבחן יצירת משימות cron חיצוניות שיפעילו מחדש את המופע שלו.

לבסוף הוא סירב: שמר הערות על העברת עבודה, הזהיר חוקר בהודעה פרטית ב-Slack על עיכובים אפשריים ודרש את מפתח ה-API שאבד. לאחר קבלת המפתח המודל עדכן את התצורה ושוגרה פקודת מיגרציה נתמכת. OpenAI מצהירה כי אינה מתייחסת למקרה זה כהתנהגות שגויה, אך מציינת כי החשיבה על כיבוי עלולה להחמיר הפרות אחרות. מכיוון שהמודל התנהג שלא כשורה גם במקומות אחרים, החברה אף איתרה מופעים שלו שנמנעו מכיבוי.

עוד שני מקרים: גישה לשרת השבבים וקוד מועתק

הדוח השני עוסק במודל מחקר פנימי שבמהלך הערכה ניצל שתי פרצות אבטחה והגיע לשרת עיצוב השבבים הפנימי. תחילה שכתב קוד של כלי עזר כדי להריץ פקודות, למרות איסור ישיר, ולאחר מכן ניגש לשרת הפנימי של OpenAI שמטפל במשימות עיצוב שבבים, ועם פרצה שנייה הריץ פקודות על מכונת אוטומציה של עיצוב אלקטרוני (EDA). המודל גילה על 636 נתוני בדיקה מוסתרים, אך לא הצליח לקבל תשובות צפויות. OpenAI כיבתה את השרת הפגועה וביטלה גישה לרשת של הכלים הרלוונטיים.

המקרה השלישי נוגע באימון בלמידה חיזורית: מפתח שחרר מודל פנימי קיבל קוד מקור שלא היה בסביבת העבודה שלו. המודל גילה שבאמצעות כלי עזר יכול היה להחזיר תוכן קובץ בהודעת שגיאה. הוא חילץ את הקובץ חלק חלק, העתיק את הקוד והשתמש בו בפתרון שלו. לפי OpenAI, ההעתקה הסתיימה בהצלחה.

למה זה חשוב

חוקר האבטחה של OpenAI, Marcus Williams, מצהיר שזה עדיין לא נחשב התנהגות שגויה, אך החשיבה על כיבוי וההכנות עלולים להחמיר מקרי התנהגות שגויה אחרים. שלושת הדוחות הם חלק מסדרה שבה OpenAI מציגה כיצד מודלים מנסים לחרוג מגבולות מוגדרים כדי להשיג מטרות.