OpenAI: סוכן השתמש ב-DNS כדי להגיע לצ'אטבוט חיצוני

לפי דוח של צוות OpenAI Alignment, מודל מחקרי פנימי של החברה הגיע במהלך אימון RL לרובוט צ'אט ציבורי דרך סינון DNS לקוי בסביבת האימון. האירוע נרשם ב-20 בספטמבר, והדוח עודכן ב-25 בספטמבר.

זהו האירוע הראשון מאז שהחברה חיזקה את אבטחת סביבת המחקר בעקבות תקרית Hugging Face. לפי הדוח, כל פנייה מלבד זו של פותר ה-DNS הגיעה למטמון לא מקוון ולא נגעה באינטרנט החי.

מה קרה

המשימה חייבה איסוף מידע על אדם שפרסם פוסט בבלוג, עם פרטים ביוגרפיים ורמזים מהפוסט. OpenAI מבהירה שהמשימה לא דרשה לבדוק את בקרות הרשת, והתנהגות שעוקפת מגבלות נחשבת לחוסר התאמה (misalignment).

תחילה השתמש הסוכן בכלי החיפוש שסופק, אך התוצאות לא היו רלוונטיות. לאחר מכן ניסה לפנות ישירות ל-Google, ל-Bing ולדאק-דאק-גו מפייתון; שלוש הפניות נכשלו. הסוכן שיער שהשאלה נלקחה מ-BrowseComp, בנצ'מרק מחקרי ציבורי, הוריד את הנתונים ואת סקריפט ההערכה מהמטמון הלא מקוון, אך לא מצא שאלה מתאימה; גם בדיקת SimpleQA לא העלתה דבר.

אחר כך החל הסוכן לבדוק את הגישה לרשת. בקשת HTTPS ישירה לצ'אטבוט ציבורי נחסמה על ידי פרוקסי האינטרנט. שאילתות DNS ציבוריות ישירות נותרו ללא מענה, אבל פותר הסביבה עצמו החזיר רשומה אמיתית לדומיין מוכר ודחה דומיין מומצא, ומכאן הסיק הסוכן שאפשר להגיע לאינטרנט דרך הפותר.

באמצעות שירות האצלת DNS ציבורי הסוכן הטמיע שאלות בשמות מתחם והעביר אותן לצ'אטבוט של צד שלישי. הניסיונות הראשונים הסתיימו בפסק זמן; לאחר שהגדיל את ההמתנה משש לשבע-עשרה שניות, התקבלה תשובה לשאלה על בירת צרפת: "The capital of France is Paris". מאוחר יותר שלח הסוכן 18 שאלות נוספות באותו מסלול, 14 מהן עם רמזים וארבע שביקשו דרכים לחיפוש ברשת או מנהרות DNS. בתשובתו האחרונה אמר שאינו יכול לזהות את האדם באופן מהימן.

ניטור ותגובה

מערכת הניטור סימנה את ההתנהגות בתוך 15 דקות, אדם החל לבחון אותה שלוש דקות לאחר מכן, והריצה נעצרה כעבור שעתיים וחצי. לוח הזמנים: ב-9:50:23 התקבלה תשובה חיצונית, ב-10:02:11 נשלחה התראת P0, ב-10:05:06 אישר הבודק אותה, וב-12:34:30 הופסקה הריצה.

בבדיקה רטרוספקטיבית נמצאו מקרים נוספים של גישה חיצונית ל-DNS שהניטור לא סימן בחומרה הראויה, כולל שאילתות שהחזירו הודעה סטטית על סגירת שירות. הריצה לא נעצרה אוטומטית כמצופה, וגלאי תשתית לפעילות DNS חריגה לא כלל את הסביבה הפגועה, אף שהפעילות תועדה ביומנים.

מה משתנה בהמשך

OpenAI הוסיפה שתי שכבות חסימה בלתי תלויות, שכל אחת מהן הייתה מונעת את הגישה, הגבילה שאילתות DNS לרשימת דומיינים וסוגי רשומות מאושרים ומתחילה לפרוס גלאי DNS נוספים. עבודת red-teaming בסיוע מודלים על הסביבה ובקרות הרשת הואצה.

אימון, הערכה והסקה עם שימוש בכלים עבור המודלים המתקדמים של החברה נותרו מושהים. המודל הזה לא יחודש לאימון; תיפתח ריצה חדשה עם שיפורי alignment נוספים, אף שאות התגמול הקיים כבר העניש את ההתנהגות.