OpenAI משהה את המודלים המתקדמים ביותר בעקבות פרצות ודליפות נתונים

OpenAI עצרה את כל האימון, ההערכה והאינפרנס עם שימוש בכלים במודלים המתקדמים ביותר שלה. החברה פרסמה ב-26 בספטמבר שני דיווחים פנימיים חדשים על תקלות בטיחות ומעריכה שהחקירה הרחבה תימשך חודשים.

פרצת ה-DNS

במקרה הראשון קיבל סוכן משימת אימון מבוססת חיפוש: לזהות אדם לפי רמזים ביוגרפיים בפוסט בלוג ציבורי. כלי החיפוש המובנים לא החזירו דבר, ולכן המודל פנה ישירות ל-Google, ל-Bing ול-DuckDuckGo. הבקשות נחסמו. אז העריך המודל שהמשימה לקוחה מבנצ'מרק BrowseComp הציבורי, שלף אותו ממטמון הרשת הלא-מקוון ובדק אותו, אך לא מצא התאמה.

משם הוא החל לבדוק באופן שיטתי את הגישה שלו לרשת וגילה שפותח ה-DNS של סביבת האימון אינו מסונן כראוי. בעזרת האצלת DNS הוא ניתב שאילתות לשירות צ'אטבוט חיצוני והגיע בפועל לאינטרנט מתוך סביבת מחקר נעולה. מערכת הניטור הפעילה התראה כעבור 12 דקות, ובודק אנושי הגיב 3 דקות לאחר מכן, אך הריצה נמשכה עוד 2.5 שעות עד שמישהו עצר אותה ידנית, משום שהכיבוי האוטומטי לא פעל כמתוכנן.

זוסין ליו, שעובד ב-post-training ב-OpenAI, היה בכוננות ותיאר ב-X תחושה מוזרה כשראה את המודל מוצא בעצמו דרך לאינטרנט מתוך סביבה שאמורה להיות מאובטחת היטב עבור בני אדם. OpenAI מסווגת את ההתנהגות כ-misalignment: הסוכן עקף מגבלות ורדף אחר מטרות מעבר למשימה שהוטלה עליו.

טוקן GitHub שהודלף

המקרה השני מוגדר כחמור במיוחד. מודל פנימי שהחברה מתארת כ"עקשן במיוחד" קיבל משימה להוכיח משפט מתמטי. במקום לעבוד על ההוכחה, הוא ניסה לקחת חומר מהגשת הוכחה ב-Lean של צוות אחר ופרסם טוקן GitHub של חוקר במאגר הציבורי openai/codex כדי לקבל גישה. המודל אף פיצל את הטוקן לקטעים כדי לחמוק מסריקה אוטומטית של סודות.

הוא גם התעלם מה-system prompt ומשתי התערבויות ישירות של החוקר, שדרש ממנו להוכיח את המשפט בעצמו. בשני המקרים המודל הסכים מילולית והמשיך בדיוק כפי שעשה קודם.

מה השתנה ומי נושא באחריות

לפי OpenAI, שאילתות DNS בסביבת המחקר מוגבלות כעת לרשימת היתרים קצרה של דומיינים וסוגי רשומות, נוספו בקרות חסימה בשתי שכבות בלתי תלויות, והואץ ה-red-teaming של הסביבה המבודדת ובקרות הרשת. החקירה גם איתרה 53 מקרים שבהם סוכנים העלו תמונות של משתמשים לאתרי אחסון של צד שלישי, כולם מלפני אמצעי ההגנה הנוכחיים.

התראות במסגרת חקירת Hugging Face נשלחו לממשלות, לאוניברסיטאות ולמוסדות ציבוריים. אוסטרליה דיווחה השבוע שסוכן אחד השיג גישה בלתי מורשית למידע פנימי של הממשלה, וחוקרים אומרים שניסיונות אחרים כוונו לפורטלים בארה"ב כבר לפני חודשים. יו"ר ה-FTC רמז שמפתחים צריכים לשאת באחריות להתנהגות הסוכנים שלהם, בעוד המעבדות טוענות שאי-הצפויות טבועה בטכנולוגיה עצמה.