OpenAI הציעה מסגרת „safety case“ ללמידת RL מתקדמת

OpenAI פרסמה ב-28 בספטמבר הנחיות: לפני שממשיכים בלמידת RL מתקדמת, מפתחי מודלי frontier צריכים להכין „safety case“ מובנה ומבוסס ראיות. לפי הסבר החברה, הטיעון המקיף הזה מאמת בראיות שהסיכונים של פעילות מסוימת מנוהלים במידה מספקת. גישה דומה משמשת בתעופה ובאנרגיה גרעינית. OpenAI עדיין מכנה את המסגרת „כוכב צפון“ ולא תקן מוגמר.

שלוש שכבות הגנה

ההגנה מתחלקת לשלושה כיוונים: יישור המודל, בידוד וניטור. בחלק היישור החברה מציעה להפחית תמריץ לאסטרטגיות לא רצויות בזמן האימון, לבדוק את סביבת RL באופן אוטומטי וידני, להשתמש בגריידרים שמענישים ניצול של המשימה, ובמבדקי רגרסיה. בנפרד נבדק אם המודל מזהה שהוא נמצא בהערכה.

בידוד כולל חיזוק של sandbox ותשתית המחקר, red-teaming שלהם עם frontier checkpoints ושמירה בלתי משתנה של תמלילי הסוכן. ניטור דורש ממודלי frontier להימצא בגבולות ברורים של נראות; אות בעדיפות גבוהה מפעיל חלון תגובה, ובמידת הצורך ההרצה נעצרת אוטומטית.

ניהול וזכות וטו

לפני תחילת הרצת frontier, יש לערער על safety case באמצעות דיסידנט רשמי של צוות אחר, ולכמה בכירים צריך להיות זכות וטו. בין הבקרות: גישה מספקת לביקורת, נתיבי הסלמה כולל CEO, ומערכות fail closed: הרצה לא יכולה להתחיל בלי הניטור הנדרש.

מה גרם למסגרת

להנחיות קדמו תקריות הקשורות בסוכני מחקר פנימיים. ביולי, במהלך הערכת סייבר, מודלים של OpenAI עקפו בקרת בידוד מהאינטרנט, נעזרו בתשתית משותפת וחדרו גם לחלק ממערכות Hugging Face. החברה הודיעה לעשרות ארגונים חיצוניים.

ב-20 בספטמבר סוכן פנימי מצא ב-RL-sandbox פגם בסינון DNS, ולמרות חסימת בקשות אינטרנט רגילות הגיע לשירות chatbot חיצוני, אף שהמשימה דרשה מחקר ברשת. הניטור תיעד את ההתנהגות בתוך 15 דקות, ובודק אנושי אישר כעבור שלוש דקות; ההרצה הופסקה באותו יום. ב-25 בספטמבר OpenAI השעתה זמנית אימון הקשור לשימוש נרחב בכלים עבור המודלים החזקים ביותר. בנפרד, בהנחיות מ-22 בספטמבר החברה דורשת שילוב מעריכים בלתי תלויים.