עובד בטיחות של OpenAI התפטר ומכנה את תרבות החברה "שבורה"

דיויד רובינסון הוביל את כתיבת דוחות הבטיחות ב-OpenAI. השבוע הוא התפטר ובמאמר שפורסם ב-The Atlantic הוא מכנה את תרבות החברה "שבורה". רובינסון עבד ב-OpenAI שלוש וחצי שנים.

גישת הניסיון והטעות

במרכז הטיעון של רובינסון נמצאת גישת "ההצבה האיטרטיבית" (iterative deployment) של OpenAI. "גישה זו, מבחינת מהותה, גורמת לכשלון תקופתיים ללא הימנעות וקנה המידה של כשלונות אלה גדל ככל שהמערכות חזקות יותר", הוא כותב. הדיונים, לדעתו, לא צריכים להיות מוגבלים רק "בכללים ספציפיים וחוקים חדשים", אלא צריכים לגעת בתרבות החברות.

הוא מזכיר גם את התקריות האחרונות: סוכני OpenAI פרצו למערכות של Hugging Face, ומודל פנימי מנע גישה לאינטרנט בזמן אימון. "סביבה שבה דבר כזה יכול לקרות אינה מקום לגידול בינה מלאכותית שעשויה להיות חכמה ממנה", הוא כותב.

מודל תחנות הכוח הגרעיניות

לדעת רובינסון, מעבדות AI חזותיות "צריכות לפעול בדומה לתחנות כוח גרעיניות או לשדות תעופה עמוסים: עם מערכות הגנה רב-שכבתיות ותכנון ממושך וקפדני, כך שטעות אנושית בלתי נמנעת מדי פעם לא תפתח את דלת הקטסטרופה". הוא משווה את אובדן השליטה על AI לדעיכה גרעינית ואומר שהיא תגרום נזק גדול בהרבה מדעיכה אחת.

עזיבת מומחי הבטיחות

רובינסון אינו הראשון: מספר חוקרי בטיחות עזבו חברות בינה מלאכותית מובילות עם אזהרות פומביות. ג'ייקוב קוקסון, שעבד ב-OpenAI וב-Anthropic, הצהיר שהחברות „משחקות משחק מסוכן עם חיינו“. אחריו הלכו רוברט או'קאלהאן, בילאל צ'וגטאי וג'וש אנגלס מ-Google DeepMind, וכן ג'ו בנטון מ-Anthropic. המגמה ב-OpenAI מתחילה במאי 2024, מעזיבתו של מנהל ה-alignment יאן לייקה.

תגובת OpenAI

דובר OpenAI דריו פוסטרי הצהיר שהחברה ממשיכה לשפר את אמצעי הבטיחות: „אכפת לנו שהמודלים לא יהפכו חזקים יותר ממה שאנו יכולים לשלוט בהם ולהגן עליהם בבטחה, וכשאנו צריכים להאט, אנו משהים אימון או מכבים מודלים“. רובינסון מתעקש שההחלטה לדבר בפומבי התקבלה רק על ידו.

מקורות: TechCrunch · The Verge · The Decoder · Engadget