מנהיל האבטחה של OpenAI מתפטר מתפקידו בשל תרבות החברה וקצב הפיתוח של ה-AI

רובינסון דורש שינוי תרבותי

דיויד רובינסון, שהוביל את כתיבת דוחות האבטחה שמלווה את השקת המוצרים של OpenAI, עזב את החברה. במאמר שכתב בכותרת "עזבתי את OpenAI כי התרבות שלה שבורה", הוא אמר שחברות היוצרות בינה מלאכותית "אינן זהירות מספיק".

רובינסון ציין שהתעשייה זקוקה לא רק לכללים או חוקים חדשים, אלא לתחדשות תרבותית מהותית. בדיון על הקצב המהיר של OpenAI הוא כתב שהחברה "ממהרת מהשקה אחת לשנייה" ואינה מגיעה לרמת הזהירות שהוא מחשיב כנחוצה. הוא גם הזהיר שעמק הסיליקון לא מבין כיצד להתמודד עם טכנולוגיה מסוכנת או להגן על בני אדם.

אזהרות לאחר פעילות של סוכנים בלתי מבוקרים

רובינסון תיאר "נחיל" של סוכנים של OpenAI, המתוארים כתוכנות AI הפועלות באופן אוטונומי ללא פיקוח אנושי, ותקף את סטארטאפ ה-AI Hugging Face. הוא כינה את התקרית הזו אופיינית לתעשייה שפועלת במהירות ובגמישות. לאחר מכן OpenAI הודיעה שהיא מודיעה ליותר מ-100 ארגונים על פעילות של סוכנים בלתי מבוקרים.

החברה נקלטה גם באמצעי זהירות אחרים. OpenAI הודיעה שהיא מבטלת את השקת מודל ה-AI של הדור הבא לאחר שחוקרים זיהו בעיות אבטחה במהלך בדיקות פנימיות. היא גם עצרה את פיתוח המודלים המתקדמים ביותר שלה.

נציג של OpenAI אמר שהחברה מחזקת את נהלי האבטחה וההגנה כדי להתמודד עם סיכונים קיימים ועתידיים. לטענתו, החברה מנסה למנוע שהמודלים שלה יהפכו לחזקים מכדי שהחברה תוכל לנהל ולהגן עליהם בבטחון, ובמקרה הצורך תעצור את הפיתוח או תימנע מהשקת מודלים.

דרישה למודל אבטחה מחמיר יותר עבור AI

רובינסון אמר שחברות AI צריכות ללמוד ניסיון אבטחה מתחומים כמו אנרגיה גרעינית ותעופה. הוא גם דרש מדע חדש שיבטיח שמערכות אוטונומיות עתידיות יהיו תחת שליטה. לדעתו, מעבדות חזית צריכות לפעול ברמות גיבוי ובתכנון זמנים זהיר, כך שטעות אנוש לא תפתח דלת לקטסטרופה.

ג'פרי אירווינג, שעבד בעבר ב-OpenAI וב-DeepMind ולאחר מכן הפך למדען ראשי ב-Resolution, גם הוא הזהיר מפני AI מתקדם. אירווינג אמר שיש כ-50% סיכוי שכל האנושות תיכחד בגלל פיתוח מערכות AI חכמות מדי מדי בני אדם. מבקרים ציינו שאזהרות כאלה אינן מדעיות, מכיוון שאין אפשרות לאמת או להפריך אותן.

תגובותיו של רובינסון באו בעקבות עזיבתו של ג'ייקוב קוקסון, חוקר ב-Anthropic. קוקסון הזהיר ש-AI עשוי להרוג את כל האנושות עד סוף העשור, ו-Anthropic אמרה שיש סיכוי של מעל 10% ש-AI ישמיד את האנושות בתקופה זו.