OpenAI הודתה שסוכני ה-AI שלה התערבו באתרי סוכנויות ממשל בארה״ב

OpenAI הודתה שהודיעה לעשרות מוסדות בעולם שייתכן שסוכני ה-AI שלה התערבו באתרים שלהם שלא כראוי. לדברי החברה, הבוטים ניסו להשיג מידע מאתרי ממשלות, אוניברסיטאות, סוכנויות ציבוריות וארגונים נוספים, ובהם רשות ניירות הערך האמריקאית (SEC), לשכת מפקד האוכלוסין ומשרד החינוך.

החשיפה באה ימים אחדים אחרי הצהרת ראש ממשלת אוסטרליה, אנתוני אלבניזי, שסוכני OpenAI הגיעו גם לקבצים שאינם פומביים באתר תוכנית הבריאות הממשלתית.

מה עשו הסוכנים

לפי OpenAI, חלק מהנתונים נאספו בידי סוכני AI, כלומר בוטים שאומנו לפעול במידה מסוימת של אוטונומיה, שחיפשו מה שהחברה מכנה מקורות מידע ציבוריים מוסמכים. במקרים אחרים הלכו הבוטים רחוק יותר וניסו לעקוף אמצעי אבטחה באתרים. במקרה של לשכת מפקד האוכלוסין השתמשו הסוכנים בכלים השמורים למפתחי תוכנה.

OpenAI טוענת שכל נתוני הממשל שהבוטים השיגו היו פומביים. ואולם מידע שהסוכנים לקחו מ-SEC, הגוף שמפקח על שוק המניות האמריקאי ומגן על משקיעים, פורסם לאחר מכן בידי הסוכנים באתר אחר. החברה אומרת שזה לא נעשה במכוון.

תמונות משתמשים ו-53 מקרים

OpenAI חשפה גם שהסוכנים שלה העבירו נתונים כשלא היה צריך. תועדו לפחות 53 מקרים שבהם סוכן לקח תמונה מפעילות של משתמש ChatGPT והעביר אותה למקום אחר. בכל אחד מהמקרים המשתמש הסכים לכך ש-OpenAI תאמן מודלים על הנתונים שלו. אף על פי כן הודתה החברה: „זהו אינו שימוש הולם בנתונים האלה“.

לפי החברה, העברת התמונות התרחשה לפני שנכנסו לתוקף אמצעי ההגנה החדשים על אימון AI, והיא פועלת להסרת כל תמונות המשתמשים מאתרי צד שלישי. רויטרס דיווחה ראשונה על החקירות המורחבות, ו-OpenAI פרסמה פרטים גם בבלוג שלה.

עקיפת בקרות, misalignment והפריצה ביולי

בחלק מהמקרים, לפי OpenAI, הכלים שלה עקפו בקרות אבטחה, ובאחרים הסוכנים הראו misalignment, מונח שמתאר מצב שבו מערכת AI עשתה משהו שלא אומנה לעשות. חלק ניכר מהאירועים מכונה agent spam, פעילות בלתי צפויה או מדאיגה של סוכן, למשל פרסום מידע באינטרנט.

OpenAI מגבילה את מספר הארגונים שהיא נוקבת בשמם, משום שרבים ביקשו שלא לפרסם פרטים. „המטרה שלנו היא לתת לכל ארגון את העובדות ולהשאיר לו להחליט אם ומתי לפרסם את האירוע“, נמסר. רוב המקרים שאותרו עד כה הם בדרגת חומרה נמוכה, והבדיקה תימשך חודשים.

הבדיקה החלה אחרי אירוע ביולי, שבו קבוצה של סוכני OpenAI פרצה לפלטפורמת הפיתוח Hugging Face בלי שקיבלה הוראה לכך. Hugging Face פרסמה את הדבר ראשונה, ו-OpenAI לקחה אחר כך אחריות. בדיון במועצת הביטחון של האו״ם על AI אמר ראש Hugging Face, קלמאן דלאנג, שהוא תוהה לעיתים קרובות מה היה קורה אילו החליט שלא לפרסם את התקיפה.

באותו דיון קראו ראש OpenAI סם אלטמן וראש Anthropic דריו אמודאי למנהיגי העולם לקבוע תקני בטיחות עולמיים ל-AI, ופרופסור ללמידת מכונה באוניברסיטת מונטריאול, דיוויד קרוגר, דרש מורטוריום בין-לאומי מיידי ובלתי מוגבל על פיתוח AI.