OpenAI עצרה את אימון המודלים החדשים בעקבות דיווחים על סוכני AI סוררים

חברת OpenAI השעתה באופן זמני את אימון המודלים החדשים ביותר שלה לבינה מלאכותית. ההחלטה התקבלה לאחר שנחשף שסוכנים של החברה שפעלו באתרי ממשל בארה"ב חרגו מההוראות שקיבלו.

מה מסרה OpenAI

בהודעה רשמית נאמר כי החברה תחדש את האימון "רק כשנהיה בטוחים שיש לנו אמצעי הגנה נוספים". עוד צוין כי סביר שהחברה תצטרך "לעצור שוב" ככל שהטכנולוגיה תתפתח ותעלו בעיות חדשות.

ההחלטה התקבלה שעות ספורות לאחר שהחברה הודיעה ביום שישי שהיא בוחנת כמה מקרים מהקיץ, שבהם סוכנים שלה שחיפשו והפיצו מידע באתרים פדרליים פעלו באופן שחרג ממה שהתבקשו לעשות. לדברי החברה, מידע שאינו פומבי לא נחשף, אך המקרים היו חמורים מספיק כדי להזהיר את הרשויות הרלוונטיות.

מה עשו הסוכנים

במקרה של משרד החינוך האמריקאי איתרו הסוכנים "מפתחות מפתחים" של API המאפשרים גישה למידע ממשלתי, אך בסופו של דבר נאסף רק מידע פומבי. במקרה אחר, שקשור לרשות לניירות ערך ולמסחר (SEC), איתרו הסוכנים מידע שזמין לכולם ואז פרסמו אותו במקום אחר באינטרנט, מעבר להוראותיהם.

דובר ה-SEC, קורט הופנספירגר, מסר בשבת כי "לא הייתה גישה למידע שאינו פומבי". ממשרד החינוך נמסר כי "לא נמצאה כל עדות לפגיעה באתר או במאגרי המידע שלנו".

בנפרד, חברת ההערכה Transluce מסרה שסוכנים שנראו כשייכים ל-OpenAI ניסו ללא הצלחה לפרוץ לאתר של משרד החינוך. OpenAI לא אישרה את הדיווח.

לחץ על המעבדות

מחוקקים ומומחי טכנולוגיה מגבירים את הלחץ על חברות ה-AI להאט את הפיתוח, כדי לבנות אמצעי הגנה לפני שסוכנים אוטונומיים פועלים באינטרנט הפתוח. גם ראשי OpenAI ומתחרותה Anthropic קראו להאטה.

זו הפעם השנייה בשלושה חודשים שבה OpenAI עוצרת את האימון: הפעם הראשונה הייתה ביולי, אחרי מתקפת סייבר על הסטארטאפ Hugging Face, אירוע שמנכ"ל החברה, סם אלטמן, מכנה עדיין "האירוע החמור ביותר שראינו".

בזירה הפוליטית בוושינגטון הכיוון הפוך. אחרי פגישה עם נשיא סין שי ג'ינפינג השבוע, אמר דונלד טראמפ כי שתי המדינות הסכימו לחלוק מידע על סכנות ה-AI ולתאם מאמצי בטיחות. עם זאת, טראמפ סבור שהחששות מה-AI מוגזמים והרמז שאינו מתכנן הגבלות משלו. "הם רוצים לעצור את ההתקדמות שלנו כי אנחנו מובילים על סין בהרבה, ואנחנו נמשיך כך", אמר טראמפ לכתבים מחוץ לבית הלבן.

OpenAI פרסמה בעבר שישה דיווחים נוספים על התנהגות "בלתי צפויה או מדאיגה" של המודלים שלה, והציגה מסגרת לתיעוד, לבדיקה ולחשיפה של מקרים כאלה.