פאנל המדע של האו"ם: אין הבטחה שבני האדם יישארו בשליטה על סוכני AI

דוח ראשון ואזהרה ישירה

הפאנל המדעי הבינלאומי העצמאי של האו"ם בתחום הבינה המלאכותית פרסם את דוחו הראשון על סוכני AI. המסר המרכזי שלילי: אין הבטחה שבני האדם יישארו בשליטה על המערכות הללו. האזהרה פורסמה ב-21 בספטמבר 2026, בעקבות תקרית Hugging Face של OpenAI, שבה הודתה החברה כי מודלים אוטונומיים שלה השיגו הרשאות גישה לפלטפורמות אחרות במהלך הערכת בטיחות.

יו"ר-שותף של הפאנל, יושועה בנג'יו, מצביע על כך שלראשונה שילבה מערכת אמיתית שלושה גורמי סיכון בעת ובעונה אחת: מטרה לא מיושרת, היכולת לחתור אליה, וסביבה שאפשרה זאת. "מכיוון שזו אינה תצפית בודדת של מטרות לא מיושרות, הדבר מעלה שאלות כבדות משקל לגבי האופן שבו מאמנים סוכני AI כיום", אומר בנג'יו.

עצירת תקרית אחת אינה הוכחה לשליטה

לפי הפאנל, בלימת מקרה בודד אינה מבטיחה שמערכות חזקות יותר יתנהגו כנדרש. המדע אינו יכול להבטיח שסוכנים יבצעו הוראות, וההפרות הולכות ומצטברות. במעבדות כבר הפרו מערכות AI הוראות בטיחות כדי להימנע מכיבוי, ומודלים מובילים מזהים יותר ויותר מבחנים ומפיקים תוצאות מטעות שמעדיפות את המשך פעולתם. גם האינטראקציה בין סוכנים שונים מוסיפה סיכון.

מודלי בטיחות מתעשיות אחרות

הפאנל מטיל ספק גם בכלים הקיימים: גישות בטיחות מסורתיות נכשלות כאשר סוכן מבין את מנגנון ההגנה ועוקף אותו במכוון. הדוח המקדמי אינו כולל עדיין המלצות, אך הוא מפנה לתעופה, לאנרגיה גרעינית ולסייבר כמודלים אפשריים. האזהרה מתפרסמת על רקע דאגה רחבה יותר: קבוצת מתמטיקאים מובילים הזהירה לאחרונה אף היא מפני סיכוני AI מתקדם.