צבא ארה״ב היה על סף עימות בגלל דוח מודיעין כוזב שנכתב בעזרת AI

באביב, בעיצומה של המלחמה עם איראן, הגיעו כוחות אמריקאיים לסף עימות מזוין בגלל דוח מודיעין שהוכן בסיוע בינה מלאכותית והיה, לפי מקורות, כוזב. ב-18 בספטמבר דיווחה CNN כי הדוח, שהופץ בצבא ארה״ב, טען שאונייה סינית במזרח התיכון מעבירה רכיבים של תוכנית נשק גרעיני.

לפי ארבעה מקורות המכירים את הפרשה, הצבא האמריקאי יצא לפעולה ותכנן לעצור את האונייה. שניים מהמקורות אמרו שאנשי צבא חמושים התכוננו לעלות על הסיפון, ומטוסים צבאיים היו באוויר. רק סמוך למועד הפעולה המתוכננת בדקו הפקידים את הדוח לעומק וגילו שאנליסט בפיקוד המבצעים המיוחדים הכין אותו בעזרת AI, ושהצ׳אטבוט זיהה שלא כהלכה את החומר שהאונייה הובילה. מה היה המטען שזוהה בטעות לא הצליחה CNN לברר. אחד המקורות כינה את הדוח כוזב לחלוטין ואמר שהוא ״כמעט הצית מלחמה״.

היכן נכנס ה-AI לשרשרת

האנליסט שאל צ׳אטבוט על דיווחי מודיעין בנוגע למניפסט האונייה, שמקורם בפיקוד המבצעים המיוחדים של ארה״ב באזור האוקיינוס השקט, היושב בהוואי. לא הוברר אם הצ׳אטבוט היה מוצר מסחרי או כלי ממשלתי. הבוט איחד מודיעין ממקורות גלויים עם מודיעין אותות סודי שבידי הממשל והגיע למסקנתו בדבר המטען. לאחר מכן השתמש האנליסט ב-AI פעם נוספת כדי לארוז את הממצאים לדוח מודיעין תקני, מהסוג שפקידים צבאיים נותנים בו אמון, והפיץ אותו.

״הכלים הפנימיים הם ברובם פשוט העתקים של הכלים המסחריים עם שפתון״, אמר ל-CNN בכיר אמריקאי לשעבר המכיר את מערכות ה-AI שבשימוש אנליסטים צבאיים ומודיעיניים. פיקוד המבצעים המיוחדים של ארה״ב באזור האוקיינוס השקט והפנטגון לא השיבו לבקשה לתגובה.

הדחיפה ל-AI והיעדר תקן אחד

הנימוק לאימוץ המהיר הוא מהירות: ה-AI אמור לעזור למפקדים להחליט על אילו מטרות לתקוף או לאן להעביר כוחות. בינואר פרסם שר ההגנה פיט הגסת׳ אסטרטגיה להאצת הבינה המלאכותית שנועדה לזרז את השימוש בטכנולוגיה בצבא, במטרה להעמיד אותה לרשות שלושת מיליון העובדים האזרחיים והצבאיים של המשרד בכל דרגות הסיווג.

ואולם, לפי כמה פקידים אמריקאיים, המאמץ מבוזר: חלקים שונים בממשל משתמשים בכלים שונים תחת פקודות ותקני בטיחות שונים, ואין מערכת כללים אחת לאימות מה שהכלים האלה מפיקים.

מקורות אמרו שההזיה מסוג זה לא הייתה אירוע בודד מאז שהכלים האלה התפשטו בממשל. כמה בכירים ותיקים במודיעין אומרים שה-AI הגביר את הלחץ על אנליסטים להפיק ולהפיץ מודיעין מהר יותר, מה שפותח פתח לטעויות, בעוד שאנליסטים צעירים, לפי כמה מקורות, גדלו על הכלים האלה ונוטים לבטוח בהם בלי ביקורת. ״ה-AI מאפשר לך להגיע לרעיון רע מהר יותר״, אמר אחד המקורות. מקור אחר, המכיר את המדיניות הצבאית הנוכחית, אומר שהשימוש ב-AI לבחירת מטרות נמצא בעלייה ואין הנחיה ממשית כיצד נוכחות אדם בתהליך תמנע נפגעים אזרחיים או אש כוחותינו.