דו"ח: 22% מסיכומי ה-AI של Home Office למבקשי מקלט נכשלים בבדיקת הדיוק

סיכומי ה-AI נכשלים במבחן הדיוק

על פי חקירת Open Rights Group (ORG), מתוך 203 סיכומים של ראיונות מבקשי מקלט, שנוצרו באמצעות AI ונבדקו על ידי מומחי Home Office באפריל 2026 לאחר הפעלת המערכת, 45 נכשלו במבחן הדיוק (22%). בפיילוט שיעור הכשלון היה 9%. עוד 19 סיכומים דרשו אימות נוסף, ו-30 מתוך 56 בשלב השני לא עמדו בתקן.

הטעויות כללו אי-דיוקים עובדתיים ועיוותים של דברי הפליטים. ORG גם מצאה שסיכום יכול לעבור בדיקה גם אם השמיט פרטים חשובים, כל עוד המידע שצוין היה נכון.

זמן הבחינה מחמיר למרות הבטחות היעילות

הדו"ח שואל אם הכלים חוסכים זמן. לפי ORG, מאז אפריל 2026 הממוצע החודשי של החלטות מהותיות ראשוניות ירד כ-42% לעומת אותה תקופה ב-2025, והזמן מהראיון להחלטה גדל 29%. אין בכך ראיה שה-AI גרם לעיכוב, אך זה בקושי תומך בפרודוקטיביות שהשרים הבטיחו.

בסך הכל נבדקו מעט סיכומים. להערכת ORG, מומחי Home Office בדקו רק 0,3% בין אפריל ליולי, בהתאם להערכת המשרד של 17 515 תיקים בחודש.

ליקויי פיקוח בשתי המערכות

הכלים הם Asylum Case Summarisation (ACS), לסיכום ראיונות פליטות, ו-Asylum Policy Search (APS), כלים בסגנון צ'אט לחיפוש מדיניות מדינות. שניהם משתמשים ב-GPT-4o של OpenAI דרך Microsoft Azure AI Foundry. הממשלה אומרת שאחריות על ההחלטות היא של בני אדם, אך ORG חושדת שעובדי תיקים מזהים טעויות AI באמינות מופחתת.

הפיקוח על APS חלש במיוחד. Home Office אישר באוגוסט שהבדיקות המומחיות הופסקו, למרות שהודיע לפרלמנטרים שהן יימשכו; לטענת ORG, לא נערך סיכום תוצאות. מבקשי מקלט אינם מתבשרים מתי ה-AI שימש את התיק שלהם, ואינם בודקים או מתקנים את הסיכומים.

קריאות לעצירה ולביקורת עצמאית

ORG מזהירה שלפי הערכות הגנת הנתונים של המשרד, ACS ממכן עבודת מומחים טכניים שבדקו וסיכמו תיקים עד להחלטה, ועלול להסיר שכבת בדיקה מנוסה ולא רק לחסוך זמן. הקבוצה דורשת לעצור את שני הכלים ולערוך ביקורת עצמאית, כי ההגנות אינן מספיקות להחלטות שקובעות האם אדם יישאר בממלכה המאוחדת.

מסקנות אלו התגלו אחרי שערוריות טכנולוגיות נוספות במשרד. ביוני יותר מ-60 ארגוני זכויות קראו לשרים לבטל תוכניות הערכת גיל מבוססות AI, ובדיקה מצאה שמערכת ההגירה Atlas לא סיפקה לעובדי תיקים משוב מערעורי פליטות. Home Office לא ענה לשאלות Theregister.

מקורות: Theregister