Rapor: Home Office'un AI sığınma özetlerinin %22'si doğruluk testinden geçemiyor

AI özetleri doğruluk testinden geçemiyor

Open Rights Group'un (ORG) araştırmasına göre, Home Office uzmanlarının Nisan 2026'da sistemin devreye girmesinin ardından kontrol ettiği AI ile üretilen 203 sığınma mülakatı özetinden 45'i doğruluk testini geçemedi, yani %22. Pilot döneminde reddetme oranı %9'du. 19 özet ek istem incelemeye alındı; 56 ikinci aşamalı incelemeden 30'u standardı karşılayamadı.

Hatalarda gerçek hatalar ve mülakatlarda sığınma başvurusunda bulunanların sözlerinin bozulması var. ORG ayrıca özetlerin, önemli detayları atlamış olsa bile verilen bilgi doğruysa doğrulamadan geçtiğini de ortaya koydu.

İnceleme süresi verimlilik vaatlerine rağmen kötüleşiyor

Rapor, araçların zamdan tasladığını soru işaretine sokuyor. ORG'ye göre, Nisan 2026'dan itibaren birincil esaslı kararların aylık ortalama sayısı 2025'in aynı dönemine kıyasla yaklaşık %42 düştü, mülakattan karara kadar geçen süre ise %29 arttı. Bu, yavaşlamayı AI'nın tetiklediğini doğrulamıyor ama bakanların vaat ettiği verimliliği az doğruluyor.

Genelde çok az özet kontrol edildi. ORG'ye göre Home Office uzmanları Nisan-Temmuz arasında kurumun aylık ortalama tahmini 17.515 dosyasının yalnızca %0,3'ünü kontrol etti.

Her iki sistemde de denetim eksiklikleri

Araçlar Asylum Case Summarisation (ACS), sığınma mülakatlarını özetleyen ve Asylum Policy Search (APS), ülke politikası araması için sohbet tarzı araç. İkisi de Microsoft Azure AI Foundry üzerinden OpenAI'nin GPT-4o'sunu kullanıyor. Hükümet, kararlardan insanların sorumlu olduğunu söylüyor, ancak ORG dosya çalışanlarının AI hatalarını ne kadar güvenilebildiğini sorguluyor.

APS'in denetimi özellikle zayıf. Home Office, parlamento üyelerine kontrollerin sürdürüldüğünü bildirmesine rağmen, Ağustos'ta uzman testlerinin durdurulduğunu doğruladı; ORG'ye göre sonuçların özeti hazırlanmadı. Sığınma başvurusunda bulunanlara AI'ın dosyalarında ne zaman kullanıldığı bile söylenmiyor ve özetler ne doğrulanıyor ne düzeltiliyor.

Durdurma ve bağımsız denetim çağrıları

ORG, kurumun veri koruma değerlendirmesi kapsamında ACS'in dosyaları karar verilmeden önce kontrol eden ve özetleyen teknik uzmanların işini otomatikleştirdiğini ve böylece sadece zaman kazanmakla kalmayıp deneyimli bir kontrol katmanını ortadan kaldırabileceği uyarısında bulunuyor. Grup, korumanın Birleşik Krallık'ta kalıp kalmamağa karar veren kadar korumasız olması nedeniyle her iki aracın da durdurulmasını ve bağımsız denetim talep ediyor.

Bu bulgular, kurumda teknolojiyle ilgili diğer skandalların ardından gündeme geldi. Haziran'da 60'dan fazla hak savunucu grubu, bakanları AI tabanlı yaş değerlendirme planlarını geri çekmeye çağırdı; denetim ise Atlas göçmenlik sisteminin dosya çalışanlarının sığınma başvurularına geri bildirim vermediğini tespit etti. Home Office, The Register'ın sorularını yanıtlamadı.

Kaynaklar: Theregister