Fakt kifayət deyil: ProvenanceGuard MCP agentinin cavab mənbəyini yoxlayır

Alətlərdən istifadə edən LLM agentləri artıq tək mətn oxumurlar: MCP vasitəsilə bir neçə alətin nəticəsini bir cavabda birləşdirirlər.

Multiverse Computing komandası 29 sentyabrda Hugging Face-də ProvenanceGuard işini təqdim etdi.

“Haradasa təsdiqlənib” “düzgün mənbə ilə təsdiqlənib” demək deyil

Mövcud yoxlayıcılar, RAGAS faithfulness-dən MiniCheck, AlignScore və SummaC-yə qədər, yalnız artıq toplanmış sübut toplusunun iddianı dəstəkləyib-dəstəkləmədiyini yoxlayır.

Müəlliflər buna cross-source conflation deyir: iddia sübutların içində haradasa doğrudur, lakin yanlış mənbəyə aid edilir. Dəstək agentinin cavabı 30 günlük qaytarma müddətini hesab qeydinə aid edə bilər, halbuki əslində onu siyasət sənədi təsdiqləyir.

ProvenanceGuard nə edir

ProvenanceGuard generasiyadan sonrakı yoxlama qatıdır və black-box MCP agentinin üzərində işləyir. Agentin yenidən öyrədilməsi olmadan o, alət nəticələri və mənbə ID-ləri olan qeydə alınmış izi oxuyur. Beş addım var: iddialara bölmək, hər biri üçün uyğun mənbəni tapmaq, dəstəyi yoxlamaq, mənbəni müqayisə etmək və qərar vermək — buraxmaq və ya bloklamaq.

Təcrübələrdə yerli modellərdən istifadə edildi: MiniLM mənbəni axtarır, DeBERTa əsaslı NLI yoxlayıcısı dəstəyi yoxlayır, yerli dil modeli isə cavabı iddialara bölür. Mənbədə olmayan rəqəm və ya tarix keçə bilməz.

Nəticələr

Sistem tibbi agentin 281 real izi üzərində sınaqdan keçirildi. Ekspertlər 40 cavabdan 361 iddianı yoxladılar: onların fikrincə, 139 keçməməli idi, ProvenanceGuard isə 138-ni tutdu. O, həmçinin 67 təsdiqlənmiş iddianı dayandırdı. Düzgün mənbəni halların təxminən 86%-də seçdi.

Bloklanmalı iddialar üzrə F1 balı ilə hamını üstələdi — 0,802 (MiniCheck 0,783, RAGAS Faithfulness 0,758, AlignScore 0,662, SummaC-ZS 0,436).

Bənzər mənbələrlə çətin testdə sistem bloklamada 0,846 F1 aldı, lakin dəqiq mənbəni yalnız 50,3%-də göstərdi. Nəzarətli testdə mənbə adı 50 halda dəyişdirildi — sistem hamısını tutdu. RARR üslubunda düzəliş dövrü 173 bloklanmış cavabın hamısını həll etdi, baxmayaraq ki, 144-ü əvəzedici mətnlə bitdi. Eyni yanaşma NVIDIA-nın NVFlow-da maliyyə agenti üçün istifadə olunur.