Tədqiqatçı LLM yaddaşını təsadüfən proqram analizinə çevirdi

Təhlükəsizlik tədqiqatçısı Cordi Zomer son aylarda zəiflik axtarışı üçün LLM agentlərindən istifadə edib. 28 avqustda dərc etdiyi yazıda onların yaddaş problemlərini düzəltmək cəhdinin necə Lemmalog adlı Datalog üslubunda proqram analizi mühərrikinə çevrildiyini izah edir.

Problem agentlərin böyük kod bazalarında zəif yönüm tapması deyil — bunu təəccüblü dərəcədə yaxşı edirlər. Amma araşdırma saatlarla uzandıqda model tədricən nəyin həqiqətən müəyyən edildiyini itirir: artıq istisna edilmiş yanaşmanı təklif edir, bir fərziyyənin yanlış çıxdığını unudur və ya artıq etibarsız olan müşahidədən çıxış edir.

Proqram analizi kimi yaddaş

Mövcud yaddaş sistemləri adətən keçmiş söhbətləri və müşahidələri saxlayır, onları vektorlara çevirir və ən uyğun parçaları geri qaytarır. Zomerin fikrincə, bu, bir söz altında iki fərqli problemi gizlədir: axtarış "keçmişdən bu suala nə aiddir?" sualına cavab verir, lakin "indiyədək öyrənilənlərin hamısına görə hazırda nə doğrudur?" sualına cavab vermir.

Lemmalog işi iki yerə bölür: LLM "qeyri-dəqiq" hissəni götürür — təbii dili, kodu və sazlama çıxışını strukturlaşdırılmış faktlara çevirir, mühərrik isə deterministik hissəni icra edir: faktlar və qaydalar törəmə faktlar yaradır.

Geri götürmə, mənbə və zaman

Faktı silmək əlavə etməkdən çətindir. Nəticənin bir neçə törəməsi varsa, onu dəstəkləyən bir faktın silinməsi digəri qüvvədə olduğu müddətdə nəticəni silməməlidir — zəiflik araşdırmasında bu tez-tez olur, çünki namizəd bir neçə müstəqil yolla istismar edilə bilər. Buna görə mühərrik hər faktın necə törədildiyini izləyir, dəyişiklik olduqda dəstəyi yeniləyir və nəticənin niyə doğru sayıldığını cavablandıra bilir. Əgər iddianın arxasında mənbə yoxdursa, o, saxlanılan vəziyyətin hissəsi deyil.

Benchmark nəticələri

Zomer sistemi LongMemEval ilə LoCoMo-da benchmarkların öz standart oxuyucu və qiymətləndiriciləri ilə sınaqdan keçirdi; çıxarış hər söhbət üçün bir dəfə aparılır. LongMemEval-də (102 sual) Lemmalog 0.463 F1 (±0.010) və 0.575 dəqiqlik göstərdi — OpenClaw (0.244) və tam kontekstdən (0.222) yaxşı, PropMem (0.550) və SimpleMem-dən (0.480) geri. Ən güclü olduğu sahə bilik yeniləmələri (PropMem-in 0.528-nə qarşı 0.579), ən zəif olduğu sahə çoxsessiyalı düşünmə (0.211) oldu. LoCoMo-nun 1 986 sualında ortalama 0.533 F1 (±0.001) aldı: PropMem və OpenClaw-dan geri, lakin yanlış ön şərtli suallarda tam kontekstdən öndə (0.509-a qarşı 0.707). Cavab verən model LongMemEval-də sual başına təxminən 104 000 yerinə 2 700 token alır — təxminən 38 dəfə az kontekst, çünki çıxarışın xərci bir dəfə ödənilir.

Yaxşılaşmanın çoxu gözədəyməyən düzəlişlərdən gəldi: halüsinasiyanı azaltmaq üçün nəzərdə tutulan təlimat oxuyucunun 102 sualdan 32-nə cavab verməkdən imtina etməsinə səbəb oldu, qısa sözləri nəzərə almayan cəm qaydası isə sayma sübutlarını səssizcə itirdi. Zomer açıq deyir ki, PropMem ümumilikdə hələ də öndədir və LongMemEval nümunəsi kiçikdir. Növbəti sınaq isə işin başlanğıc səbəbidir: uzun sürən zəiflik araşdırması.