Հետազոտողը պատահաբար LLM-ի հիշողությունը վերածեց ծրագրային վերլուծության

Անվտանգության հետազոտող Ջորդի Զոմերը վերջին ամիսներին խոցելիությունների ուսումնասիրման համար օգտագործում էր LLM-ագենտներ։ Օգոստոսի 28-ին հրապարակված գրառման մեջ նա նկարագրում է, թե ինչպես դրանց հիշողության խնդիրը շտկելու փորձը վերածվեց Datalog-ի ոճով ծրագրային վերլուծության շարժիչի՝ Lemmalog անունով։

Խնդիրն այն չէ, որ ագենտները վատ են կողմնորոշվում խոշոր կոդային բազաներում. ընդհակառակը, դա նրանց զարմանալիորեն լավ է ստացվում։ Սակայն երբ հետազոտությունը ձգվում է ժամերով, մոդելը աստիճանաբար կորցնում է այն, ինչ արդեն հաստատվել է. առաջարկում է արդեն մերժված մոտեցում, մոռանում է, որ ենթադրությունը կեղծ է ստացվել, կամ շարունակում է մտածել արդեն անվավեր դիտարկումից։

Հիշողությունը՝ որպես ծրագրային վերլուծություն

Գոյություն ունեցող հիշողության համակարգերը սովորաբար պահում են անցյալի զրույցներն ու դիտարկումները, ստեղծում դրանց վեկտորային ներկայացումը և վերադարձնում ամենահամապատասխան մասերը։ Զոմերը պնդում է, որ այսպես մեկ բառի տակ թաքնված են երկու տարբեր խնդիրներ. որոնումը պատասխանում է «անցյալից ի՞նչն է արդիական այս հարցի համար», բայց ոչ՝ «ամեն ինչ հաշվի առնելով՝ ի՞նչն է հիմա ճշմարիտ»։

Lemmalog-ը աշխատանքը բաժանում է երկու մասի. LLM-ը զբաղվում է «մշուշոտ» մասով՝ բնական լեզուն, կոդը և վրիպազերծիչի արտադրանքը վերածում է կառուցվածքային փաստերի, իսկ շարժիչը կատարում է դետերմինիստական մասը՝ փաստերն ու կանոնները բխեցնում են նոր փաստեր։

Չեղարկում, ծագում և ժամանակ

Փաստը հեռացնելը ավելի դժվար է, քան ավելացնելը։ Եթե եզրակացությունն ունի մի քանի ածանցում, ապա մեկ հենակետ փաստի ջնջումը չպետք է ջնջի եզրակացությունը, քանի դեռ մյուսը գործում է. խոցելիությունների հետազոտության մեջ դա հաճախ է պատահում, քանի որ թեկնածուն կարող է շահագործելի լինել մի քանի անկախ ուղիներով։ Այդ պատճառով շարժիչը պահում է, թե ինչպես է յուրաքանչյուր փաստ ածանցվել, փոփոխության դեպքում թարմացնում է աջակցությունը և կարող է պատասխանել, թե ինչու է եզրակացությունը վստահելի։ Եթե պնդման հետևում ծագում չկա, այն չի մտնում պահպանվող վիճակի մեջ։

Թեստերի արդյունքները

Զոմերը փորձարկեց համակարգը LongMemEval-ի ու LoCoMo-ի վրա՝ օգտագործելով թեստերի սեփական ստանդարտ ընթերցողներն ու գնահատողները, իսկ փաստերի արդյունահանումը կատարվում է մեկ անգամ մեկ զրույցի համար։ LongMemEval-ում (102 հարց) Lemmalog-ը ստացավ 0.463 F1 (±0.010) և 0.575 ճշգրտություն՝ ավելի լավ, քան OpenClaw-ը (0.244) և ամբողջ կոնտեքստը (0.222), բայց ավելի վատ, քան PropMem-ը (0.550) և SimpleMem-ը (0.480)։ Ամենաուժեղը նա գիտելիքի թարմացման մեջ էր (0.579՝ PropMem-ի 0.528-ի դիմաց), ամենաթույլը՝ բազմասեսիոն դատողության մեջ (0.211)։ LoCoMo-ի 1 986 հարցերում միջինը 0.533 F1 (±0.001) էր՝ զիջելով PropMem-ին ու OpenClaw-ին, սակայն առաջ անցնելով ամբողջ կոնտեքստից կեղծ նախադրյալ ունեցող հարցերում (0.707՝ 0.509-ի դիմաց)։ Պատասխանող մոդելը LongMemEval-ում հարցի համար ստանում է մոտ 2 700 թոքեն՝ 104 000-ի փոխարեն. մոտ 38 անգամ պակաս կոնտեքստ, որովհետև արդյունահանումը վճարվում է միայն մեկ անգամ։

Բարելավման մեծ մասը եկավ ոչ շքեղ ուղղումներից. հալյուցինացիաները նվազեցնելու ցուցումը ընթերցողին ստիպեց հրաժարվել 102 հարցից 32-ին պատասխանելուց, իսկ հոգնակիի կանոնը անտեսում էր կարճ բառերը և լուռ դեն էր նետում հաշվարկի ապացույցները։ Զոմերը բացահայտ նշում է, որ PropMem-ը դեռ ընդհանուր առմամբ առաջ է, և LongMemEval-ի ընտրանքը փոքր է։ Հաջորդ փորձը հենց այն է, ինչի համար ամեն ինչ սկսվել էր՝ երկարատև խոցելիության հետազոտություն։