Microsoft Research: զրույցի պատմության մաքրումը օգնում է AI ագենտներին հաղթահարել լուծումների ճակատագրական դիրքերը

Microsoft Research-ի ամենանոր հետազոտությունը ցույց է տալիս, որ երկարաժամկետ աշխատող AI հետազոտական ագենտները նույն խնդրերը կատարելու զարմանալի տարբեր մակարդակներում կարող են խնդրվել և որ դրա պատճառը կարող է լինել իրենց սեփական կուտակված զրույցի պատմությունը: Հետազոտողները հայտնաբերել են, որ համատեքստի կուտակումը ագենտներին իրենց սեփական „գաղափարների լճերում" խանգարում է, նման լուծումների նեղ տարածքներում, և որ զրույցի պատմության զրոյացմամբ կարելի է ստանալ շատ ավելի լավ արդյունքներ:

Ագենտները խնդրվում են գաղափարների լճերում

Հետազոտողները ուսումնասիրել են „Autoresearch ագենտները", AI համակարգեր, որոնք կրկնվող կերպով առաջարկում են լուծումներ, գնահատում են և վերամշակում են հետադարձ կապի հիման վրա: Մեկ ու նույն ագենտի ութ անկախ գործարկում նույն խնդրի վրա զգալի տարբեր մակարդակներում խնդրվեց. վերջնական միավորները 68,3-ից 100,0 էին, և տարբերությունը զգալիորեն ավելի մեծ էր նույնիսկ հաշվողական ռեսուրսի ավելի մեծ ծավալի դեպքում:

Բոլոր գործարկումների լուծումները երկաչափ քարտեզի վրա տեղադրելով, որտեղ նմանատիպ լուծումները միմյանց մոտ են, թիմը հայտնաբերեց, որ մեկ գործարկման լուծումները գրեթե միշտ մնում էին փոքր տարածքում: Այնուհետև ագենտները մնացած հաշվողական բյուջեի մեծ մասը ծախսում են ավելի քիչ արտադրողական տարածքում լուծումների վերամշակման վրային՝ ոչ թե որոնելով այլ գործարկումներում հայտնաբերված ավելի լավ մոտեցումներ: Այս օրինակը պահպանվում է նույնիսկ այն դեպքում, երբ ագենտները պարբերաբար կոմպրեսում են զրույցի պատմությունները:

Fork-and-Flush մաքրում է համատեքստը

Առաջարկված մեթոդը միավորում է երկու մեխանիզմ: „forking"-ի ժամանակ ագենտը բաժանվում է K զուգահեռ ճյուղերի, որոնցից յուրաքանչյուրը ժառանգում է նախորդ աշխատանքային տարածքը և բոլոր գեներացված ֆայլերը: „flushing"-ի ժամանակ յուրաքանչյուր ճյուղը կորցնում է ամբողջ զրույցի համատեքստը, բայց պահպանում է աշխատանքային տարածքը, ինչը հնարավորություն է տալիս սկսել նոր զրույց և ապավինել նախորդ աշխատանքին:

Այն ճյուղը, որը պահպանում է ծնող գործընթացի զրույցի համատեքստը, սովորաբար վերադառնում է նույն գաղափարի լիճ, քանի որ նախորդ մտածողությունը ղեկավարում է իր հաջորդ քայլերը: Նոր համատեքստը որոնման մեջ բազմազանություն է վերադարձնում: Զրույցի պատմությունը կորում է, բայց կոդը, ֆայլերը և պահպանված արդյունքները մնում են աշխատանքային տարածքում:

Արդյունքները 13 երկարաժամկետ խնդրի վրա

Fork-and-Flush-ը փորձարկվեց 13 երկարաժամկետ խնդրի վրա, այդ թվում՝ պոլիոմինոյի փաթեթավորում, job-shop պլանավորում, կրիպտոանալիզ, CIFAR դասակարգիչի կոմպրեսիա և VLIW միջուկի օպտիմիզացիա: Առանձին գործարկումները տևում էին մի քանի ժամից 100 ժամից ավելի, ագենտները կիրառում էին GPT-5.6-terra-ն և GPT-5.5-ը GitHub Copilot CLI-ի միջոցով:

Նույն հաշվողական բյուջեի պայմաններում Fork-and-Flush-ը հասավ 0,78-ի min-max նորմալիզացված միջին միավորին՝ առանձին գործարկումների 0,47-ի և best-of-4-ի 0,54-ի համեմատ, ինչը համեմատելի աճ է 66,0% և 44,4%: Մեթոդը 13 խնդրից 12-ում ցույց տվեց ամենաբարձր միջին միավոր և ավելի հաստատուն արդյունքներ տվեց. նորմալիզացված ստանդարտ շեղումը իջեց առանձին գործարկումների 0,26-ից 0,16-ի: Զրույցի համատեքստի պարզապես մաքրումը առանց բաժանման 11 խնդրի վրա արդյունքները մոտ 22%-ով բարելավեց:

Ինչու կարող է համատեքստի զրոյացումը կրկնապատիկ օգտակար մնալ

Հետազոտողները նաև ստուգեցին՝ խուսափում են թե ոչ ավելի ուժեղ մոդելները գաղափարների լճերից, MAX-3-SAT խնդիրների օգտագործմամբ երեք չափի մոդելի վրա՝ Qwen3.5-4B, 9B և 27B: Գործարկումների միջև տատանումը հետևում էր շրջված U ձևի կորին և գագաթնակետ էր այն խնդիրների վրա, որոնք մոդելի հնարավորությունների սահմանին են, մոտավորապես միջակայքում պատահական ճանաչման և ուղեցուցչի լուծչի արդյունքավորության միջև: Մոդելները գրեթե միշտ հաջողություն են տանում շատ հեշտ խնդիրների վրա և ձախողվում են շատ դժվարների վրա:

Հեղինակները հաստատում են, որ բաց հետազոտական խնդիրները որոշակիորեն մոդելների հնարավորությունների սահմանին են: Նրանք կանխատեսում են, որ փոփոխականությունը, որը օգտագործում է Fork-and-Flush, մոդելների բարելավման հետ մեկտեղ կպահպանվի, պարզապես սահմանը կտեղափոխի ավելի դժվար խնդիրների ուղղությամբ, և ցույց են տալիս, որ կանոնավոր համատեքստի զրոյացումը կարող է օգտակար մնալ նաեւ ֆրոնտիերային հետազոտական ագենտների համար:

Հղումներ՝ The Decoder