Microsoft Research: ჩატის ისტორიის გასუფთავება AI-აგენტებს ჩარჩენილი ამოხსნის გზებიდან თავის დაღწევაში ეხმარება

Microsoft Research-ის ახალი კვლევა აჩვენებს, რომ ხანგრძლივად მომუშავე AI კვლევითი აგენტები იდენტურ ამოცანებზე შესრულების საოცრად განსხვავებულ დონეზე შეიძლება გაიჭედონ და რომ ამის მიზეზი შესაძლოა მათივე დაგროვებული საუბრის ისტორია იყოს. მკვლევარებმა დაადგინეს, რომ კონტექსტის დაგროვება აგენტებს მათივე „იდეის აუზებში“ ამწყვდევს, მსგავსი ამოხსნების ვიწრო არეალებში, და რომ ჩატის ისტორიის განულებით შეიძლება გაცილებით უკეთესი შედეგების მიღება.

აგენტები იდეის აუზებში იჭედებიან

მკვლევარებმა შეისწავლეს „Autoresearch აგენტები“, AI სისტემები, რომლებიც განმეორებით სთავაზობენ ამოხსნებს, აფასებენ და უკუკავშირის საფუძველზე ახვეწენ. ერთი და იმავე აგენტის რვა დამოუკიდებელი გაშვება ერთსა და იმავე ამოცანაზე მნიშვნელოვნად განსხვავებულ დონეზე გაიჭედა: საბოლოო ქულები 68,3-დან 100,0-მდე იყო, და სხვაობა მნიშვნელოვნად მეტი გამოთვლითი რესურსის შემთხვევაშიც კი შენარჩუნდა.

ყველა გაშვების ამოხსნების ორგანზომილებიან რუკაზე დატანებით, სადაც მსგავსი ამოხსნები ერთმანეთთან ახლოსაა, გუნდმა დაადგინა, რომ ერთი გაშვების ამოხსნები თითქმის ყოველთვის მცირე არეალში რჩებოდა. შემდეგ აგენტები დარჩენილი გამოთვლითი ბიუჯეტის დიდ ნაწილს ნაკლებად პროდუქტიულ არეალში ამოხსნების დახვეწაზე ხარჯავენ, იმის ნაცვლად, რომ სხვა გაშვებების აღმოჩენილი უკეთესი მიდგომები მოძებნონ. ეს ნიმუში შენარჩუნდება მაშინაც კი, როცა აგენტები პერიოდულად აკუმშებენ საუბრის ისტორიებს.

Fork-and-Flush კონტექსტს ასუფთავებს

შემოთავაზებული მეთოდი ორ მექანიზმს აერთიანებს. „forking“-ის დროს აგენტი K პარალელურ შტოდ იყოფა, რომელთაგან თითოეული მემკვიდრეობით იღებს წინა სამუშაო სივრცესა და ყველა გენერირებულ ფაილს. „flushing“-ის დროს თითოეული შტო მთელ ჩატის კონტექსტს კარგავს, მაგრამ სამუშაო სივრცეს ინარჩუნებს, რაც საშუალებას აძლევს, ახალი საუბარი დაიწყოს და წინა მუშაობას დაეყრდნოს.

შტო, რომელიც მშობელი პროცესის ჩატის კონტექსტს ინარჩუნებს, ჩვეულებრივ იმავე იდეის აუზში ბრუნდება, რადგან წინა მსჯელობა მის შემდეგ ნაბიჯებს წარმართავს. ახალი კონტექსტი ძიებაში მრავალფეროვნებას აბრუნებს. საუბრის ისტორია იკარგება, მაგრამ კოდი, ფაილები და შენახული შედეგები სამუშაო სივრცეში რჩება.

შედეგები 13 ხანგრძლივ ამოცანაზე

Fork-and-Flush 13 ხანგრძლივ ამოცანაზე გამოსცადეს, მათ შორის: პოლიომინოს შეფუთვა, job-shop დაგეგმვა, კრიპტოანალიზი, CIFAR კლასიფიკატორის შეკუმშვა და VLIW ბირთვის ოპტიმიზაცია. ცალკეული გაშვებები რამდენიმე საათიდან 100 საათზე მეტს გრძელდებოდა, აგენტები კი GitHub Copilot CLI-ის მეშვეობით GPT-5.6-terra-სა და GPT-5.5-ს იყენებდნენ.

იმავე გამოთვლითი ბიუჯეტის პირობებში Fork-and-Flush-მა min-max-ნორმალიზებული საშუალო ქულა 0,78 მიაღწია, ცალკეული გაშვებების 0,47-ის და best-of-4-ის 0,54-ის წინააღმდეგ, რაც შედარებითი ზრდაა 66,0% და 44,4%. მეთოდმა 13 ამოცანიდან 12-ზე უმაღლესი საშუალო ქულა აჩვენა და უფრო თანმიმდევრული შედეგები მისცა: ნორმალიზებული სტანდარტული გადახრა ცალკეული გაშვებების 0,26-დან 0,16-მდე დაეცა. ჩატის კონტექსტის უბრალოდ გასუფთავებამ, განშტოების გარეშე, 11 ამოცანაზე შედეგები დაახლოებით 22%-ით გააუმჯობესა.

რატომ შეიძლება კონტექსტის განულება კვლავ სასარგებლო დარჩეს

მკვლევარებმა ასევე შეამოწმეს, არიდებენ თუ არა თავს უფრო ძლიერი მოდელები იდეის აუზებს, MAX-3-SAT ამოცანების გამოყენებით სამი ზომის მოდელზე: Qwen3.5-4B, 9B და 27B. გაშვებებს შორის ვარიაცია შებრუნებული U ფორმის მრუდს მიჰყვებოდა და პიკს აღწევდა იმ ამოცანებზე, რომლებიც მოდელის შესაძლებლობების ზღვარზეა, დაახლოებით შუაში შემთხვევითი გამოცნობისა და საცნობარო ამომხსნელის შედეგიანობას შორის. მოდელები თითქმის ყოველთვის წარმატებას აღწევენ ძალიან მარტივ ამოცანებზე და მარცხდებიან ძალიან რთულებზე.

ავტორები ამტკიცებენ, რომ ღია კვლევითი პრობლემები განსაზღვრებით მოდელების შესაძლებლობების ზღვარზეა. ისინი მოელიან, რომ ცვალებადობა, რომელსაც Fork-and-Flush იყენებს, მოდელების გაუმჯობესებასთან ერთად შენარჩუნდება, უბრალოდ საზღვარი უფრო რთული ამოცანებისკენ გადაინაცვლებს, და ასკვნიან, რომ რეგულარული კონტექსტის განულება შესაძლოა სასარგებლო დარჩეს ფრონტირული კვლევითი აგენტებისთვისაც.

წყაროები: The Decoder