Anthropic-მა დაწვრილებით აღწერა Claude-ის აგენტის მეხსიერება, მნიშვნელოვნების შეფასება და dreaming

Anthropic-მა გამოაქვეყნა თავისი მოსაზრებები Claude-ის აგენტის მეხსიერებაზე და აღწერა, როგორ მუშაობენ ერთად მეხსიერების ჩანაწერები, მნიშვნელოვნების შეფასება და dreaming სესიებს შორის. პოსტი მოიცავს შეფასებებს მონაცემთა ბაზის ამოცანებზე, Pokémon Red-ზე და დოკუმენტების ვიკებზე.

მეხსიერება და dreaming

Anthropic-ის განმარტებით, აგენტის მეხსიერებაა ის ცოდნა, რომელსაც Claude გამოცდილებიდან იძენს, მათ შორის მომხმარებლებთან ურთიერთობისა და დაკისრებული ამოცანების შედეგად, და რომელიც სესიებს შორის რჩება კონტექსტის სახით, რათა მოგვიანებით წაიკითხოს. განმარტება არ მოიცავს მოდელის წონების ცვლილებებს, ერთ საუბარში კონტექსტურ სწავლას და კომპაქციას. კომპანია ამას ადამიანის მეხსიერებას ადარებს: ჰიპოკამპუსი გამოცდილებას სწრაფად იმახსოვრებს, ხოლო გრძელვადიან ცოდნაში მისი დიდი ნაწილის კონსოლიდაცია ძილისა და მშვიდი დასვენების დროს ხდება, გამეორების გზით. აგენტებში ნამუშევარს ლოგები და ჩანაწერები აფიქსირებს, ხოლო Letta-სა და UC Berkeley-ის მკვლევარებმა შემოგვთავაზეს sleep-time compute, რომელიც ურთიერთობებს შორის უქმ დროს იყენებს კონტექსტის რეორგანიზებისთვის. Anthropic-ის თქმით, იგივე იდეა აგენტებს მეხსიერების მოწესრიგებაში ეხმარება ლოგებზე რეფლექსიის გზით, რასაც ხშირად dreaming-ს უწოდებენ.

მნიშვნელოვნება და სწავლის ციკლები

Claude-ს შეუძლია სესიის ლოგში მნიშვნელოვანი მოვლენები მოხდომისთანავე მონიშნოს ან მეხსიერების საცავში ჩაწეროს, მაგალითად მეხსიერების ჩანაწერების საქაღალდეში. მეხსიერებას ასევე შეუძლია მომავალი საჭიროებების პროგნოზირება, მაგალითად დადასტურებული ფაქტის ან წესის სახით. Continual Learning Bench 1.0-ის მონაცემთა ბაზის ამოცანაში მოდელები განსხვავებულად მოიქცნენ: Sonnet 4.6 ქმნიდა შეუმოწმებელ თეორიებს, Opus 4.7 აჯგუფებდა ჩანაწერებს და ნიშნავდა შემოწმებულ ფაქტებს, Sonnet 5 აღნიშნავდა დადასტურებულ პასუხებსა და შესწორებებს, ხოლო Opus 5-მა სწავლის ციკლი წესებით, ადრინდელი პასუხებითა და ხაფანგების შესახებ გაფრთხილებებით დახურა. Opus 5.5-მაც და Sonnet 5.5-მაც ციკლი დახურეს და დაახლოებით იგივე შედეგი აჩვენეს, რაც Opus 5-მა მეხსიერებით, თუმცა მათი საწყისი მაჩვენებელი მეხსიერების გარეშე ოდნავ მაღალი იყო.

Pokémon Red-ში Sonnet 3.7-მა 225 საქაღალდეში 413 მეხსიერების ფაილი შექმნა და ერთი ნიშანი მოიპოვა, ხოლო Fable 5-მა ორ საქაღალდეში ცხრა ფაილი და global.md დაწერა და ოთხი ნიშანი მოიპოვა. Sonnet 3.7-ის გაურჩეველი ჩანაწერები სწრაფად ძველდებოდა, რის გამოც Claude დროს კარგავდა მათ გადარჩევაზე; Fable 5 ინახავდა სტრატეგიას, გეგმებსა და შემოწმებულ წესებს, ხოლო global.md საინფორმაციო დაფის როლს ასრულებდა. Opus 5.5 იყენებდა ჩანაწერების პატარა საქაღალდეს, სადაც თვალს ადევნებდა მიმდინარე მიზნებსა და შემდეგ ნაბიჯებს, თამაშის დროს გადაწერდა მათ და თამაში მოიგო.

მეხსიერების გასწორება და აგება

dreaming-ს შეუძლია საკუთარი ჩანაწერები ორიგინალურ ტრანსკრიპტებს შეადაროს. Pokémon-ში ერთი არასწორი ჩანაწერი ამბობდა, რომ PokéCenter მთვარის მთის აღმოსავლეთ მხარეს იყო; გაუსწორებელი ჩანაწერით Claude სამჯერ დაბრუნდა ადრინდელ მარშრუტზე და Cerulean City-მდე ვერასოდეს მიაღწია, ხოლო dreaming-მა ჩანაწერი შეასწორა და Claude-მა Cerulean City-ს მიაღწია. dreaming-ს ასევე შეუძლია ვიკების, ანუ დაკავშირებული გვერდების კრებულების, აგება. დაახლოებით 350 000 Stainless ფაილზე და დაახლოებით 420 მლნ ტოკენზე 128 სესიის განმავლობაში 25 კითხვაზე შესრულება შეფასების კრიტერიუმების 13%-დან 48%-მდე გაიზარდა. ძიებისა და ვიკის ერთად გამოყენებისას ჯამური ქულები, ვიკის ზრდასთან ერთად, 54%-დან 61%-მდე გაიზარდა, მაშინ როცა მხოლოდ ძიება 53%-ს იძლეოდა; კომბინაციამ კითხვაზე დაახლოებით 20 000 ტოკენი დაზოგა.

შერწყმის შესახებ კითხვებზე Claude-მა ვიკით სარგებლობისას 87% დააფიქსირა, მხოლოდ ძიებით კი 73%, განსაკუთრებით მაშინ, როცა ინფორმაცია რამდენიმე დოკუმენტს მოიცავდა. dreaming-ს შეუძლია ხარვეზების აღმოფხვრაც: ერთ ამოცანაში მან არარსებულ გვერდზე მიმავალი ცხრა ბმული იპოვა და არსებულ გვერდზე გადაამისამართა, ასევე სამი ახალი გვერდი, მათ შორის ინდექსი, დაამატა.

წინ წამოწევა და მიზანზე ორიენტირებული მეხსიერება

dreaming-ს შეუძლია ჩანაწერები მეხსიერების იერარქიის ზედა დონეზე აიყვანოს, საიდანაც harness-ს შეუძლია ყველა სესიაში ჩატვირთოს ისინი. ეს ინექცირებული ფენა მცირე უნდა დარჩეს, რადგან ინექცირებული მეხსიერება ტოკენებს ხარჯავს და არასწორი ჩანაწერი შეიძლება გავრცელდეს; Claude Code MEMORY.md-დან მხოლოდ პირველ 200 სტრიქონს ან 25 KB-ს ტვირთავს როგორც ინდექსს. dreaming-ს ასევე შეუძლია მეხსიერების მიზნისკენ მორგება. კონტრაქტების ამოცანაში საერთო ცხრილი ფაქტებს კარგავდა, რადგან აგენტები ერთმანეთის ჩანაწერებს გადაფარავდნენ; მას შემდეგ, რაც გადამუშავებულმა ინსტრუქციებმა თითოეულ კონტრაქტს საკუთარი გვერდი და სიტყვასიტყვითი პირობები მისცა, შეფასებული კრიტერიუმები 72%-დან 100%-მდე გაიზარდა.

წყაროები: anthropic.com