Anthropic описує пам'ять агентів Claude, важливість подій і dreaming

Anthropic описала пам'ять агентів Claude: нотатки, оцінка важливості і dreaming працюють разом між сесіями. Вона охоплює перевірки на завданнях з базами даних, Pokémon Red і документних вікі.

Пам'ять і dreaming

Anthropic визначає пам'ять агента як знання Claude з досвіду, зокрема взаємодій із користувачами та завдань, що зберігаються між сесіями як контекст для пізнішого читання. Вона не включає зміни ваг моделі, навчання в контексті в межах однієї розмови та компактизацію. Як у людини: гіпокамп швидко фіксує досвід, а консолідація в довготривалі знання відбувається під час сну та тихого відпочинку через повторне відтворення. Для агентів роботу фіксують журнали та транскрипти; дослідники Letta і UC Berkeley запропонували sleep-time compute для реорганізації контексту в простій. Anthropic каже, що розмірковування над журналами, часто зване dreaming, може упорядковувати пам'ять.

Важливість подій і цикли навчання

Claude може позначати важливі події в журналі сесії або записувати їх у папку нотаток. Пам'ять також може передбачати майбутні потреби, як-от перевірений факт чи правило. У завданні Continual Learning Bench 1.0 моделі відрізнялися: Sonnet 4.6 генерував неперевірені теорії; Opus 4.7 консолідував нотатки і позначав перевірені факти; Sonnet 5 позначав підтверджені відповіді та виправлення; Opus 5 замкнув цикл навчання правилами, попередніми відповідями та попередженнями про пастки. Opus 5.5 і Sonnet 5.5 також замкнули цикл і набрали приблизно стільки ж, як Opus 5 із пам'яттю, хоча їхній базовий результат без пам'яті був трохи вищим.

У Pokémon Red Sonnet 3.7 записав 413 файлів пам'яті у 225 папках і здобув один значок; Fable 5 записав дев'ять файлів у двох папках плюс global.md і здобув чотири значки. Невибіркові записи Sonnet 3.7 застаріли і витрачали час; Fable 5 зберігав стратегію, плани і перевірені правила, а global.md діяв як панель керування. Opus 5.5 використовував невелику папку нотаток для поточних цілей і наступних кроків, переписував їх під час гри і пройшов гру.

Виправлення і побудова пам'яті

Dreaming може перевіряти нотатки за оригінальними транскриптами. У Pokémon неправильна нотатка казала, що PokéCenter на східному боці Mt. Moon; з нею Claude тричі повертався на попередній маршрут і не дістався Cerulean City, а після виправлення dreaming дістався. Dreaming також може будувати вікі, набори пов'язаних сторінок. За 128 сесій приблизно на 350 000 файлах Stainless і приблизно 420M токенів результат за 25 запитань зріс з 13% до 48% оцінених критеріїв. З пошуком і вікі сукупні оцінки зросли з 54% до 61% у міру зростання вікі проти 53% лише для пошуку, а поєднання заощадило приблизно 20 000 токенів на запитання.

У запитаннях про злиття Claude набрав 87% при зверненні до вікі проти 73% лише з пошуком, особливо коли інформація охоплювала кілька документів. Dreaming також може закривати прогалини: в одному завданні він знайшов дев'ять посилань на відсутню сторінку і перенаправив їх, а також додав три нові сторінки, зокрема індекс.

Просування і пам'ять, орієнтована на мету

Dreaming може просувати нотатки на вершину ієрархії пам'яті, де harness завантажує їх у кожну сесію. Цей шар має залишатися невеликим, бо впроваджені записи використовують токени, а неправильна нотатка може поширюватися; Claude Code завантажує лише перші 200 рядків або 25 KB MEMORY.md як індекс. Dreaming також може формувати пам'ять під мету. У завданні з контрактами спільна таблиця втрачала факти, бо агенти перезаписували один одного; після переглянутих інструкцій, що дали кожному контракту власну сторінку зі слово-в-слово умовами, оцінені критерії короткого викладу зросли з 72% до 100%.

Джерела: anthropic.com