ReasoningBank повышает эффективность ИИ-агентов на 8,3%

Исследователи из Иллинойсского университета в Урбане-Шампейне и подразделения Google Cloud AI Research разработали фреймворк, который позволяет агентам на базе больших языковых моделей (LLM) организовывать свой опыт в банк памяти, помогая им со временем эффективнее справляться со сложными задачами.

Этот фреймворк, получивший название ReasoningBank, извлекает «обобщаемые стратегии рассуждений» из успешных и неудачных попыток агента решить поставленные задачи. Затем агент использует эту память в процессе инференса (вывода), чтобы не повторять прошлых ошибок и принимать более взвешенные решения при столкновении с новыми проблемами. Исследователи показывают, что в сочетании с методами масштабирования на этапе вывода, когда агент предпринимает несколько попыток решения задачи, ReasoningBank значительно повышает производительность и эффективность LLM-агентов.

Полученные ими данные демонстрируют, что ReasoningBank стабильно превосходит классические механизмы памяти в бенчмарках для веб-сёрфинга и программной инженерии, предлагая практический путь к созданию более адаптивных и надежных ИИ-агентов для корпоративных приложений.

Проблема памяти LLM-агентов

Поскольку LLM-агенты внедряются в приложения, работающие в течение длительного времени, они сталкиваются с непрерывным потоком задач. Одним из ключевых ограничений текущих LLM-агентов является их неспособность учиться на этом накопленном опыте. Подходя к каждой задаче изолированно, они неизбежно повторяют прошлые ошибки, отбрасывают ценные идеи из смежных проблем и не могут развить навыки, которые со временем сделали бы их более способными.

Решением этого ограничения является наделение агентов определенной формой памяти. Предыдущие попытки наделить агентов памятью были сосредоточены на сохранении прошлых взаимодействий для их повторного использования путем организации информации в различных формах — от простого текста до структурированных графов. Однако эти подходы часто оказываются несовершенными. Во многих из них используются сырые журналы взаимодействия или сохраняются примеры только успешных задач. Это означает, что они не могут извлекать более общие, переносимые паттерны рассуждений и, что крайне важно, не извлекают и не используют ценную информацию из неудач агента. Как отмечают исследователи в своей статье, «существующие конструкции памяти часто ограничиваются пассивным ведением записей, а не предоставляют действенные, обобщаемые рекомендации для будущих решений».

Как работает ReasoningBank

ReasoningBank — это фреймворк памяти, призванный преодолеть эти ограничения. Его главная идея заключается в том, чтобы извлекать полезные стратегии и подсказки для рассуждений из прошлого опыта и превращать их в структурированные элементы памяти, которые можно сохранять и использовать повторно.

По словам Цзюня Яна (Jun Yan), научного сотрудника Google и соавтора статьи, это знаменует собой фундаментальный сдвиг в работе агентов. «Традиционные агенты работают статично: каждая задача обрабатывается изолированно, — пояснил Ян. — ReasoningBank меняет это, превращая любой опыт решения задач (успешный или неудачный) в структурированную и пригодную для повторного использования память рассуждений. В результате агент не начинает каждый раз с нуля при работе с новым клиентом, а вспоминает и адаптирует проверенные стратегии из аналогичных прошлых случаев».

Фреймворк обрабатывает как успешный, так и неудачный опыт, превращая его в набор полезных стратегий и предостерегающих выводов. Агент оценивает успех и неудачу с помощью моделей LLM-в-роли-судьи, что избавляет от необходимости привлекать людей для разметки данных.

Ян приводит практический пример работы этого процесса. Агент, перед которым поставлена задача найти наушники Sony, может потерпеть неудачу, потому что его широкий поисковый запрос выдает более 4000 нерелевантных товаров. «ReasoningBank сначала попытается выяснить, почему этот подход не сработал, — сказал Ян. — Затем он выделит такие стратегии, как „оптимизация поискового запроса“ и „ограничение выдачи товаров с помощью фильтрации по категориям“. Эти стратегии окажутся чрезвычайно полезными для успешного выполнения будущих аналогичных задач».

Процесс работает по замкнутому циклу. Когда агент сталкивается с новой задачей, он использует поиск на основе вложений (эмбеддингов) для извлечения релевантных воспоминаний из ReasoningBank, чтобы направлять свои действия. Эти воспоминания внедряются в системный промпт агента, обеспечивая контекст для принятия решений. После завершения задачи фреймворк создает новые элементы памяти для извлечения выводов из успехов и неудач. Затем эти новые знания анализируются, обобщаются и интегрируются в ReasoningBank, позволяя агенту постоянно развиваться и совершенствовать свои возможности.

Усиление памяти с помощью масштабирования

Исследователи обнаружили мощный синергетический эффект между памятью и масштабированием на этапе вывода. Классическое масштабирование на этапе вывода предполагает генерацию нескольких независимых ответов на один и тот же вопрос, однако исследователи утверждают, что эта «базовая форма неоптимальна, так как она не задействует внутренний контрастный сигнал, возникающий при избыточном исследовании одной и той же проблемы».

Чтобы решить эту проблему, они предлагают масштабирование на этапе вывода с учетом памяти (Memory-aware Test-Time Scaling — MaTTS), которое объединяет масштабирование с ReasoningBank. MaTTS существует в двух формах. При «параллельном масштабировании» система генерирует несколько траекторий для одного и того же запроса, а затем сравнивает и сопоставляет их для выявления устойчивых паттернов расссуждений. При последовательном масштабировании агент итеративно уточняет свои рассуждения в рамках одной попытки, причем промежуточные заметки и исправления также служат ценными сигналами для памяти.

Это создает благоприятный цикл: существующая память в ReasoningBank направляет агента к более перспективным решениям, в то время как разнообразный опыт, полученный в результате масштабирования, позволяет агенту создавать более качественные воспоминания для хранения в ReasoningBank.

«Этот цикл положительной обратной связи позиционирует масштабирование опыта на основе памяти как новое измерение масштабирования для агентов», — пишут исследователи.

ReasoningBank в действии

Исследователи протестировали свой фреймворк на бенчмарках WebArena (веб-сёрфинг) и SWE-Bench-Verified (программная инженерия), используя такие модели, как Gemini 2.5 Pro от Google и Claude 3.7 Sonnet от Anthropic. Они сравнили ReasoningBank с базовыми решениями, включая агентов без памяти и агентов, использующих фреймворки памяти на основе траекторий или рабочих процессов.

Результаты показывают, что ReasoningBank стабильно превосходит эти базовые показатели на всех наборах данных и для всех базовых LLM. В WebArena он повысил общий показатель успешности на величину до 8,3 процентных пункта по сравнению с агентом без памяти. Он также продемонстрировал лучшую способность к обобщению на более сложных междисциплинарных задачах, одновременно сократив количество шагов взаимодействия, необходимых для их выполнения. В сочетании с MaTTS как параллельное, так и последовательное масштабирование дополнительно повысили производительность, неизменно превосходя стандартное масштабирование на этапе вывода.

Этот прирост эффективности оказывает прямое влияние на операционные расходы. Ян указывает на случай, когда агент без памяти потратил восемь шагов методом проб и ошибок только на то, чтобы найти правильный фильтр товаров на веб-сайте. «Эти издержки на метод проб и ошибок можно было бы избежать, задействовав релевантные инсайты из ReasoningBank», — отметил он. «В данном случае мы сокращаем операционные расходы почти в два раза», что также улучшает пользовательский опыт за счет более быстрого решения проблем.

Для предприятий ReasoningBank может помочь в разработке экономически эффективных агентов, способных учиться на опыте и со временем адаптироваться в рамках сложных рабочих процессов и таких областей, как разработка программного обеспечения, поддержка клиентов и анализ данных. Как заключает статья, «наши результаты указывают на практический путь к созданию адаптивных агентов с непрерывным обучением».

Ян подтвердил, что полученные ими данные указывают на будущее истинно композиционного интеллекта. Например, агент для написания кода может изучать дискретные навыки вроде интеграции API и управления базами данных на основе отдельных задач. «Со временем эти модульные навыки… превращаются в строительные блоки, которые агент может гибко комбинировать для решения более сложных задач», — сказал он, намекая на будущее, в котором агенты смогут автономно объединять свои знания для управления целыми рабочими процессами при минимальном контроле со стороны человека.