Новый фреймворк позволяет ИИ-агентам переписывать собственные навыки без дообучения базовой модели

Одной из главных проблем при развертывании автономных агентов является создание систем, способных адаптироваться к изменениям в окружающей среде без необходимости дообучения базовых больших языковых моделей (LLM).

Memento-Skills, новый фреймворк, разработанный исследователями из нескольких университетов, решает эту проблему, предоставляя агентам возможность самостоятельно развивать свои навыки. «Это дополняет существующие на рынке предложения, такие как OpenClaw и Claude Code, возможностью непрерывного обучения», — рассказал VentureBeat Цзюнь Ван (Jun Wang), соавтор научной работы.

Memento-Skills действует как развивающаяся внешняя память, позволяя системе постепенно улучшать свои возможности без изменения базовой модели. Фреймворк предоставляет набор навыков, которые могут обновляться и расширяться по мере того, как агент получает обратную связь от окружающей среды.

Для корпоративных команд, использующих агентов в рабочих средах, это имеет принципиальное значение. Альтернативный подход — точная настройка весов модели или ручное создание навыков — сопряжен со значительными операционными затратами и высокими требованиями к данным. Memento-Skills позволяет избежать и того, и другого.

Проблемы создания саморазвивающихся агентов

Саморазвивающиеся агенты крайне важны, поскольку они преодолевают ограничения замороженных языковых моделей. После развертывания модели ее параметры остаются фиксированными, что ограничивает ее знаниями, заложенными при обучении, и тем объемом информации, который помещается в ее контекстное окно.

Предоставление модели внешней структуры памяти позволяет ей совершенствоваться без дорогостоящего и медленного процесса дообучения. Тем не менее, существующие подходы к адаптации агентов в основном полагаются на навыки, созданные вручную для обработки новых задач. Хотя существуют некоторые методы автоматического обучения навыкам, они в основном сводятся к текстовым руководствам, эквивалентным оптимизации промптов. Другие подходы просто фиксируют траектории выполнения отдельных задач, которые не переносятся на другие задачи.

Кроме того, когда такие агенты пытаются извлечь релевантные знания для новой задачи, они обычно полагаются на маршрутизаторы семантического сходства, такие как стандартные плотные эмбеддинги; при этом высокое семантическое перекрытие не гарантирует поведенческой полезности. Агент, использующий стандартный RAG (поисково-дополненную генерацию), может извлечь скрипт «сброса пароля» для решения запроса об «обработке возврата средств» просто потому, что документы содержат общую корпоративную терминологию.

«Большинство систем RAG опираются на поиск на основе сходства. Однако, когда навыки представлены в виде исполняемых артефактов, таких как документы Markdown или фрагменты кода, одно лишь сходство может не позволить выбрать наиболее эффективный навык», — отметил Ван.

Как Memento-Skills хранит и обновляет навыки

Чтобы преодолеть ограничения существующих агентских систем, исследователи создали Memento-Skills. В научной работе эта система описывается как «универсальная, способная к непрерывному обучению система LLM-агентов, которая функционирует как агент, проектирующий агентов». Вместо ведения пассивного журнала прошлых разговоров Memento-Skills создает набор навыков, которые служат постоянной, развивающейся внешней памятью.

Эти навыки хранятся в виде структурированных файлов Markdown и служат развивающейся базой знаний агента. Каждый многократно используемый артефакт навыка состоит из трех основных элементов. Он содержит декларативные спецификации, которые определяют, что представляет собой навык и как его следует использовать. Он включает в себя специализированные инструкции и подсказки, направляющие рассуждения языковой модели. И в нем находится исполняемый код и вспомогательные скрипты, которые агент запускает для фактического решения задачи.

Memento-Skills реализует непрерывное обучение с помощью механизма «рефлексивного обучения на основе чтения и записи» (Read-Write Reflective Learning), который рассматривает обновление памяти как итерацию активной политики, а не как пассивную регистрацию данных. Сталкиваясь с новой задачей, агент обращается к специализированному маршрутизатору навыков, чтобы извлечь наиболее релевантный с точки зрения поведения навык — а не просто наиболее семантически похожий — и выполняет его.

После того как агент выполняет навык и получает обратную связь, система осмысляет результат, чтобы замкнуть цикл обучения. Вместо того чтобы просто добавлять лог произошедшего, система активно изменяет свою память. Если выполнение завершается неудачно, оркестратор оценивает трассировку и перезаписывает артефакты навыка. Это означает, что он напрямую обновляет код или промпты для устранения конкретной ошибки. В случае необходимости система создает совершенно новый навык.

Memento-Skills также обновляет маршрутизатор навыков с помощью одношагового процесса автономного обучения с подкреплением, который учится на основе обратной связи от выполнения, а не просто текстового перекрытия. «Истинная ценность навыка заключается в том, как он вносит вклад в общий агентский рабочий процесс и последующее выполнение, — сказал Ван. — Поэтому обучение с подкреплением предоставляет более подходящую основу, поскольку оно позволяет агенту оценивать и выбирать навыки на основе долгосрочной полезности».

Для предотвращения регрессии в рабочей среде автоматические мутации навыков защищены шлюзом автоматических модульных тестов. Система генерирует синтетический тестовый пример, выполняет его с помощью обновленного навыка и проверяет результаты перед сохранением изменений в глобальную библиотеку.

Пусть за счет постоянного переписывания и доработки собственных исполняемых инструментов Memento-Skills позволяет замороженной языковой модели формировать надежную «мышечную память» и постепенно расширять свои возможности от начала до конца.

Испытание саморазвивающегося агента

Исследователи оценили работу Memento-Skills на двух строгих бенчмарках. Первым стал General AI Assistants (GAIA), требующий сложных многоэтапных рассуждений, работы с мультимодальными данными, веб-серфинга и использования инструментов. Вторым стал бенчмарк Humanity’s Last Exam (HLE) — экспертный тест, охватывающий восемь различных академических дисциплин, таких как математика и биология. Вся система работала на базе Gemini-3.1-Flash в качестве базовой замороженной языковой модели.

Система сравнивалась с базовым вариантом чтения-записи (Read-Write), который извлекает навыки и собирает обратную связь, но не имеет функций саморазвития. Исследователи также протестировали свой собственный маршрутизатор навыков в сравнении со стандартными базовыми методами семантического поиска, включая BM25 и эмбеддинги Qwen3.

Результаты доказали, что активная саморазвивающаяся память значительно превосходит статические библиотеки навыков. На разнообразном бенчмарке GAIA фреймворк Memento-Skills повысил точность на тестовом наборе на 13,7 процентных пункта по сравнению со статической базовой линией, достигнув 66,0% против 52,3%. На бенчмарке HLE, где структура предметной области позволила осуществлять масштабное повторное использование навыков для разных задач, система более чем вдвое превзошла показатели базовой линии, подскочив с 17,9% до 38,7%.

Более того, специализированный маршрутизатор навыков Memento-Skills позволяет избежать классической ловушки поиска, когда нерелевантный навык выбирается просто из-за семантического сходства. Эксперименты показывают, что Memento-Skills повышает процент успешного выполнения задач до 80% по сравнению с 50% у стандартного поиска BM25.

Исследователи отметили, что Memento-Skills управляет этой производительностью за счет высокоорганизованного, структурированного роста навыков. Оба эксперимента начинались всего с пяти базовых исходных навыков (seed skills), таких как базовый веб-поиск и операции с терминалом. На бенчмарке GAIA агент автономно расширил эту группу до компактной библиотеки из 41 навыка для решения разнообразных задач. На экспертном бенчмарке HLE система динамически масштабировала свою библиотеку до 235 различных навыков.

Поиск оптимального применения в корпоративном секторе

Исследователи опубликовали исходный код Memento-Skills на GitHub, и он доступен для использования.

Для корпоративных архитекторов эффективность этой системы зависит от соответствия предметной области. Вместо того чтобы просто смотреть на баллы в бенчмарках, основной бизнес-компромисс заключается в том, решают ли ваши агенты изолированные задачи или структурированные рабочие процессы.

«Перенос навыков зависит от степени сходства между задачами, — сказал Ван. — Во-первых, когда задачи изолированы или слабо связаны, агент не может полагаться на предшествующий опыт и должен учиться путем взаимодействия». В таких разрозненных средах межзадачный перенос ограничен. «Во-вторых, когда задачи имеют существенную общую структуру, ранее приобретенные навыки могут быть использованы повторно напрямую. Здесь обучение становится более эффективным, поскольку знания переносятся между задачами, позволяя агенту хорошо справляться с новыми проблемами при минимальном дополнительном взаимодействии или вовсе без него».

Учитывая, что для консолидации знаний системе требуются повторяющиеся шаблоны задач, корпоративным лидерам необходимо точно знать, где внедрять этот подход уже сегодня, а где пока повременить.

«Рабочие процессы, вероятнее всего, являются наиболее подходящей средой для такого подхода, поскольку они обеспечивают структурированную среду, в которой навыки могут объединяться, оцениваться и совершенствоваться», — отметил Ван.

Тем не менее, он предостерег от чрезмерного внедрения в областях, пока еще не приспособленных для этого фреймворка. «Физические агенты остаются в значительной степени неизученными в этом контексте и требуют дальнейших исследований. Кроме того, задачи с более длинным горизонтом планирования могут потребовать более продвинутых подходов, таких как многоагентные системы LLM, для обеспечения координации, планирования и устойчивого выполнения в рамках расширенных последовательностей решений».

Поскольку индустрия движется к агентам, которые автономно переписывают собственный рабочий код, вопросы управления и безопасности остаются первостепенными. Хотя Memento-Skills использует базовые средства защиты, такие как шлюзы автоматических модульных тестов, для корпоративного внедрения, вероятно, потребуется более широкая экосистема.

«Для обеспечения надежного самосовершенствования нам нужна хорошо спроектированная система оценки (или судейская система), которая может оценивать производительность и давать последовательные рекомендации, — резюмировал Ван. — Вместо того чтобы разрешать неконтролируемую самомодификацию, этот процесс должен быть структурирован как управляемая форма саморазвития, где обратная связь направляет агента к лучшим проектным решениям».