Корпоративные ИИ-агенты терпят неудачу, потому что они забывают

Архитектуры RAG хороши в одном: находить семантически релевантные документы. Но на этом их возможности и заканчиваются.

Фреймворк, называемый графом контекста принятия решений (decision context graph), устраняет этот пробел, наделяя агентов структурированной памятью, рассуждениями с учетом времени и явной логикой принятия решений. Компания Rippletide, стартап из экосистемы Neo4j, создала такой инструмент. Его ключевая особенность — агенты, которые не регрессируют, способны фиксировать проверенные последовательности действий и наращивать их со временем.

«Главная цель, к которой вы стремитесь, — это отсутствие регресса: как убедиться, что, когда агент генерирует что-то новое, вы можете опираться на предыдущие открытия?» — говорит Ян Билиен (Yann Bilien), сооснователь и главный научный сотрудник Rippletide.

Почему RAG заходит недостаточно далеко

Корпоративный контекст рассредоточен по инструментам ERP, логам, базам данных, векторным хранилищам и регламентирующим документам. Инструменты генеративного ИИ могут извлекать информацию изо всех этих источников — с помощью поиска по ключевым словам, SQL-запросов или полноценных пайплайнов RAG, — но у поиска есть свой предел.

В частности, извлеченные данные могут оказаться нерелевантными для текущего решения (что вызывает галлюцинации); кроме того, даже если агенты извлекают правильные данные, им часто не хватает руководства для принятия решений, подкрепленных веским обоснованием.

Иными словами, RAG извлекает документы, а не контекст принятия решений. «Все начинают с RAG: находят релевантные документы, пихают их в промпт, а дальше пусть модель сама во всем разбирается», — отмечает Уятт Майхэм (Wyatt Mayham) из Northwest AI Consulting.

Хотя для чат-ботов это работает нормально, метод «тут же ломается», когда дело доходит до агентов, которым необходимо принимать решения и совершать действия, подчеркивает он. «Главная трудность, с которой борются разработчики, — это разрыв между поиском данных и их применимостью».

Найденный документ не подсказывает агенту, применим ли он по-прежнему, не устарел ли он или нет ли конфликтующего правила, имеющего более высокий приоритет, говорит Майхэм. «Агентам нужен контекст решений, а не просто информация».

В строительстве (реальном мире) это может означать понимание того, что исключение по цене истекло, что правило безопасности действует только в определенных юрисдикциях или что стандартная рабочая процедура была обновлена месяц назад. «Упустите хоть что-то из этого, и агент уверенно сделает все неправильно», — отмечает Майхэм.

Без структурированного контекста решений агенты объединяют несовместимые правила, выдумывают ограничения для заполнения пробелов и полагаются на то, что Билиен называет «вероятностными догадками на основе неограниченных данных». Ошибки трудно воспроизвести, потому что разработчики не могут проследить, почему агент сделал тот или иной выбор.

Проблема наслоения ошибок также вполне реальна, говорит Майхэм: небольшой процент ошибок на каждом шаге становится «катастрофическим» в рамках многоэтапного рабочего процесса. «Это главная причина, почему большинство корпоративных агентов никогда не выходят из стадии пилотного проекта».

Как графы контекста решений находят релевантный ответ

Граф контекста решений решает эту проблему путем кодирования структурированной карты того, что применимо, каковы правила и когда они действуют.

Фреймворк оптимизирован под один вопрос: «Учитывая текущую ситуацию, какой именно контекст применим прямо сейчас?» Время рассматривается как первостепенное измерение; каждое правило, решение и исключение привязано к периоду своей валидности.

«Цель состоит в том, чтобы явно учесть отсутствующие, несогласованные или противоречивые данные при построении графа во избежание вероятностных [ошибок] в процессе работы агента», — поясняет Билиен.

Система построена на трех принципах:

• Применимость: Логика кодируется явно, чтобы агент знал, какие правила следует помнить и применять в конкретной ситуации. Контекст возвращается только тогда, когда он актуален для текущих условий.

• Память с учетом времени: Каждое правило, решение и исключение привязано ко времени. Это позволяет агентам рассуждать в категориях «что было верно тогда и что верно сейчас», а затем воспроизводить или объяснять свои решения.

• Пути принятия решений: Система может объяснить, как она пришла из точки А в точку Б, и обосновать свою логику («почему» один кусок контекста был включен, а другой — нет). Агентам предоставляются примеры «путей принятия решений» по аналогичным делам в прошлом.

На этапе настройки неструктурированные данные загружаются и структурируются в онтологию: какие сущности существуют, какие правила действуют, что считается исключением. Нейросимволический ИИ отвечает за распознавание образов и кодирует формальную, машиночитаемую логику. Со временем система уточняет свою базу знаний по мере принятия новых решений.

«Нейросимволический подход объединяет две части: нейронную, дающую агентам большую автономность, и символическую, позволяющую сократить объем необходимых данных и обеспечить контроль», — говорит Билиен.

Агент тестируется на этапе сборки (до передачи в продакшен) для проверки его поведения или выявления областей для улучшения. По его словам, это снижает как риски, так и вычислительные потребности при инференсе.

Агенты учатся, а не деградируют

Что касается предотвращения регресса, ключевым моментом является накопление опыта как в плане интеллекта (моделей), так и в плане знаний (разделяемых между агентами), отмечает Билиен. Важно, чтобы агенты могли исследовать среду: когда они не знают, как выполнить задачу, они могут пробовать различные варианты, как правило, в контролируемой среде или симуляции (например, бот техподдержки, перебирающий несколько паттернов ответов).

Затем, «когда решение признается удовлетворительным, граф замораживает эту последовательность действий», — говорит Билиен. Дальнейшие исследования отталкиваются от этой «стабильной базы проверенного поведения», чтобы не допустить перезаписи вновь приобретенными навыками ранее усвоенного правильного поведения.

Прежде чем агент совершит действие или повлияет на клиента, он сверяется с графом: не нарушает ли он правило? не галлюцинирует ли? находится ли в рамках ограничений? способен ли он масштабировать решение на аналогичные случаи?

На макроуровне система оценивает результаты: улучшило ли поведение долгосрочную производительность? распространилось ли оно на аналогичные контексты? сохранило ли предыдущие возможности?

«Этот детерминизм имеет ключевое значение для надежной работы агентов в масштабе», — считает Билиен. Он приводит к более последовательному, предсказуемому и объяснимому поведению, обеспечивая при этом более жесткий контроль и возможности аудита.

«Вы хотите, чтобы ваши агенты могли учиться самостоятельно, когда сталкиваются с чем-то незнакомым, — говорит он. — Вы хотите, чтобы они могли исследовать и находить новые решения».

Выход за рамки «эпизодической» памяти

Хотя изначально команда предполагала повсеместное внедрение обучения с подкреплением (RL), «на практике в корпоративной среде это оказалось очень сложным», — признает Билиен. «Для некоторых конкретных сценариев использования данных мало, а для других они хаотичны».

Обычно использование сырых данных для получения надежных прогнозов было ручной и трудоемкой задачей, но «теперь с появлением агентов мы вступили в новую эру, когда создание онтологий возможно автоматически», — говорит Билиен.

Классические методы контролируемой дообучения (supervised fine-tuning) могут приводить к колебаниям, когда модели забывают последний освоенный навык в процессе изучения следующего. В целом обучение не накапливается, сжатие информации происходит «драматически», а модели совершенствуются «эпизодически», а не непрерывно, из-за чего они постоянно дают сбои при решении новых или невиданных ранее задач.

Как отметил Билиен: «У вас никогда не будет модели, способной к самообучению, если вы каждый раз откатываетесь назад».

В корпоративных сценариях — например, в банках, где ежедневно обрабатываются миллионы транзакций, — критически важен высокий уровень надежности, отмечает он. «Один вопрос я задаю всем клиентам: достаточно ли 95%? Во многих случаях — нет. Вам нужно 99,999%. Ошибка в 1% — это слишком много».

Графы контекста решений могут закрыть этот пробел, утверждает он: когда один и тот же вопрос службы поддержки задается неоднократно, агент будет возвращать «удовлетворительный» ответ предсказуемо и без регресса, сохраняя при этом автономность.

Кодирование применимости и временной валидности в структурированный граф (вместо того чтобы полагаться на способность LLM делать выводы) — это «здравый подход» к реальному ограничению существующих поисковых фреймворков, считает Майхэм. Открытым вопросом остается то, насколько успешно автоматическая генерация онтологий справляется с хаотичными и разнообразными данными, которые реально есть у предприятий. «Это всегда самая сложная часть», — резюмирует он.