LexisNexis совершенствует ИИ с помощью агентных графов

Как правило, при создании, обучении и развертывании ИИ компании отдают приоритет точности. И это, без сомнения, важно; но в таких сложнейших отраслях с множеством нюансов, как юриспруденция, одной лишь точности недостаточно. Более высокие ставки означают более высокие стандарты: результаты работы моделей должны оцениваться на предмет релевантности, авторитетности, точности цитирования и уровня галлюцинаций.

Чтобы справиться с этой колоссальной задачей, компания LexisNexis вышла за рамки стандартной генерации с дополненной выборкой (RAG), внедрив граф-RAG и агентные графы; она также создала ИИ-агенты «планировщика» и «рефлексии», которые анализируют запросы и критикуют собственные результаты.

«Такого понятия, как „идеальный ИИ“, не существует, поскольку вы никогда не получите 100% точности или 100% релевантности, особенно в таких сложных сферах с высокими ставками, как право», — признает Мин Чен, старший вице-президент и директор по искусственному интеллекту LexisNexis, в новом подкасте VentureBeat «Beyond the Pilot».

Цель состоит в том, чтобы максимально управлять этой неопределенностью и преобразовывать ее в стабильную ценность для клиентов. «В конечном счете, для нас важнее всего качество результатов работы ИИ, а это непрерывный путь экспериментов, итераций и совершенствования», — сказала Чен.

Получение «полных» ответов на многогранные вопросы

Для оценки моделей и их результатов команда Чен установила более полудюжины «субметрик» для измерения «полезности» на основе нескольких факторов — авторитетности, точности цитирования, уровня галлюцинаций, — а также «полноты». Эта конкретная метрика предназначена для оценки того, насколько ответ генеративного ИИ полностью охватывает все аспекты юридических вопросов пользователей.

«Так что дело не только в релевантности», — отметила Чен. — «Полнота напрямую говорит о юридической надежности».

Например, пользователь может задать вопрос, требующий ответа, который охватывает пять различных юридических аспектов. Генеративный ИИ может предоставить ответ, в котором точно рассмотрены три из них. Но при всей своей релевантности этот частичный ответ является неполным и с точки зрения пользователя — недостаточным. Это может ввести в заблуждение и создать реальные риски.

Или, например, некоторые цитаты могут быть семантически релевантны вопросу пользователя, но они могут указывать на аргументы или прецеденты, которые в конечном итоге были отменены судом. «Наши юристы сочтут их не подлежащими цитированию, — сказала Чен. — Если они не подлежат цитированию, они бесполезны».

Выход за рамки стандартного RAG

Компания LexisNexis выпустила свой флагманский продукт на базе генеративного ИИ — Lexis+ AI (инструмент юридического ИИ для составления документов, исследований и анализа) в 2023 году. Он был создан на основе стандартной структуры RAG и гибридного векторного поиска, который обосновывает ответы на основе надежной и авторитетной базы знаний LexisNexis.

Затем в 2024 году компания выпустила своего персонального юридического помощника Protégé. Этот агент включает в себя слой графа знаний поверх векторного поиска, чтобы преодолеть «ключевое ограничение» чисто семантического поиска. Хотя семантический поиск «очень хорош» в извлечении контекстно релевантного контента, он «не всегда гарантирует авторитетные ответы», пояснила Чен.

Первоначальный семантический поиск возвращает то, что он считает релевантным контентом; затем команда Чен прогоняет эти результаты через граф «правовых позиций», чтобы дополнительно отфильтровать наиболее авторитетные документы.

Идя дальше, команда Чен разрабатывает агентные графы и ускоряет автоматизацию, чтобы агенты могли планировать и выполнять сложные многошаговые задачи.

Например, автономные «агенты-планировщики» для исследовательских вопросов и ответов разбивают вопросы пользователей на несколько подвопросов. Пользователи-люди могут просматривать и редактировать их для дальнейшего уточнения и персонализации окончательных ответов. Тем временем «агент рефлексии» занимается составлением транзакционных документов. Он может «автоматически и динамически» критиковать свой первоначальный проект, а затем внедрять эту обратную связь и дорабатывать документ в реальном времени.

Тем не менее, Чен отметила, что все это делается вовсе не для того, чтобы исключить человека из процесса; эксперты-люди и агенты ИИ могут «учиться, рассуждать и расти вместе». «Я вижу будущее как более глубокое сотрудничество между людьми и ИИ».

Посмотрите подкаст, чтобы узнать больше о следующем:

• Как приобретение компании Henchman помогло подкрепить модели ИИ проприетарными данными LexisNexis и данными клиентов;

• В чем разница между детерминированной и недетерминированной оценкой;

• Почему предприятиям следует определять ключевые показатели эффективности (KPI) и критерии успеха до того, как бросаться в эксперименты;

• Важность сосредоточения внимания на «треугольнике» ключевых компонентов: стоимость, скорость и качество.

Вы также можете послушать подкаст Beyond the Pilot и подписаться на него на Spotify, Apple или на любой другой платформе, где вы слушаете подкасты.