PayPal заявляет, что точность её ИИ-ассистента выросла с 43% до 95% без замены модели
PayPal сообщает о росте точности ответов на внутренние вопросы с 43% до 95%, хотя базовую большую языковую модель (LLM) компания не меняла. Она добавила собственный бизнес-контекст и сохранила его отдельно от модели, которая этим контекстом пользуется.
Внутренний ИИ-ассистент финансовой платформы для работы с данными и раньше имел доступ к проверенным высококачественным данным, рассказала Рен Чжан, вице-президент и глобальный руководитель по ИИ-продуктам PayPal, в ходе дискуссии VentureBeat AI Impact Series 8 октября, однако это не означало, что он мог надежно отвечать на бизнес-вопросы.
Ассистенту требовались определения, шаблоны запросов и аналитические процедуры, с помощью которых сотрудники PayPal превращают данные в ответы. После добавления этих знаний, по словам Чжан, точность достигла 95%.
«LLM осталась прежней», — сказала она.
Смысл хранить эти знания отдельно в том, чтобы сохранять их по мере совершенствования моделей, а не выстраивать заново под каждый новый релиз. PayPal нужны более совершенные модели, но компания не хочет привязывать накопленную бизнес-экспертизу к какой-то одной из них, отметила Чжан. Эта задача касается и агентов, которые делают больше, чем просто отвечают на вопросы: PayPal также определяет, когда они обязаны сверяться с доверенными источниками, а когда их действия должен одобрить человек.
Знания, которых не дал доступ к данным
Ассистент предназначен для ответов на бизнес-вопросы, которые обычно адресуются команде data science PayPal. Например, получив вопрос о «новых аккаунтах», агент может правильно извлечь записи об аккаунтах, но применить неверное определение слова «новый». Ответ зависит от бизнес-правил, которые нужно задать явно, а не просто вывести из наличия данных.
PayPal закрыла этот пробел с помощью слоя знаний из нескольких компонентов, рассчитанных на то, чтобы пережить используемые модели. Один из них Чжан назвала «золотым запросом»: это запрос, определяющий, как извлекать данные для конкретной цели. Другой — аналитический сценарий, описывающий, как исследовать вопрос: например, изучить определенные сегменты, продукты или модели поведения, такие как неудачные попытки входа и использование ключей доступа (passkey).
«Главное в том, что, по нашему убеждению, наша интеллектуальная собственность — это именно создание такого слоя знаний», — сказала Чжан.
Сохранить знания, сменить модель
По словам Чжан, она намеренно спроектировала ассистента так, чтобы он не зависел от конкретной модели. «Если модель становится лучше, я просто подключу ее и буду работать, — сказала Чжан. — Мне не нужно менять свои знания».
Чжан также рассказала о тестировании четырех или пяти моделей для отдельного, клиентского коммерческого агента PayPal. Крупные модели демонстрировали сильные возможности, но поначалу задержка ответа агента составляла около 15 секунд.
Переход на модель с 8 млрд параметров значительно сократил задержку, но снизил точность. Команда Чжан дообучила меньшую модель, специализировав ее на коммерции. Точность выросла, но, по ее словам, все равно оказалась недостаточной.
Затем PayPal сделала меньший акцент на масштабном дообучении. Кастомизация может улучшить производительность, но вопрос в том, сколько постоянной работы потребует это улучшение. Дообучение требует специальной экспертизы, а выход новых моделей заставляет повторять процесс снова и снова.
«Сколько моделей вышло за последнее время? Одна лучше другой, — заметила Чжан. — Если обучать слишком часто, это слишком дорого, верно?»
Но это не означает полного отказа от дообучения. Выгоды от кастомизации нужно соотносить с затратами на ее поддержку по мере изменения моделей и нагрузок, пояснила она.
Когда агенту использовать то, что он знает
Отдельное хранение знаний порождает второй вопрос: как агент ими пользуется.
PayPal создает платформу, которая дает агентам доступ к корпоративным знаниям, сохраняя при этом процедуры, проверяя предлагаемые решения по авторитетным источникам и определяя, когда агент может действовать без одобрения человека, рассказала Дипика Кхера, старший директор PayPal по ИИ, на саммите VentureBeat Agentic Infrastructure Stack Summit 28 октября.
Такие механизмы контроля особенно важны при реагировании на инциденты. По словам Кхеры, PayPal построила рабочий процесс из семи агентов, помогающий расследовать оповещения более чем по 33 000 сервисов. Он объединяет информацию из Datadog, ServiceNow и внутренних логов, чтобы отделять значимые сигналы от шума, собирать контекст и анализировать инцидент.
Кхера пояснила, что разделение работы отражает роли агентов, необходимый каждому контекст и инструменты, к которым каждому разрешен доступ. Число агентов зависит от задачи: отдельный процесс проверки безопасности задействует до 18 агентов.
Тем не менее разделение работы не устраняет главный риск: неверный диагноз может привести к неверному исправлению.
«Каждое предлагаемое решение проверяется по источнику истины, — сказала Кхера. — Здесь в игру вступает наша память».
Память объединяет сертифицированные источники данных и стандартные операционные процедуры (SOP), а политики и оценки рисков обеспечивают дополнительные проверки. Многие решения по-прежнему требуют проверки человеком, отметила Кхера. PayPal подходит к автономности осторожно.
Модель может извлечь релевантную информацию и при этом упустить процедуру, которая делает ее применимой на практике. Кхера, например, рассказала о внутреннем инструменте для ответов на вопросы по HR, который давал сбои, поскольку процедуры были представлены в форме, не позволявшей отвечать точно. Это побудило команду изменить способ хранения инструкций: упорядоченные шаги теперь хранятся вместе, а не разбиваются на отдельные фрагменты.
PayPal также обнаружила, что обращение к памяти не всегда можно оставлять на усмотрение агента. Кхера рассказала о балансе между интеграциями через Model Context Protocol (MCP) и прямыми вызовами API. Для некоторых взаимодействий с инструментами PayPal использует MCP, когда агенту нужно рассуждать о том, какой инструмент выбрать. Но в агентном процессе разработки ПО команде нужно было гарантировать, что память будет задействована на определенном шаге, а не оставлять этот выбор агенту.
«Для этого процесса нам пришлось принудительно указать: „Вот здесь я хочу использовать память“», — сказала она.
PayPal также экспериментирует с тем, как память меняется по мере работы агентов. Эпизодическая память фиксирует сессии и результаты pull request (PR), а ночной процесс дистилляции анализирует опыт разных пользователей, чтобы выявить уроки, которые можно сохранить в памяти для будущих взаимодействий. Цель — превратить опыт в многократно используемые рекомендации, чтобы последующая работа опиралась на то, что происходило раньше.
Переносимые знания все равно требуют постоянного тестирования
Даже при наличии бизнес-знаний и механизмов контроля рабочих процессов условия тестирования могут не соответствовать продакшену, отметила Чжан. Оценка может показывать высокие результаты на ожидаемых вопросах, упуская те вопросы, которые реальные пользователи задают чаще всего.
Система может правильно отвечать почти на все тестовые вопросы, но если пользователи в продакшене непропорционально часто задают именно те вопросы, на которых она ошибается, оценка может искажать их реальный опыт. «Ваша модель все та же, — сказала Чжан. — Ваш процесс тот же, но распределение совершенно другое».
Тот же разрыв наблюдается во многих компаниях. В октябрьском опросе VB Pulse Agentic Reliability and Evals 42% респондентов, чьи организации проводят оценку перед развертыванием, сообщили, что за предшествующий год ИИ-агент или функция на базе LLM проходили внутренние тесты, но затем давали сбой. Из сообщивших о сбоях 49% заявили, что их самый серьезный инцидент затронул клиентов.
Впрочем, мониторинг в продакшене не обязательно устраняет этот разрыв. В октябрьском опросе 39% респондентов не назвали автоматические проверки или оповещения мониторинга среди способов, которыми их организации первыми обнаружили бы неверные или некачественные результаты ИИ, — вместо этого они полагаются на то, что ошибку заметят люди.
Чтобы лучше учитывать различия между тестированием и продакшеном, PayPal проводит более широкие офлайн-симуляции, генерирует синтетические вопросы и выполняет однократное и многошаговое тестирование диалогов. Важна также оценка с помощью моделей наряду с оценкой людьми, отметила Чжан: после развертывания комментарии сотрудников помогают выявлять сбои.
Чжан также сообщила, что за 10 недель внутренний ассистент обработал более 1 000 вопросов и сэкономил, по оценкам, 1 600 часов. Но она предостерегла от предположения, что одно лишь количество вопросов доказывает рост продуктивности.
Выявлять сбои сложнее в потребительских системах, где пользователи могут не объяснять, что пошло не так. Повторные запросы и прерванные сессии могут служить сигналами для дальнейшего анализа, хотя сами по себе такие действия не доказывают, что ответ был неверным.
