Когда T-Mobile дала своему ИИ больше материалов для изучения, его ответы стали хуже
Первая попытка T-Mobile снабдить ИИ-агентов клиентской поддержки достаточным контекстом обернулась неудачей. По словам ИТ-директора Джеффа Саймона, выступившего в октябре на саммите VentureBeat Agentic Infrastructure Stack, у агентов был доступ к большому массиву документации службы поддержки, но противоречивые инструкции могли направить их по неверному пути при обработке запроса клиента. Последующая база знаний в виде графа оказалась слишком медленной, а навигация по ней — слишком сложной для агентов.
«Мы сказали: „О, наконец-то у нас появилась модель с большим контекстным окном. Давайте загрузим в этого агента всю документацию службы поддержки клиентов — и он станет экспертом, верно? Он будет знать всё“, — рассказал Саймон. — Но это совершенно не сработало».
В октябрьском опросе VB Pulse, проведённом VentureBeat Intelligence и посвящённом контекстным слоям агентных систем, 78% из 97 респондентов, чьи организации используют ИИ-агентов для работы с корпоративными данными, связали хотя бы один уверенный, но ошибочный ответ за последние шесть месяцев с отсутствующим или противоречивым бизнес-контекстом. В опросе это называется сбоем контекста.
Среди 76 респондентов, сообщивших о сбое контекста, 42% заявили, что в самом серьёзном случае неверная информация попала к внешней стороне или в официальный отчёт либо пришлось отменить решение или действие.
С 2024 года T-Mobile разрабатывает агентов, которые отвечают клиентам в чате, по SMS и голосом. Сейчас компания использует простую таблицу соответствий: она связывает распространённые формулировки клиентских вопросов с нужными агенту сценариями.
Противоречия в документах и медленный граф подтолкнули T-Mobile к таблице соответствий
По словам Саймона, T-Mobile сосредоточилась на оркестрации агентов клиентской поддержки, а не на обучении собственных моделей. По мере совершенствования моделей компания добавляла новых агентов: модели всё лучше справлялись с координацией нескольких агентов и вызовами инструментов. Прежде чем запрос попадёт в модель, компания удаляет из него содержимое, которое может оказаться неактуальным. Саймон назвал этот шаг одним из важнейших выводов, сделанных командой.
Первый подход провалился из-за противоречий в документации. Саймон отметил, что в документации службы поддержки такой крупной компании, как T-Mobile, есть противоречивые рекомендации, а слова клиента могут соответствовать нескольким процессам. Например, клиент, который просит новое устройство, может хотеть получить новый телефон для уже существующего номера или подключить дополнительную линию.
«Если загрузить в контекстное окно очень много информации, ИИ придётся выбирать между разными сценариями и документами, и он может начать отвечать, опираясь не на те из них», — сказал Саймон.
Следующей попыткой T-Mobile стал граф знаний.
«Граф знаний не сработал главным образом потому, что агентам приходилось искать информацию в большом графе. Это занимало время, а времени у нас немного», — сказал Саймон.
Скорость была не единственной проблемой: клиенты задают один и тот же вопрос множеством способов. Неверно истолковав запрос, агент мог выбрать неправильный маршрут по графу и потеряться, даже если T-Mobile пыталась направлять его.
T-Mobile заменила граф простым кэшем в базе данных «ключ — значение», который работает как таблица соответствий. Таблица связывает распространённые формулировки клиентских вопросов с тем, куда агенту следует перейти дальше; команда обновляет её, когда клиенты начинают формулировать запросы по-новому. Затем агент-оркестратор уточняет, какой вариант нужен клиенту, и передаёт запрос только тому агенту, у которого есть контекст для выбранного сценария. Таблица создана для агентов, а не для людей.
«На самом деле всё очень просто, зато быстро и отзывчиво, система хорошо масштабируется, и пока производительность наших агентов нас устраивает», — сказал Саймон.
Агенты T-Mobile также могут выполнять ограниченные действия в учётных записях клиентов. По словам Саймона, с их помощью клиенты могут купить международный пакет мобильного интернета или подключить другие услуги; предусмотрены проверки, подтверждающие, что клиент действительно намерен совершить покупку.
Кроме того, T-Mobile запускает небольшую языковую модель параллельно с рабочей моделью в каждом сеансе чата и голосового общения. Она выступает в роли оценщика на основе большой языковой модели: отмечает сеансы, в которых агент дал неверный ответ или клиент начинает сердиться, чтобы люди могли их проверить. Объём взаимодействий слишком велик, чтобы проверять все сеансы или даже большую выборку вручную.
Саймон признал, что запуск второй модели для каждого взаимодействия увеличивает расходы. Однако T-Mobile считает эти затраты оправданными: команда не может заранее предусмотреть все необычные способы, которыми клиент может сформулировать запрос.
Оценщик обнаружил, что во многих звонках звучала музыка ожидания. Это стало неожиданностью, поскольку T-Mobile её не включает. Инженеры потратили пару недель на изучение систем телефонии и интерактивного голосового меню, прежде чем нашли причину в модели, с которой взаимодействовали клиенты. По словам Саймона, модель генерировала музыку ожидания, когда делала паузу, чтобы что-то найти или вызвать инструмент.
«Она полностью выдумала это», — сказал Саймон.
Теперь в подсказках модели T-Mobile прямо указано, что нельзя галлюцинировать музыку ожидания. Раньше команда даже не представляла, что может столкнуться с такой проблемой.
Ошибочные ответы порой доходят до клиентов и попадают в отчёты для совета директоров
Опрос VB Pulse о контекстных слоях агентных систем показывает, чем грозит ошибка агента в понимании бизнес-контекста. Среди 76 респондентов, сообщивших хотя бы об одном таком сбое, 58% заявили, что самый серьёзный случай удалось выявить внутри компании и он не повлёк последствий за её пределами. Ещё 21% сообщили, что неверную информацию получил клиент, партнёр или поставщик. Двенадцать процентов сказали, что ошибочная цифра попала в финансовый, регуляторный отчёт или отчёт для совета директоров, а 9% — что решение или действие пришлось отменить.
Респонденты могли выбрать несколько вариантов того, как обычно выявляют уверенный, но неверный ответ. Чаще всего называли автоматические проверки, сопоставляющие ответ агента с надёжным источником, — 57%. Далее следовали выборочная проверка экспертами в предметной области — 55%, а также оповещения на панелях мониторинга или систем мониторинга — 52%. О том, что на ошибку указал клиент, партнёр или поставщик, сообщили 19% респондентов.
Автоматические проверки были связаны с отслеживанием первопричин: все 55 респондентов, указавших на такие проверки, также отслеживают, возникла ли ошибка из-за бизнес-контекста или самой модели. Среди 42 респондентов, не указавших на автоматические проверки, 10 (24%) не отслеживают источник ошибки.
Adobe и Uber используют графы знаний. Агенты T-Mobile в таком графе терялись
Adobe иначе подходит к выбору между большим и меньшим объёмом контекста. На саммите Agentic Infrastructure Stack Summit старший вице-президент по инженерным вопросам Adobe Анджул Бхамбри рассказал, что маркетинговый агент компании Adobe CX Enterprise Coworker стремится получать точный контекст. Его объём зависит от задачи.
Для узкой задачи — например, для специалиста по электронной рассылке в Европе — нужны требования к рассылке, правила ЕС о согласии на обработку данных и собственные правила компании о том, кому можно отправлять письма.
«Если предоставить модели правила о согласии и для ЕС, и для США, возрастает вероятность ошибок», — сказал Бхамбри.
С другой стороны, для доработки праздничной кампании потребуются данные за несколько лет.
«Здесь нужно дать гораздо больше контекста, потому что без него ответ может оказаться слишком общим», — сказал Бхамбри.
В одном из примеров, приведённых Бхамбри, исторические данные показали, что во время распродажи в Чёрную пятницу бесплатная доставка лучше стимулировала покупки постоянных клиентов, чем скидка 20%.
По словам Бхамбри, Adobe сужает контекст ещё до того, как модель получает запрос. Сначала задаётся исходный контекст, неизменный для компании и включающий то, что нужно всем пользователям, например правила бренда. Затем на этапе предварительной выборки используются ключевые слова, семантические индексы и графы знаний. Графы показывают, как связаны маркетинговые материалы, когда их использовали и к каким результатам это привело. После этого на этапе объединения и ранжирования определяется, чем заполнить контекстное окно. Понимание естественного языка и более дешёвая модель выполняют эту работу до запуска основной модели.
Опыт Uber с графом знаний отличался от опыта T-Mobile. В инженерной публикации от 27 августа компания сообщила, что агент, использующий её AI Context Graph, нашёл таблицу данных за 38 секунд. Та же модель без графа потратила более 20 минут и ошибочно заключила, что запросить эти данные невозможно. Как сообщила VentureBeat в четверг, инженерные агенты Uber используют граф, чтобы находить нужные системы и при необходимости извлекать документы или код. Агенты T-Mobile, напротив, должны были ориентироваться в графе прямо во время общения с клиентами.
Немногие респонденты полагаются главным образом на большие контекстные окна
В опросе VB Pulse респондентам предложили назвать основной источник бизнес-контекста. Два процента ответили, что их агенты используют общие знания модели без контекстного слоя предприятия.
Чаще всего называли поиск по документам или в векторном индексе — 32%, далее следовали прямые запросы к работающим системам — 25% — и управляемый семантический слой или онтология — 16%. Ещё 14% сообщили, что сочетание источников зависит от сценария использования. И лишь 10% назвали основным источником бизнес-контекста своих агентов загрузку больших объёмов данных непосредственно в контекстное окно модели.
Для команд, создающих агентов на основе корпоративных данных, важны практические вопросы: какие документы в контексте агента противоречат друг другу? Узнает ли команда, если агент ответит, опираясь не на тот документ? Кто отвечает за таблицу соответствий, индекс или граф, определяющий, что прочитает агент? Как долго клиент готов ждать, пока система извлечёт нужные данные?


