Команды ИИ сошлись на неверном ответе в 75% дебатов — а снижение расходов на токены скрыло провал
При поддержке Outshift
Предприятия, которые наделяют ИИ-агентов общей памятью и тщательно настроенным контекстом, всё равно получают команды агентов, не справляющиеся с общими целями, говорит Виджой Пандей, старший вице-президент и генеральный менеджер Outshift by Cisco — инкубационного подразделения компании. Более того, недавнее исследование Беркли показало, что примерно треть изученных в нём сбоев агентов можно объяснить рассогласованием целей.
Во многом проблема в том, что агенты, загруженные всеми институциональными знаниями, которые может предоставить компания, всё равно преследуют цели собственной роли, рассказал Пандей генеральному директору VB Мэтту Маршаллу на саммите VentureBeat AI Infrastructure Stack Summit. Соберите вместе агента по продажам, инженерного агента, продуктового агента, финансового и юридического агентов, чтобы закрыть сделку, — и каждый из них будет оптимизировать то, за что вознаграждается его собственная функция.
«Думаете, вы получите от этой сделки тот результат, которого хочет компания? Ответ — нет, — сказал Пандей. — Эти агенты оптимизируют свои локальные стимулы, поэтому они не согласовывают намерения, не координируют действия и не договариваются между собой, а закончив работу, не проверяют всей командой, чего они достигли».
Сейчас широко распространено мнение, что самые сильные ИИ-команды тратят меньше токенов на меньшее число агентов, но, по словам Пандея, это представление неполно в двух отношениях. Исследования Outshift показывают, что низкий счёт за токены может означать, что агенты пропустили работу по достижению правильного согласия, а по мере того как в ближайшие годы компании будут запускать всё больше агентов, каждый новый поставщик и специалист умножает число договорённостей, которых этим агентам предстоит достичь.
Outshift выяснила, что команды из пяти ИИ-агентов приходили к согласию в пользу неверного результата в 75% дебатов
Outshift потратила восемь-девять месяцев на изучение мультиагентных систем, включая развёртывания, которые она эксплуатирует в продакшене в здравоохранении, видеонаблюдении и платформенной инженерии. В одной категории сбоев каждая изученная командой сессия демонстрировала когнитивные сбои — агенты не могли согласовать цель, скоординировать работу, договориться о компромиссах или проверить результат.
Когда Outshift устраивала дебаты между командами из пяти агентов, 75% из них заканчивались тем, что все агенты соглашались с неверным результатом. Агенты отступали от своих позиций и сходились на консенсусе, а отчёт о затратах зафиксировал бы такие сессии как эффективные.
«Да, они тратили меньше токенов, потому что не выполняли трудную работу по согласованию, координации и проверке того, что им полагалось сделать», — сказал Пандей.
Это означает, что стоимость в расчёте на агента — не лучшая мера успеха. Команда, которая обсуждает вопрос до его разрешения, сжигает больше токенов, чем команда, которая рано сдаётся, поэтому снижение счёта может означать, что агенты отказались от разногласия, которое позволило бы выявить ошибку.
«Агенты похожи на экспертов с почасовой оплатой. Более того, они выставляют счёт за каждое слово, за каждую мысль, — сказал Пандей. — Вам нужен результат работы команды, а не просто оплата мыслей пяти экспертов».
Стандартный мониторинг тоже не замечает проблему. Инструменты наблюдаемости отслеживают задержки, ошибки и всё чаще расход токенов, а команда, сошедшаяся на неверном ответе, не вызывает ни одной из этих тревог.
«Все ваши дашборды от любого поставщика средств наблюдаемости будут гореть зелёным, в то время как ваши результаты будут уходить в красную зону», — пояснил Пандей.
Общего контекста недостаточно, чтобы согласовать ИИ-агентов вокруг одной цели
На вопрос, может ли общая память решить проблему, Пандей указал на то, что она оставляет нерешённым. Маршалл упомянул PayPal и другие компании, о которых говорилось ранее в тот день: они создают для агентов системы памяти со стандартными операционными процедурами и другими общими знаниями. По словам Пандея, хотя компаниям нужна такая командная память, им также нужны механизмы координации: один — чтобы агенты согласовали намерения до начала работы, другой — для координации и переговоров в процессе работы и третий — для проверки глобального результата, а не только локальных стимулов каждого агента.
Без них всё ломается. Агент по продажам может узнать от клиента, что сделка зависит от функции, поддерживающей 100 000 пользователей, и передать это требование инженерным агентам. Инженеры строят систему на 100 000 пользователей в совокупности, тогда как клиент имел в виду 100 000 одновременных пользователей. Это сбой согласования целей, и он происходит ещё до того, как какой-либо агент приступит к работе.
Когда работа начинается, цикл каждого агента оптимизирует метрику своей функции. Агент по продажам добивается максимально быстрой выручки, инженерный и продуктовый агенты циклически проходят этапы разработки функций, тестирования и развёртывания, юридический агент проверяет договорные обязательства, а финансовый агент защищает маржу. Каждый из них может располагать лучшими институциональными знаниями для своей роли, пока сделка буксует.
«Это проблема координации, — сказал Пандей. — Координацию невозможно решить одним лишь контекстом».
Компании будут запускать больше ИИ-агентов ради специализации, работы с несколькими поставщиками и когнитивных движков
Проблема координации будет только нарастать, поскольку число корпоративных агентов продолжает расти по ряду причин. Например, из-за гиперспециализации. Компании создают агентов для узких задач, дают каждому контекст, необходимый его команде, и предоставляют ему только те права, которыми обладает эта команда.
«Нельзя дать финансовому агенту тот же доступ, что и у инженеров. Так не работает», — сказал Пандей.
Специализация будет расти и внутри отдельных агентов: разговорные модели будут передавать работу бэкенд-моделям, настроенным на рассуждения и выполнение действий.
Число корпоративных агентов будет увеличивать и неоднородность. Один рабочий процесс отдела согласования сделок может задействовать агентов от Salesforce, Cisco, Microsoft, Harvey и Workday, каждый из которых построен на собственном стеке своего поставщика.
Третий фактор — то, что Outshift называет когнитивными движками: агенты, которых ИТ-команды развёртывают параллельно с бизнес-процессами. Движки-ограничители отвечают за безопасность, масштабирование, соответствие требованиям и доступность, а движки-ускорители выполняют такую работу, как дистилляция памяти и совместные рассуждения агентов. Агентам бизнес-логики компании придётся взаимодействовать с обоими типами, и все три тенденции указывают на то, что со временем агентов в каждой компании будет становиться больше.
Как найти, где команды агентов сбиваются с пути
Последние 12–18 месяцев Outshift занималась связыванием агентов через свой проект с открытым исходным кодом AGNTCY, входящий в Linux Foundation. Эксплуатация этих систем в продакшене выявила следующую проблему: агенты могли общаться, не работая при этом на общий результат.
Первый шаг — сделать этот сбой видимым. Недавно анонсированный Outshift инструмент Scope анализирует трассировки OpenTelemetry, которые компании уже собирают, изучая, что агенты говорят и делают, чтобы выявить когнитивный дрейф от общей цели. Он основан на семантических расширениях OpenTelemetry, которые Outshift представила совместно с Microsoft в прошлом году.
Дальнейшие действия зависят от того, в какой момент агенты теряют согласованность. Если они изначально по-разному интерпретируют задачу, протокол Accord от Outshift помогает им согласовать намерения до начала работы. Если они расходятся в ходе выполнения, Concord обеспечивает координацию и переговоры. Оба работают поверх стандартов Agent2Agent (A2A) и Model Context Protocol (MCP). Но согласие всё равно должно приводить к правильному результату. Это задача MAS Lab, который проверяет, обеспечивает ли мультиагентная система результат, заданный её владельцами. Вместе эти инструменты расширяют мониторинг: от вопроса, успешно ли отработали отдельные агенты, к вопросу, сложилась ли их работа в успех команды.
Outshift опубликовала все четыре инструмента на github.com/iocproject как начало того, что она называет «Интернетом познания» (Internet of Cognition) — уровня над связностью агентов, на котором агенты согласуют, координируют и проверяют свою работу; Outshift создаёт его открыто. Цель инструментов — сделать согласие тем, что компании могут проверить на соответствие намеченному результату. Как пояснил Пандей позже в ходе сессии, сбоем может оказаться сам консенсус.
«Да, это групповое мышление, — сказал он. — Никто не возражает, никто не спорит, и все принимают результаты других агентов как истину».
