Salesforce дополняет Agent Fabric ИИ-оценками, которые отключают агентов при сбоях

Salesforce раскрывает подробности следующего этапа развития платформы Agent Fabric: в него войдут оценки, призванные выявлять неисправно работающих ИИ-агентов и запускать корректирующие действия, а также расширенные возможности обнаружения и ранее анонсированные инструменты контроля расходов и управления.

Согласно объявлению от 27 октября, бета-версия Agent Evals должна выйти в ноябре, а общедоступная — в январе 2027 года. Впервые MuleSoft анонсировала этот инструмент на ежегодной конференции Dreamforce в сентябре. Кроме того, компания представила API Evals — будущий инструмент для тестирования программных подключений, от которых зависят агенты, запустила бета-версию пользовательских сканеров агентов и запланировала на январь «аварийный выключатель» агентов, срабатывающий по результатам оценок.

Для корпоративных покупателей объявление объединяет будущие возможности с расширениями и уже существующими инструментами. Базовый «аварийный выключатель» стал общедоступным в сентябре, а элементы контроля бюджета, панели мониторинга расходов и функции экономии токенов MuleSoft описала летом. В сентябрьском объявлении также говорилось о связывании неудачных оценок с корректирующими действиями.

Более широкая идея — сократить путь от обнаружения проблемы до её устранения. Компания может знать, что агент выдаёт неверные ответы или потребляет слишком много ресурсов, но ей всё равно нужно найти его владельца, разобраться в другой платформе и получить разрешение на его приостановку.

В интервью VentureBeat Эндрю Комсток, старший вице-президент и генеральный менеджер MuleSoft в Salesforce, описал знакомые проблемы, лежащие в основе подхода компании.

«У меня их слишком много. Технологии совершенно разные. Ничто ни с чем не взаимодействует. Всё работает изолированно», — сказал Комсток, описывая трудности клиентов, которые легли в основу Agent Fabric.

Salesforce хочет управлять этими агентами, даже если клиенты создают их на конкурирующих платформах.

«Подчеркну: это не привязано к Salesforce. Это охватывает всё», — сказал он.

Agent Evals приближается к бета-версии

Salesforce уже рассказывала об Agent Evals на Dreamforce в сентябре, включая генерацию тестов, измерение результатов по критериям успеха и связывание сбоев с их устранением.

Октябрьское объявление добавляет сроки развёртывания и описывает, как оценки могут выходить за рамки тестирования до развёртывания — вплоть до проверки агентов, языковых моделей и серверов Model Context Protocol в продакшене. Цель — выявлять поведение, выходящее за установленные организацией пороги, и запускать соответствующую реакцию, включая этапы согласования там, где этого требует политика.

В иллюстративном сценарии Salesforce из сферы розничной торговли перевод агента на более дешёвую модель ухудшает ответы на вопросы о статусе заказа. Оценки фиксируют спад и запускают процесс: агент помещается в карантин, при необходимости получается согласование, затем агент дорабатывается и повторно тестируется. Это гипотетический рабочий процесс, а не реальный результат клиента.

По словам Комстока, оценки также могут помочь компаниям добиваться соблюдения требований к тому, как общаются агенты. Например, агент, работающий с клиентами и призванный звучать жизнерадостно, не должен внезапно становиться саркастичным.

Будущий инструмент API Evals охватывает другую часть системы: он генерирует функциональные и нагрузочные тесты на основе спецификаций API. Оба продукта для оценки должны выйти в бета-версии в ноябре и стать общедоступными в январе 2027 года.

«Аварийный выключатель» уже существует; вмешательство по результатам оценок — на подходе

Сам «аварийный выключатель» в этом объявлении не новинка.

MuleSoft представила эту концепцию в июне и сделала базовую функцию общедоступной в сентябре. Она использует средства контроля шлюза для блокировки управляемого трафика; вмешательство можно ограничить запросом, сеансом, агентом или арендатором, а затем восстановить доступ.

Это различие важно: блокировка доступа агента через шлюз не обязательно останавливает все процессы, запущенные на внешней платформе, где он размещён.

Теперь Salesforce включает в январскую дорожную карту Triggered-Agent Kill Switch, связывающий обнаруженные проблемы с вмешательством на основе политик. В сентябрьском предварительном обзоре оценок уже обсуждалось связывание сбоев с их устранением; октябрьское объявление указывает более конкретные сроки выпуска этой функции.

Для покупателей практическое различие состоит в том, что один инструмент для остановки управляемой активности уже доступен, а механизм, связывающий результаты оценок с этой реакцией, только готовится.

Существующее обнаружение получает пользовательское расширение

Обнаружение агентов также появилось раньше сегодняшнего объявления. В апреле MuleSoft описала свои сканеры агентов как способ выявлять агентов в поддерживаемых средах.

Сегодня в бета-версию выходит Custom Agent Scanner, призванный распространить обнаружение на внутренние системы, среды за межсетевыми экранами и дополнительные платформы. Общедоступный выпуск запланирован на январь.

По словам Комстока, реестр не требует от клиентов переносить своих агентов в Salesforce.

«Подчеркну: мы не перемещаем агента; агент по-прежнему работает там же, — сказал он. — Мы лишь подтягиваем указатель, чтобы у вас был универсальный реестр всех ваших агентов».

Администратор подключает нужные среды и переносит их метаданные в общий реестр. По словам Комстока, для использования Agent Fabric клиентам не обязательно работать с Agentforce — собственной агентной платформой Salesforce.

Он также утверждал, что потребность в таком инструменте зависит скорее от разнообразия агентных развёртываний компании, чем от её размера. Бизнес, использующий несколько агентных фреймворков и поставщиков, может столкнуться с проблемами координации, даже не будучи крупным предприятием.

Контроль расходов развивает летнюю дорожную карту

В объявлении также выделены панель FinOps Dashboard, бюджеты Model Wallet и политики, призванные снизить потребление моделей.

Не все эти функции новые. В августовском обзоре выпуска MuleSoft описала доступ к моделям, оптимизацию затрат, «кошельки» и улучшения панели мониторинга. В сентябрьском разъяснении о Model Wallet говорилось об установке бюджетов в долларах или токенах по поставщику или модели с дневными, недельными или месячными лимитами.

Эти инструменты решают знакомое противоречие: отдельный разработчик может выбрать дорогую модель, чтобы быстрее справиться с задачей, тогда как организации нужно понимать совокупный счёт.

По словам Комстока, прозрачность должна не только помогать сокращать общие расходы, но и показывать, какие команды и проекты за них отвечают.

«Так что дело не только в том, чтобы сдерживать затраты. Это, безусловно, часть задачи, но важно и то, чтобы вы могли соотнести их с теми командами и проектами, которые действительно двигают изменения в вашей организации», — сказал он.

Октябрьский пресс-релиз Salesforce называет среди методов оптимизации семантическое кэширование, сжатие полезной нагрузки и сокращение ответов. Компания заявляет о снижении расхода токенов до 75% в тестовых сценариях. Это результат тестов поставщика, а не гарантированное сокращение общего счёта клиента за ИИ.

Межвендорные политики шлюзов тоже появились раньше

Salesforce также делает акцент на Open Policies — механизме применения правил управления в федеративных шлюзах, включая Azure, Apigee и Kong.

Сама эта возможность появилась не сегодня. MuleSoft описала Open Policies в сентябре, а в её октябрьских примечаниях к выпуску зафиксировано переименование Universal Policies в Open Policies и сопутствующие улучшения.

Для предприятий привлекательность состоит в применении единых средств контроля в уже эксплуатируемой инфраструктуре. Фактический охват по-прежнему зависит от поддерживаемых интеграций и от того, где трафик проходит через применимые средства контроля.

Комсток представил такое управление как необходимое условие для более широкого развёртывания.

«Сегодня управление — это настоящий ускоритель, потому что вы под контролем. Вы можете лучше отвечать на вопросы. Вы чувствуете себя увереннее и спокойнее, и это позволяет двигаться быстрее», — сказал он.

MuleSoft указывает стартовую цену 2 000 долларов, но стоимость оценок остаётся неясной

На публичной странице с ценами MuleSoft Salesforce указывает стартовую цену 2 000 долларов в месяц за более широкий портфель продуктов, при этом Mule Credits используются для различных функций.

Предложение по управлению агентами на этой странице включает функции Agent Fabric, такие как обнаружение, оркестрация, управление и бюджеты, но покупателям предлагается обратиться в отдел продаж. Поэтому сумму 2 000 долларов не следует представлять как подтверждённую отдельную цену конкретной конфигурации Agent Fabric, описанной в этом объявлении.

В материалах о ценах описаны предоплаченные пакеты кредитов, вариант с предварительным обязательством и минимальной годовой суммой 50 000 долларов, а также безлимитный вариант с индивидуальной ценой. Отдельной публичной цены на Agent Evals или API Evals там нет, как нет и достаточных деталей, чтобы рассчитать стоимость конкретной нагрузки по оценке.

Бюджет проекта в 2 000 долларов, который Комсток привёл в пример во время интервью, был гипотетическим и не раскрывал цену продукта.

Microsoft, ServiceNow и OpenAI конкурируют за контроль над корпоративными агентами

Agent Fabric работает на растущем рынке управления агентами в масштабах организации, хотя конкурирующие продукты по-разному сочетают надзор и исполнение.

Microsoft Agent 365 — близкий аналог в части корпоративного администрирования. Microsoft описывает реестр агентов, контроль доступа и жизненного цикла, аналитику и интеграции безопасности с такими продуктами, как Entra, Defender и Purview.

AI Control Tower от ServiceNow аналогичным образом нацелен на обнаружение, наблюдение, управление, безопасность и измерение в решениях разных поставщиков. Среди заявленных возможностей — контроль рискованной активности и прозрачность затрат на ИИ и бизнес-результатов.

OpenAI Frontier — ещё один значимый конкурент с более широким предложением, которое включает создание и эксплуатацию агентов, подключение бизнес-систем и контекста, оценку производительности и управление разрешениями. Пересечение наблюдается в сфере управления корпоративными агентами, хотя охват не совпадает с акцентом Agent Fabric на управлении агентами в уже существующих средах.

Claude Managed Agents от Anthropic пересекается с ним на уровне инфраструктуры, но сравнение здесь менее прямое. Сервис предоставляет управляемые средства для запуска агентов, включая среды выполнения и оркестрацию. Главное же предложение Agent Fabric — обнаружение и управление агентами, которые могут продолжать работать в других местах.

Anthropic публикует цену среды выполнения Managed Agents — 0,08 доллара за активный час сеанса — сверх соответствующей платы за модели и инструменты. Её нельзя напрямую сравнивать со стартовой ценой портфеля MuleSoft или с контрактом на Agent Fabric, заключённым по договорённости.

Эти различия — интерпретация опубликованных поставщиками возможностей, а не утверждение о взаимозаменяемости продуктов. В зависимости от поддержки интеграций и имеющейся инфраструктуры предприятию могут понадобиться и среда выполнения агентов, и отдельный уровень управления.

Что покупатели могут использовать уже сейчас — и что ещё впереди

Самое непосредственное дополнение в этом объявлении — бета-версия Custom Agent Scanner. Базовый «аварийный выключатель» и упомянутые средства контроля расходов уже общедоступны.

Бета-версии Agent Evals и API Evals запланированы на ноябрь, а общедоступный выпуск — на январь 2027 года. Пользовательский сканер также должен стать общедоступным в январе вместе с Triggered-Agent Kill Switch.

Для покупателей, оценивающих это объявление, главный вопрос — сможет ли Salesforce объединить обнаружение, тестирование, прозрачность расходов и действенное вмешательство для тех агентов, которыми они реально пользуются. Предстоящие выпуски покажут, какая часть этого рабочего процесса сможет функционировать как единая система.