ИИ-агентам необходимы четкие права на принятие решений

Контент-фильтры могут блокировать небезопасный вывод. Но они не способны подсказать, был ли у агента допуск на выдачу этого возврата средств, доступ к данной производственной системе или право принимать на себя обязательства компании перед третьими лицами. Все это принципиально разные задачи, и большинство предприятий пока решает только первую из них.

ИИ-агент может безупречно выполнять свои инструкции и при этом совершить действие, которое бизнес никогда не санкционировал.

В сфере коммерции я неоднократно наблюдал, как этот паттерн проявляется на практике. Рабочий процесс службы поддержки корректно рассчитывает сумму возврата средств, но в нем отсутствует барьер, предотвращающий начисление кредитов сверх лимита, одобренного бизнесом для автономных операций. Агент по обработке заказов верно вносит запрошенные изменения, однако упускает из виду условия финансирования или выполнения обязательств. Агент по закупкам находит поставщика с наименьшей стоимостью, но никто заранее не определил, может ли он принимать договорные условия или вправе лишь рекомендовать этот вариант.

Агент продолжает работать. И проблема может не проявиться до тех пор, пока что-нибудь не сломается на последующих этапах.

Это не обязательно связано сбоями в рассуждениях ИИ. Это неумение разграничить технические возможности и бизнес-полномочия.

По мере того как предприятия переходят от коупилотов, дающих лишь рекомендации, к агентам, которые вызывают инструменты и запускают рабочие процессы, каждому рабочему агенту требуются четкие права на принятие решений: что ему разрешено выполнять, что требует согласования, что он может исключительно рекомендовать и к чему ему запрещено прикасаться вовсе.

Защитные механизмы ( guardrails) остаются необходимыми. Но защитный механизм — это еще не модель полномочий.

Меры безопасности и права на принятие решений решают разные задачи

Ранние средства контроля генеративного ИИ фильтруют вредоносный контент, защищают конфиденциальные данные, проверяют ответы и ограничивают поведение инструментов. Эта работа имеет важнейшее значение.

Права на принятие решений отвечают на другой вопрос: даже если действие безопасно и технически корректно, уполномочен ли данный агент совершать его от имени предприятия?

Этот пробел в управлении становится все труднее игнорировать. В апреле 2026 года в исследовании Cloud Security Alliance отмечалось, что 65% респондентов за предшествующий год сталкивались с инцидентами, связанными с ИИ-агентами, а 82% обнаружили в своих средах ранее неизвестных агентов. В опросе приняли участие 418 специалистов по ИТ и безопасности, спонсором выступила компания Token Security.

Полученные данные наглядно демонстрируют, как быстро активность агентов может выйти за рамки систем видимости и контроля, созданных для традиционного программного обеспечения.

В руководстве Всемирного экономического форума за май 2026 года отражен этот сдвиг. В нем представлен профиль возможностей и авторизации агентов (Agent Capability and Authorization Profile), призванный сделать делегированные действия проверяемыми, обязательными к исполнении и подотчетными.

Защитные механизмы ограничивают поведение. Права на принятие решений определяют легитимные полномочия.

Предоставьте каждому рабочему агенту контракт на наделение полномочиями

Прежде чем агент получит доступ к корпоративным инструментам, ему необходима машиночитаемая запись о том, какие именно полномочия бизнес решил ему делегировать. Назовем это Контрактом полномочий агента (Agent Authority Contract).

Как минимум, этот контракт должен отвечать на семь вопросов:

1. Кто несет ответственность за результат? Укажите конкретного человека или бизнес-роль, а не другую систему.

2. Что агенту разрешено делать? Читать, рекомендовать, писать или брать на себя обязательства?

3. К каким системам и данным у него есть доступ?

4. Какие лимиты материальности действуют? Определите денежные пороги, количество записей, охват клиентов и операционное воздействие.

5. Что служит триггером для эскалации? Неопределенность, аномалия, конфиденциальные данные или потенциальные последствия?

6. Можно ли отменить действие и кто может это сделать?

7. Когда истекает срок полномочий и как они аннулируются?

Контроль доступа определяет, может ли агент достучаться до системы. Контракт полномочий определяет, имеет ли он право совершать конкретное действие в текущем контексте.

Это не одно и то же.

Обновленная сингапурская модельная структура управления ИИ для агентного ИИ (Model AI Governance Framework for Agentic AI) проводит аналогичное различие. В ней контроль доступа, поведенческие защитные механизмы и одобрение человеком рассматриваются как раздельные меры контроля, а требования к надзору привязываются к масштабу действий, их обратимости и потенциальному влиянию.

Сведите любое значимое действие к четырем возможным исходам

Рабочая модель прав на принятие решений должна сопоставлять каждое важное действие агента с одним из четырех результатов.

Разрешить (Allow)

Низкорисковые, ограниченные и обратимые действия выполняются автономно.

Примеры включают извлечение утвержденной информации, классификацию входящего запроса или обновление нематериального поля. Агент действует без предварительного рассмотрения, так как потенциальные последствия ограничены, а действие может быть отменено.

Одобрить (Approve)

Агент подготавливает или инициирует действие, однако его выполнение ожидает санкции от человека или детерминированной сервисной политики.

Эта категория охватывает платежи, изменения в продакшене, а также действия, которые существенно влияют на клиента, сотрудника или третью сторону.

Рекомендовать (Recommend)

Агент анализирует, ранжирует, готовит проект или предлагает варианты. Окончательное решение принимает конкретный человек.

Используйте этот исход, когда важна контекстуальная оценка или когда юридическое, финансовое или индивидуальное влияние делает автоматическое выполнение неприемлемым.

Запретить (Deny)

Действие остается вне зоны полномочий агента независимо от степени его уверенности в правоте.

Удаление критически важных производственных данных, принятие финального решения по трудоустройству или обход обязательного требования комплаенса должны оставаться в категории «Запрещено», даже если лежащие в основе логические выводы агента кажутся верными.

Один важный момент постоянно упускают из виду: запрет должен обеспечиваться за пределами системного промпта.

Инструкция на естественном языке, предписывающая агенту чего-то не делать, — это не технический барьер. Это всего лишь пожелание.

Принимайте решения о полномочиях в рантайме

Статическая конфигурация не способна учесть любую ситуацию.

Небольшой сервисный кредит может разрешаться в нормальных условиях, но требовать одобрения, если сумма превышает пороговое значение, аккаунт находится под следствием или запрос касается регулируемого клиента.

Практическая последовательность во время выполнения (runtime) выглядит следующим образом:

1. Агент предлагает действие.

2. Политика безопасности оценивает личность агента, делегировавшего его принципала, запрошенный инструмент, задействованные данные, контекст транзакции и потенциальные последствия.

3. Политика возвращает результат: «Разрешить», «Одобрить», «Рекомендовать» или «Запретить».

4. Система записывает решение о полномочиях, сопутствующее действие и результат.

5. Оперативная телеметрия расширяет, сужает или отзывает полномочия агента с течением времени.

В корпоративной коммерции самая опасная ошибка ИИ — не обязательно ложный ответ. Это может быть технически правильное действие, на совершение которого у агента не было никаких прав.

Возврат средств может быть точным, но превышать лимит утверждения. Изменение заказа может соответствовать запросу клиента, но аннулировать условия финансирования. Обещание по доставке может отражать доступные запасы на складе, но упускать из виду ограничения транспортной компании, введенные час назад.

Возможно, агент не совершал логической ошибки. Это предприятие не смогло определить, где заканчиваются его полномочия.

Надзор человека должен быть нацелен на исключения, а не на всё подряд

Требовать одобрения человека для каждого действия агента кажется консервативным подходом. В больших масштабах это быстро превращается в формальное проставление штампов.

Когда рецензенты одобряют тысячи рутинных операций, внимание притупляется, и выявить реальные исключения становится все труднее. Сингапурская концепция признает, что непрерывный ручной надзор за каждым рабочим процессом агента становится непрактичным при масштабировании, и рекомендует внедрять осмысленные контрольные точки для высокорисковых или необратимых действий.

Пропорциональная авторизация — более жизнеспособная модель.

Низкорисковые действия выполняются в узких границах. Действия с высоким риском или необратимые операции требуют одобрения. Непредвиденное поведение инициирует эскалацию. Любое значимое действие без определенной политики авторизации блокируется по умолчанию.

Цель состоит не в максимальной автономности. Цель — достичь наивысшего уровня автономности, который предприятие способно ответственно отслеживать, контролировать и отменять.

Измеряйте степень откалиброванности полномочий

Как только агенты запускаются в продуктивную среду, точность ответов перестает быть исчерпывающим метрикой успешности.

Предприятиям также следует отслеживать:

• Частоту отмен (Override rate): Как часто люди отклоняют или существенно меняют то, что решил агент?

• Точность эскалации: Выделяет ли агент действительно рискованные случаи или перекладывает рутинную работу на людей?

• Попытки совершения неавторизованных действий: Как часто агент пытается выйти за рамки своих систем, данных или допустимых действий?

• Уровень ошибок, влияющих на бизнес: Как часто авторизованные действия наносят ущерб финансам, комплаенсу, операционной деятельности или клиентам?

• Задержку принятия решений (Decision latency): Помогают ли требования об утверждении управлять рисками или они тормозят автоматизацию, которая изначально была безопасной?

Эти показатели превращают полномочия в управляемую рабочую переменную.

Стабильно надежная производительность может служить основанием для расширения ограниченных полномочий. Частые отмены, сбои эскалации или нарушения политик должны их сужать.

Пробел в управлении кроется не в модели

Безопасность моделей, контроль вывода и безопасное использование инструментов — все это имеет значение. Предприятиям следует продолжать инвестировать в данные направления.

Но ни один из этих элементов контроля не способен ответить на вопросы: кто делегировал полномочия, сколько именно было передано, при каких условиях это применимо или кто несет ответственность за результат, если что-то пойдет не так.

Контракт полномочий агента — способен.

Прежде чем задаваться вопросом о том, насколько автономным может стать ИИ-агент, гораздо полезнее спросить себя: что именно предприятие действительно готово делегировать и как это делегирование будет обеспечиваться, контролироваться и отзываться?

Демоверсия агента работает. Но это уже не самая сложная часть задачи.

Никсал Патель (Nixal Patel) — продуктовый лидер. Высказанные мнения являются его личной позицией

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций создана для того, чтобы технические эксперты могли делиться ценным опытом и публиковать непредвзятые, глубокие аналитические материалы об ИИ, данных, инфраструктуре, кибербезопасности и других передовых технологиях, определяющих будущее бизнеса.

Читайте подробнее о нашей программе гостевых постов и ознакомьтесь с нашими правилами если вы хотите предложить собственную статью!