Предприятия, преуспевающие благодаря ИИ-агентам, ограничивают их автономность

Большую часть последних двух лет в сфере корпоративного ИИ господствовало общее мнение: чем больше автономности, тем лучше производительность. Создавайте агентов, способных планировать, принимать решения и действовать в многоэтапных рабочих процессах, и предоставляйте им как как можно больше свободы действий. Теперь это предположение проверяется в масштабах реальных производственных сред — и во многих случаях оно терпит неудачу. Компании, которые в итоге выиграют от внедрения агентного ИИ, не обязательно окажутся теми, кто предоставил своим агентам наибольшую гибкость. Победителями станут те, кто создает ИИ-агентов с четкими обязанностями и следит за тем, чтобы они действовали в рамках понятных правил.

Два показателя говорят практически обо всем, что касается текущего положения дел с агентным ИИ в середине 2026 года. Согласно собственному прогнозу Gartner, более 40% реализуемых сегодня проектов в области агентного ИИ не доживут до 2028 года. И дело вовсе не в том, что модели не справляются; причина — в растущих затратах, неясной бизнес-ценности и неадекватных средствах контроля рисков. Исследование McKinsey State of AI Trust Maturity Survey за 2026 год отлично дополняет этот прогноз: внедрение агентного ИИ ускоряется в каждой отрасли, однако средний уровень зрелости в сфере ответственного использования ИИ составляет всего 2,3 из 4. Лишь около 30% организаций достигли уровня зрелости три и выше, особенно в вопросах управления и контроля над агентным ИИ.

Сравните эти два показателя, и картина станет очевидной. Возможности опережают контроль.

Этот сдвиг также меняет конкурентную среду. Гонка 2024–2025 годов заключалась в том, кто сможет быстрее всех развернуть наиболее автономного агента. Гонка 2026–2027 годов — это гонка за доверием.

Дело не в том, кто сможет создать самого способного агента. Главное — кто сможет получить одобрение на запуск агента в производство от отделов по управлению рисками, юридического и комплаенс-отделов, а также удержать это одобрение после выхода системы в продакшен. Это совершенно иная инженерная задача, к решению которой готовы далеко не все предприятия.

Почему полная автономность дает сбой в рабочей среде

Gartner описывает паттерн сбоев как конкретный и повторяющийся. Проекты запускаются с амбициозными, широко автономными рабочими процессами. Через несколько недель они сталкиваются со сложностями интеграции. Затем они заходят в тупик без каких-либо перспектив достижения окупаемости инвестиций (ROI) в продакшене. Часть проблемы заключается в шуме, создаваемом поставщиками. Согласно подсчетам Gartner, из тысяч продуктов, продаваемых под маркой «агентного ИИ», реальными возможностями автономности обладают лишь около 130. Остальное — это в основном автоматизация или чат-боты, переупакованные под текущие тренды.

Но даже по-настоящему агентные системы сталкиваются со структурной проблемой, не имеющей ничего общего с шумихой в СМИ. Автономность и подотчетность движутся в противоположных направлениях.

Агент, способный самостоятельно планировать и выполнять многоэтапную задачу, — это одновременно и агент, чьи индивидуальные решения становится все труднее отследить задним числом. Предположим, что-то ломается на каком-то этапе автономной цепочки. Выяснение того, почему агент принял именно такое решение и кто за это отвечает, может превратиться в сложный процесс, а не в простую сверку по логам.

В таких областях, как финансовая сверка, процедуры комплаенс, проверка качества на производстве или клиническая документация, подобное отсутствие прозрачности может стать гранью между устранимой ошибкой и серьезным нарушением нормативных требований. Именно поэтому отделы юридического контроля, управления рисками и комплаенса блокируют выход агентных проектов в производство, независимо от того, насколько мощной является лежащая в их основе модель.

Сложность интеграции продолжает оставаться главной причиной отмены проектов. Наращивание автономного агента поверх устаревшего рабочего процесса требует большего, чем просто технические связующие звенья. Существующие в рабочем процессе точки принятия решений, цепочки согласований и контрольные журналы — все это необходимо перестроить вокруг системы, которая теперь способна действовать, не дожидаясь человека. Предприятия, которые рассматривают это исключительно как проблему интеграции, решаемую дополнительными инженерными часами, обычно первыми заходят в тупик.

Это не гипотетический риск. Исследование McKinsey показывает, насколько уязвимым в настоящее время является большинство предприятий. Практически в каждой категории рисков, связанных с ИИ — от конфиденциальности данных до угрозы интеллектуальной собственности, — сохраняется огромный разрыв между рисками, о которых организации заявляют, что осознают их, и теми, которые они реально минимизируют.

Осознание опережает действия. Этот разрыв отражается в позициях компаний, которые называют его главным препятствием для дальнейшего масштабирования агентного ИИ. Почти две трети респондентов заявляют, что проблемы безопасности и рисков являются для них самой большой сложностью, превосходящей регуляторную неопределенность и технические барьеры.

Как на самом деле выглядит оркестрация с элементами управления

Лидирующие на рынке предприятия не останавливают свои планы по внедрению ИИ. Они перестраивают принципы распределения автономности внутри системы. В организациях с высоким уровнем зрелости систем управления отчетливо прослеживаются четыре паттерна:

• Агенты с узкой специализацией вместо универсальных. Разделяйте сквозные рабочие процессы на агентов с единственной зоной ответственности и четко очерченными мандатами. Меньший объем работы приводит к меньшему объему сбоев, а меньший объем сбоев гораздо проще проверить.

• Контрольные точки с участием человека на границах принятия решений — до получения результата, а не после него. Проверяйте решения агентов до выполнения критически важных действий, а не задним числом. Это означает наличие контрольных точек перед передачей конфиденциальных данных, проведением транзакции или активацией внешней системы. Фреймворк McKinsey предполагает внедрение мониторинга в реальном времени на основе данных непосредственно в конвейер агента, причем окончательная ответственность за принятие решений с высокими ставками возлагается на человека.

• Прослеживаемость решений как требование к дизайну. Полный журнал действий и история принятых решений должны быть доступны по первому требованию для любого агента и любого решения. Их не должно приходиться восстанавливать в спешке во время аудита. Регуляторы движутся в том же направлении. Требования Закона об искусственном интеллекте ЕС (EU AI Act) к надзору со стороны человека для систем высокого риска все еще в силе, хотя принятое в этом году соглашение Digital Omnibus перенесло крайний срок соблюдения требований на декабрь 2027 года. Предприятия, создающие агентные системы сейчас, фактически готовятся соответствовать этому требованию — независимо от того, является ли оно технически обязательным на данный момент.

• Суверенитет данных как активный инструмент управления, а не пассивная бумажная волокита. Место хранения данных агента и круг лиц, имеющих к ним доступ, определяют масштабы потенциального сбоя. Локальное развертывание (on-premise) или развертывание в контролируемой среде ограничивают радиус поражения некорректно работающего агента и упрощают именно те аудиторские проверки, которых начинают ожидать регуляторы и советы директоров.

Конечно, риски существуют в обоих направлениях. Предполагается, что агентный ИИ должен снижать уровень трений. Агент, которому требуется одобрение человека для каждой мелкой задачи, ничего не снижает — это просто автоматизация, замаскированная под ручной процесс. Это незаметно подрывает все обоснование целесообразности создания такого агента в первую очередь. Цель заключается не в максимальном контроле. Речь идет о соразмерном контроле, сосредоточенном там, где цена ошибки действительно высока.

Развертывание агентов происходит примерно в 8 раз быстрее, чем растет зрелость систем управления.

Практический фреймворк для оценки вашего стека агентов

Если корпоративные архитекторы оценивают существующего агента для развертывания или рассматривают возможность развертывания нового, они могут начать с четырех вопросов.

1. Сможете ли вы спустя шесть месяцев точно восстановить причину, по которой конкретный агент предпринял определенное действие?
Если честный ответ требует копания в сырых логах или догадок, то история принятия решений не является заложенной архитектурной особенностью системы. Это сделанный задним числом шаг. И это проявится как пробел во время следующего аудита.

2. Обладает ли каждый агент в стеке одной четко ограниченной зоной ответственности, или по крайней мере один агент уполномочен «во всем разобраться» в рамках широкой задачи?
Широкие, не имеющие четких границ мандаты — это именно то, откуда берут начало накапливающиеся ошибки и невозможность отследить решения.

3. Расставлены ли контрольные точки с участием человека на определенных границах принятия решений или они служат лишь финальной проверкой после того, как агент уже совершил действие?
Проверка задним числом фиксирует последствия. Контрольная точка до совершения действия предотвращает их.

4. Если бы агент был скомпрометирован или дал сбой прямо сейчас, к какому объему данных и какому количеству нижестоящих систем он смог бы получить доступ до того, как это кто-нибудь заметил?
Именно здесь суверенитет данных и разграничение прав доступа перестают быть просто строчками в требованиях комплаенса и начинают работать как стратегия локализации.

Все эти вопросы не должны замедлять внедрение агентного ИИ. Им требуется направление: понимание того, как и где автономность приносит пользу их организации и как снизить уровень уязвимости. Это говорит в пользу создания уровня оркестрации на основе такого разделения, а не добавления элементов управления после того, как инцидент в продакшене заставит поставить этот вопрос ребром.

Настоящее конкурентное преимущество

Прогноз Gartner об отмене 40% проектов — это на самом деле не предупреждение о возможностях ИИ. Это прогноз относительно организационной дисциплины. Прямо сейчас агентный ИИ находится на том этапе, который Gartner определяет как «пик завышенных ожиданий», и этому есть вполне понятное объяснение. В 2024 и 2025 годах предприятия занимались оптимизацией практически исключительно ради автономности. Теперь они расплачиваются за долги по управлению, накопленные в результате такого подхода.

Позиция победителя к 2027 году будет принадлежать не тому, кто быстрее всех развернул наиболее автономных агентов. Она достанется тому, кто создал достаточно надежные агентские системы, чтобы риски, комплаенс и юридические отделы перестали быть узким горлышком. Архитектура давала ответы на их вопросы еще до того, как кто-либо успевал их задать.

Это иное проектное задание, чем то, по которому писалось большинство дорожных карт агентного ИИ. Речь идет о том, чтобы сделать ограниченную автономность, контрольные точки принятия решений, полную прослеживаемость и суверенитет данных неотъемлемой частью архитектуры с самого начала, а не надстройками после успешного завершения пилотного проекта.

Мидхула Мариам Дживан (Midhula Mariyam Jeevan) — контент-райтер, специализирующийся на искусственном интеллекте, корпоративных технологиях, разработке программного обеспечения и SEO.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся идеями и предоставляют нейтральные, непредвзятые глубокие обзоры ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, формирующих будущее бизнеса.

Читайте больше материалов из нашей программы гостевых публикаций и ознакомьтесь с нашими рекомендациями, если вы хотите предложить собственную статью!