Ваши ИИ-агенты могут безошибочно выполнять каждый вызов инструмента и при этом нарушать все корпоративные правила

Если сегодня вы присутствуете на заседаниях советов директоров крупных компаний, то давление, которое испытывают ИТ-директора, сводится к двум вещам: скорости и рентабельности инвестиций. Советы директоров ожидают зрелой стратегии агентного ИИ и четкого графика внедрения автономных систем, обеспечивающих измеримый эффект для бизнеса.

В спешке с переходом к промышленной эксплуатации возникла серьезная архитектурная слепая зона. Преобладающий на рынке нарратив строится на простой формуле: агенты плюс инструменты плюс данные — и этого достаточно. Хотя ни один поставщик не заявляет об этом прямо, почти каждая презентация продукта подразумевает именно это. Предполагается, что достаточно загрузить корпоративные данные в облачное хранилище данных, подключить готовую большую языковую модель (LLM), предоставить ей набор инструментов для выполнения корпоративных задач — и гибкость появится сама собой.

Но этого не произойдет. Будет ровно наоборот. За годы работы над платформами для разработчиков и облачной инфраструктурой для одних из крупнейших мировых рабочих нагрузок я усвоил: когда корпоративное ПО взаимодействует с сотрудниками, клиентами и финансами, действуют совсем иные законы. Когда на кону средства к существованию людей и корпоративные балансы, галлюцинации и отклонения недопустимы.

Главная проблема агента без правил

Чтобы понять причину этого противоречия, внимательно рассмотрим устройство агента. В основе LLM лежит вероятностная модель, генерирующая токены на основе математических вероятностей, а не жестко заданных правил. Главный ответ технологической индустрии на задачу введения правил — вызов инструментов: модели предоставляют набор API для действий в реальном мире.

Вызов инструментов делает отдельное действие детерминированным — инструмент надежно выполняет заданную инструкцию одинаково при каждом запуске, — но общий уровень принятия решений остается вероятностным. Агенту по-прежнему нужно решать, какой инструмент вызвать, когда и с какими аргументами.

Поскольку универсальный инструмент выполняет любые переданные ему инструкции, вызов инструментов не решает проблему управления. Он переносит ее на границу инструмента, которая остается открытой и неуправляемой. И корпоративным командам все чаще приходится контролировать такие риски с помощью официальных систем управления рисками ИИ и открытой и безопасной инфраструктуры ИИ.

Если поместить эту вероятностную модель в агентную среду и задать ей цель, получится высокофункциональная автономная система, способная самостоятельно добиваться результата, — с одним изъяном: в ней нет встроенного понятия корпоративного управления.

Представьте, что менеджер просит готового агента оформить международного подрядчика. Действуя в условиях структурного вакуума, агент будет стремиться исключительно к выполнению задачи. Каждый отдельный вызов инструмента может сработать успешно, однако в процессе агент способен обойти региональное трудовое законодательство, правила удержания налогов и проверки правильной классификации работников.

Он делает это не из злого умысла, а потому, что его архитектура не учитывает существование таких правил. Агент без ограничений выполняет задачи через системы, которые не следят за соблюдением правил. На первый взгляд это выглядит как выигрыш в гибкости. На деле же это бомба замедленного действия с точки зрения регулирования.

Инженерный подход и ловушка теневой ERP

Когда ИТ-руководители замечают такое поведение агента, типичная инженерная реакция — устранить уязвимость извне. Команды создают внешние шлюзы для LLM, добавляют промежуточные уровни с политиками или загружают объемные корпоративные правила в и без того переполненное контекстное окно.

Ни одно из этих решений не работает. Запрос — это просьба, а не гарантия. Перенесемся на 18 месяцев вперед: ваши инженерные команды потратят миллионы на ручное воссоздание организационных структур, логики маршрутизации и разрешений безопасности внутри самодельного изолированного стека ИИ.

Это ловушка «теневой ERP», в которой гибкость крупных компаний идет на убыль. В итоге приходится поддерживать хрупкую, полную ошибок копию той же бизнес-логики, которой вы уже владеете в своей системе учета. Это не короткий путь, если он приводит к бесконечным расходам на поддержку и раздробленному управлению.

Решение: встроенные ограничения на уровне инференса

Чтобы агент изначально действовал в рамках закона, безопасность корпоративной среды должна стать частью базовой инфраструктуры и быть напрямую встроена в механизм инференса и среду выполнения. Чтобы полностью контролировать, что агент может видеть, делать и использовать, необходимо выполнять инференс ИИ на платформе, которая уже обеспечивает корпоративное управление:

• Механизм формирования контекста: собирает только те данные, к которым агент имеет доступ согласно своей идентичности, — включая актуальные записи, действующие политики и организационный контекст. Он ограничивает всю картину мира агента, гарантируя, что и содержимое контекстного окна, и доступные строки базы данных заранее подчинены установленным правилам.

• Механизм управления политиками: проверяет каждое действие агента на соответствие точной бизнес-логике, регулирующей действия человека на аналогичной должности. Если финансовая операция требует одобрения четырех руководителей, платформа блокирует любые попытки обойти это требование.

• Уровень выполнения: гарантирует, что каждый внешний вызов API содержит явные полномочия и область доступа конкретного человека, которому служит агент, а не постоянные учетные данные с неограниченными правами. Агент не может превысить свои полномочия, поскольку соответствующие права ему никогда не предоставлялись.

Самое сложное в корпоративном ИИ — не рассуждение, а соблюдение требований. Даже один расчет зарплаты зависит от меняющихся правил удержаний и оплаты труда в тысячах юрисдикций по всему миру. Ни одна отдельная модель не способна воссоздать такую систему. В вашей компании это уже понимают — именно поэтому вы вложились в систему учета, а не стали создавать собственный механизм расчета зарплат. Передача задач агентам через внешнее промежуточное ПО незаметно сводит на нет это фундаментальное решение. Если вам нужен агент, действующий в рамках закона, он должен работать там, где уже применяются соответствующие правила.

Принцип близости

Каждое важное ограничение полностью зависит от актуального состояния корпоративной среды — организационной структуры, действующих прав доступа и настроенных бизнес-процессов. Если попытаться воссоздать эти элементы извне, законы программной инженерии рано или поздно дадут о себе знать. Агент будет видеть устаревший снимок данных, а его действия будут опираться на рискованные статические ключи API. Чем больше расстояние, тем слабее ограничения.

Расстояние снижает и скорость. Агентные циклы по своей природе требуют активного обмена данными: для выполнения одной задачи могут понадобиться десятки вызовов инструментов. Каждый раз, когда вызов пересекает внешнюю границу доверия, необходимо заново подтверждать, кто именно его выполняет. Внутри периметра собственной платформы сведения о контексте безопасности доступны по умолчанию. Архитектурный выбор, который позволяет агентам действовать в рамках закона, одновременно делает их быстрее.

Назовем это «принципом близости». Инференс ИИ должен выполняться непосредственно на платформе, которая управляет им, потому что каждое дополнительное звено ослабляет и ограничения, и оперативность.

Когда в следующий раз вам представят агентное решение, не ограничивайтесь демонстрацией и задайте один вопрос: где работают механизмы контроля? Если ответ — внешний уровень, который вашей команде предстоит создать и поддерживать вдали от системы учета, значит, вы строите теневую ERP. Чтобы добиться настоящей скорости, интегрируйте агентов напрямую с системой, в которой уже действуют корпоративные правила.

Гейб Монрой — технический директор Workday.

Добро пожаловать в сообщество VentureBeat!

В рамках нашей программы гостевых публикаций технические эксперты делятся мнениями и предлагают объективный, незаинтересованный глубокий анализ ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, формирующих будущее корпоративного сектора.

Читайте другие материалы нашей программы гостевых публикаций — и ознакомьтесь с правилами , если хотите предложить собственную статью!