Управление искусственным интеллектом переходит на этап выполнения — и регулируемые отрасли приходят туда первыми

При поддержке SAP

Управление искусственным интеллектом (ИИ) переходит от периодических проверок на соответствие требованиям к важнейшему компоненту, который внедряется в архитектурный дизайн организации и применяется в режиме реального времени. Поскольку автономные агенты выполняют бизнес-процессы в режиме реального времени, сокращается дистанция между принятием решения и его последствиями, что выводит вопросы управления из календаря комплаенса в сферу повседневной деятельности.

«Применение традиционного стратегического управления к ИИ так же, как к обычным приложениям и системам, просто не работает для ИИ-агентов», — говорит Филипп Херциг (Philipp Herzig), технический директор SAP. «С появлением автономии события развиваются гораздо быстрее. Агент действует от вашего имени, порой без вашего прямого одобрения. Благодаря проактивному оперативному управлению в реальном времени вы предотвращаете проблемы, а не боретесь с их последствиями».

Непрерывное управление ИИ требует от предприятий постоянного ответа на четыре вопроса:

• Какие ИИ-агенты существуют в масштабах предприятия и каково назначение каждого из них?

• К каким данным и системам имеет доступ каждый агент?

• Как каждый агент участвует в бизнес-процессах?

• Работает ли каждый агент в рамках установленных правил?

Организации финансового сектора, здравоохранения, фармацевтики и государственного секторов сталкиваются с наибольшей актуальностью этих вопросов, поскольку регулирующие органы уже ожидают документированной подотчетности, а возможности управления ИИ, которые создают эти организации, быстро станут стандартом и в других отраслях.

Регулируемые отрасли достигают пределов традиционного управления ИИ

Ограничения традиционных подходов к управлению технологиями становятся наиболее очевидными в регулируемых отраслях, когда ИИ-агенты начинают работать в рамках существующих требований к подотчетности и комплаенсу. Банки руководствуются правилами управления рисками моделей, такими как SR 11-7 и SR 26-2. Производители лекарств работают в условиях соответствия стандартам GxP и требований FDA. Государственные ведомства подчиняются правилам FedRAMP, авторизации на эксплуатацию (ATO) и нормам суверенитета данных.

Применение этих режимов к не детерминированным системам порождает ожидания, которые большинство предприятий пока не может удовлетворить. Регуляторы хотят, чтобы организации могли восстановить любое решение, принятое ИИ-системой в любой момент времени. Учитывая особенности работы этой технологии, все не так просто.

«Подумайте о фармацевтической промышленности, где существует цепочка поставок», — говорит Херциг. «Если вы производите лекарства, вы должны знать каждый этап, на котором продукт подвергался воздействию. В регулируемом бизнес-процессе не может быть «белых пятен»».

Для соответствия отраслевым стандартам недостаточно простого журнала сеансов. Ответственность должна быть закреплена за агентом и за рабочим процессом, в котором он участвует, наряду с защитными механизмами и делегированными полномочиями, которыми он наделен в рамках роли пользователя. Управление доступом и идентификацией (IAM) — дисциплина, изначально ориентированная на людей, — теперь должна учитывать сущности, которые самостоятельно преследуют назначенную цель, включая, порой, поиск обходных путей для ограничений API, чтобы ее достичь. Разрешения, выданные при развертывании, со временем также могут расходиться с тем, как агент фактически их использует, создавая разрыв между его авторизованной ролью и поведением в реальном мире. Это делает непрерывный мониторинг необходимым для обеспечения того, чтобы доступ оставался соответствующим по мере развития активности агента.

Инвентаризация ИИ и обнаружение агентов стоят на первом месте перед контролем

Эффективное управление ИИ начинается с актуальной инвентаризации активов ИИ, которой у большинства предприятий нет, отмечает Херциг.

«Нельзя управлять тем, чего нельзя увидеть», — поясняет он. «Если я не могу автоматически обнаружить и поддерживать рабочий инвентарь ИИ-активов или ИИ-агентов, я не знаю, чем управляю».

Обнаружение должно происходить непрерывно, поскольку создание и развертывание происходят постоянно. Сотрудник с интерфейсом чата может запустить работающего агента за полдня, и этот агент сразу же начинает влиять на реальные рабочие процессы.

«Допустим, кто-то решил, что больше не хочет заниматься обработкой счетов, поэтому он быстро создает агента в инструменте-копилоте и передает ему эту работу», — говорит Херциг. «Теперь за финансами и отношениями с клиентами следит нечто, за чем никто не наблюдает. Теневые ИТ раньше означали запрещенное ПО на ноутбуке. Эта версия больше похожа на то, что сотрудник приводит на работу трех других людей, указывает им на отчеты и никогда не упоминает об этом боссу».

Периметр управления простирается далеко за пределы самих агентов. Сюда входят большие языковые модели, MCP-серверы, взаимодействующие с приложениями и другими системами, а также протоколы взаимодействия между агентами. Многоагентная оркестрация добавляет еще один уровень сложности, затрудняя определение ответственности, когда агенты делегируют задачи друг другу. По оценкам Херцига, на одних агентов приходится менее трети того, что должно охватывать предприятие.

Способность контекстуализировать ИИ в более широком бизнес- и архитектурном контексте имеет решающее значение для понимания зависимостей и полного картирования рисков и зон поражения. Только при такой полной прозрачности организации могут комплексно осуществлять управление ИИ.

Инвентаризация определяет, какие активы ИИ существуют, но эффективное управление также требует понимания того, где они располагаются в корпоративной архитектуре и какие бизнес-процессы от них зависят. Картирование этих взаимосвязей выявляет зависимости и в случае сбоя показывает, какие именно приложения, процессы и системы могут пострадать.

«Одно дело — иметь реестр, и совсем другое — позиционировать это имущество в контексте вашего бизнеса», — говорит он. «Понимание того, в каких процессах задействованы те или иные агенты и какие приложения работают поверх них, позволяет ответить на более сложные вопросы».

Управление ИИ в рантайме доказывает соблюдение политик во время работы агентов

Закон ЕС об искусственном ИИ (EU AI Act) и Рамки управления рисками ИИ от NIST повышают планку требований к документации, классификации рисков и контролю со стороны человека, но контрольные списки и шаблоны имеют свои пределы без лежащих в их основе механизмов принудительного исполнения. Подход SAP эволюционировал соответствующим образом: сначала обеспечивалась прозрачность в отношении существующего в масштабах предприятия ИИ и связанных с ним рисков, а теперь эти возможности расширены до контроля и управления ИИ во время выполнения (в рантайме).

«Агенты продолжают учиться, адаптироваться и дрейфовать», — говорит Херциг. «Без возможности измерять это и применять средства контроля во время выполнения у вас нет управления ИИ. Иметь управление без механизмов принудительного исполнения в рантайме — все равно что быть губернатором без судов, правоохранительных органов и тюрем».

Восстановление действий агента после того, как он получил доступ к ограниченной системе, перекладывает устранение последствий на владельца затронутого процесса, поэтому меры контроля должны перехватывать действие в момент его совершения. Ликвидация разрозненности между корпоративными архитекторами, директорами по информационной безопасности (CISO) и директорами по комплаенсу имеет не меньшее значение, что объясняет рост популярности центров компетенции по ИИ в крупных организациях.

Данные об управлении ИИ измеряют рентабельность агентов и производительность процессов

Связь между выполнением задач агентами и соответствием процессам позволяет узнать не только то, работают ли агенты должным образом, но и действительно ли они улучшают бизнес-процессы, для поддержки которых были развернуты. Это превращает данные управления в свидетельство производительности и рентабельности инвестиций (ROI), а не просто в отчет об избежании рисков.

Эталонные показатели процессов дают организациям метрики, которые можно привязать к развертыванию до его запуска, и эти метрики агрегируются на уровне процесса или портфеля приложений на уровне бизнес-возможностей.

«Агенты генерируют множество базовых телеметрических данных, включая входные и выходные токены, использование моделей с течением времени, работоспособность вызовов инструментов и показатели успешности», — говорит Херциг. «Вопрос в том, можете ли вы сопоставить эти детали с процессом, который раньше выполняли шесть человек, а теперь — два человека и задействованные агенты. Доказательство прироста эффективности требует инструментов, которые агрегируют эти сигналы до уровня, на котором становится заметной бизнес-ценность».

Как SAP управляет ИИ в сферах архитектуры, идентификации, бизнес-процессов и комплаенса

SAP объединяет эти домены с помощью продуктов, обеспечивающих различные уровни контекста управления.

SAP LeanIX предоставляет архитектурный контекст и сопоставление с требованиями комплаенса, SAP Signavio — контекст бизнес-процессов и возможность измерения их ценности, Cloud Identity Services — уровень идентификации, а SuccessFactors — представление о кадровых ресурсах, в то время как AI Agent Hub служит единой точкой входа для них. Его возможности обнаружения идентифицируют и инвентаризируют агентов по всему предприятию, включая тех, что находятся за пределами экосистемы SAP.

Шлюзы верификации встроены в путь развертывания: MCP-серверы, созданные и управляемые в SAP Integration Suite, требуют проверки перед использованием в производстве, а Joule Studio применяет тот же принцип к агентам, покидающим тестовую среду. SAP планирует напрямую привязать эти знаки верификации к таким нормативным актам, как Закон ЕС об искусственном интеллекте, и дополнить их возможностями контроля в рантайме и защитными барьерами до конца 2026 года.

Компания AmTrust Financial Services расширила свою практику корпоративной архитектуры SAP LeanIX на сферу управления ИИ в преддверии выполнения обязательств по Закону ЕС об искусственном интеллекте, создав инвентарь ИИ, присвоив приложениям теги по уровню риска и создав межфункциональный совет по управлению ИИ. CapitaLand создала масштабируемые структуры управления в подразделениях, работающих более чем в 260 городах, что позволило управлению расти параллельно с внедрением, а не перестраиваться для каждого нового развертывания.

По словам Херцига, более сложная проблема заключается во взаимодействии между вендорами, а не внутри какого-то одного из них.

«Наше обнаружение уже охватывает агентов ServiceNow, AWS, Microsoft и Google, находящихся далеко за пределами экосистемы SAP», — говорит Херциг. «В чем индустрия нуждается больше, так это в более сильной открытой экосистеме агентов, поскольку детальная телеметрия, необходимая для оценки производительности агентов, мониторинга их работоспособности и поведения, а также агрегирования этой информации в измеримые бизнес-результаты, скрыта за закрытыми дверями в каждой среде крупного технологического гиганта. Ни одна организация не работает исключительно на SAP или исключительно на Microsoft. Открытие этих данных сделает управление ИИ лучше для всех».

Спонсорские статьи — это контент, подготовленный компанией, которая либо оплачивает публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко маркируются. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.