85% ИТ-команд утверждают, что каждый ИИ-агент находится под контролем

85% ИТ-команд утверждают, что каждый ИИ-агент находится под контролем

Источник: VentureBeat · Louis Columbus

Согласно новому исследованию компании Ivanti, в котором приняли участие 3 900 сотрудников из шести стран, руководители организаций почти в два раза чаще скрывают использование искусственного интеллекта по сравнению с остальными сотрудниками (42% против 23%). Среди лидеров, которые скрывают такое использование, 52% заявляют, что делают это ради «секретного преимущества». Согласно тому же исследованию, 85% ИТ-специалистов утверждают, что у каждого ИИ-агента есть назначенный владелец. Однако лишь 42% говорят, что зона ответственности действительно понятна — это разрыв в 43 пункта, преодолеть который не способна ни одна структура управления.

Сэм Эванс (Sam Evans), директор по информационной безопасности (CISO) компании Clearwater Analytics, выступил перед советом директоров и обрисовал риски для активов на сумму 8,8 триллиона долларов, которые поддерживает платформа его фирмы. «Худшее, что может случиться — это если кто-то из наших сотрудников возьмет клиентские данные и передаст их в ИИ-механизм, который мы не контролируем», — сказал Эванс в интервью VentureBeat. Он принес с собой решение, а не просто проблему. Многие CISO, у которых брал интервью VentureBeat, этого не сделали.

Билл Роббинс (Bill Robbins), генеральный директор Menlo Security, рассказал о беседе с CISO одного из трех крупнейших банков США, который назвал обнаружение теневого ИИ «безнадежной затеей»: ИИ встроен в каждое приложение и браузер, с которыми работают сотрудники. Банк осуществляет управление через изоляцию, а не обнаружение.

Масштабы оправдывают такой подход. «Мы фиксируем по 50 новых ИИ-приложений в день и уже каталогизировали более 12 000», — рассказал VentureBeat генеральный директор Prompt Security Итамар Голан (Itamar Golan). — Около 40% из них по умолчанию используют любые вводимые вами данные для обучения, а это значит, что ваша интеллектуальная собственность может стать частью их моделей». CrowdStrike зафиксировала 1 800 ИИ-приложений, работающих на 160 миллионах конечных точек. Это цифры, предоставленные вендорами на основе проприетарной телеметрии. Ни одна независимая сторона не может их проверить. Направление тенденции важнее точного подсчета.

Технический директор CrowdStrike Элия Зайцев (Elia Zaitsev) описал, почему эту сферу так трудно контролировать. «Совершенно невозможно отличить, управляет ли агент вашим веб-браузером или вы сами управляете своим браузером», — сказал Зайцев изданию VentureBeat на конференции RSAC 2026. — Наблюдение за реальными кинетическими действиями — это структурированная и решаемая проблема. Намерение — нет». Среда теневого ИИ — это больше не список, который могут поддерживать команды безопасности. Это среда, с которой приходится мириться как с данностью.

Опрос Ivanti был независимо проведен компаниями Ravn Research и MSI Advanced Customer Insights среди 1 500 ИТ-специалистов. Среди компаний, имеющих правила использования ИИ, лишь 24% сотрудников заявляют, что эти правила соблюдаются «очень последовательно» в повседневной работе.

Кейн МакГладри (Kayne McGladrey), старший член IEEE, объяснил VentureBeat, почему этот пробел в управлении сохраняется. «Все, что имеет отношение к кибербезопасности, обычно относят к категории рисков кибербезопасности, что является полной фикцией. Они должны сосредоточиться на бизнес-рисках, потому что если это не влияет на бизнес, например, в виде финансовых потерь, то никто не обратит на это внимания, и под это не будут выделены соответствующие бюджеты, а также не будут должным образом внедрены средства контроля для их предотвращения», — отмечал ранее МакГладри в интервью VentureBeat.

Партнеры-брокеры из крупных консалтинговых фирм сообщили в Signal, что они создают приложения теневого ИИ в Google Colab и хранят их в корзинах S3, чтобы сократить неделю финансового анализа до одного часа. Процесс утверждения занимает слишком много времени, поэтому они обходят его стороной.

VB Transform · 14–15 июля · Менло-Парк · Безопасность и идентификация агентов

У ваших агентов есть доступ к электронной почте, кредитным картам и терминалу. Что произойдет, если они будут скомпрометированы?

Сессии по безопасности агентов охватывают промпт-инъекции, песочницы в регулируемых средах и протоколы доверенных агентов, которые Visa тестирует на собственной критической инфраструктуре.

Посмотреть полную программу →

Управление во время развертывания, сбой во время выполнения

При выпуске модели проверки оценивают функциональные требования, но они никогда не проверяют происхождение модели, поведенческий дрейф или то, не расширил ли агент свои собственные разрешения после запуска.

Генеральный директор CrowdStrike Джордж Курц (George Kurtz) сообщил на конференции RSA Conference 2026, что ИИ-агент генерального директора компании из списка Fortune 50 переписал политику безопасности компании, чтобы расширить собственную автономию. Компания обнаружила это случайно. Каждая проверка учетных данных прошла успешно. «В эпоху агентов защита от ускоренных ИИ злоумышленников и обеспечение безопасности самих ИИ-систем требуют работы на машинной скорости», — сказал Курц. Ежеквартальные проверки управления не работают на машинной скорости.

Майк Ример (Mike Riemer), полевой CISO в Ivanti, учел этот урок при разработке ИИ-агента собственной команды. «Он отлично справляется с тем, для чего я его задумывал, но он также отлично справляется и с тем, для чего я его не задумывал, а то, для чего я его не задумывал, представляет опасность», — сказал Ример в интервью VentureBeat.

Данные о галлюцинациях усугубляют проблему. Согласно данным Ivanti, 68% ИТ-специалистов лично сталкивались с тем, что ИИ генерировал галлюцинации, способные повлиять на операционную деятельность. Более половины обнаружили ошибки до того, как был нанесен ущерб, но 16% — нет. Тем не менее, среди наиболее продвинутых пользователей ИИ 49% полностью доверяют результатам генерации ИИ, которые влияют на ИТ-решения.

Ример описал эту тенденцию в эксклюзивном интервью VentureBeat. «Есть люди, которые просто принимают то, что им дают, не имея полного понимания того, что это делает, с чем мы сталкиваемся в технологической индустрии на протяжении десятилетий», — сказал Ример. — Они не ставят под сомнение то, как это делается. Они просто начинают оценивать систему по ее результату».

Директор по информационной безопасности Qualtrics Ассаф Керен (Assaf Keren) обозначил главную проблему в эксклюзивном интервью VentureBeat. Организации внедряют «недетерминированное принятие решений в среды, созданные для детерминированных процессов». Керен сослался на внутренние данные Qualtrics, показывающие, что 22% триажа в SOC теперь управляется с помощью ИИ. Не существует четкого кодифицированного порога, который отделял бы то, что агент может выполнить автоматически, от того, что требует участия человека.

18-месячное окно

Окно возможностей для исправления этой ситуации закрывается. Согласно данным Ivanti, ИТ-организации ожидают, что ИИ <автоматизирует 46% их операций в течение 18 месяцев. В американских компаниях этот показатель прогнозируется на уровне 52%. Управление уже сейчас называют наиболее частым препятствием на пути к более быстрому внедрению, опережающим нехватку навыков, технологические и трудности с данными.

Разрыв в уровне зрелости делает проблему управления еще более опасной. ИТ-специалисты в зрелых в отношении ИИ организациях экономят шесть часов в неделю — вдвое больше, чем три часа экономии на самом низком уровне зрелости. Почти 9 из 10 ИТ-специалистов в крупных организациях говорят, что ИИ часто помогает обнаруживать или решать проблемы до того, как они затронут сотрудников. В организациях, находящихся на стадии ранних экспериментов, этот показатель падает до четырех из десяти. 69% зрелых организаций сообщают о полностью внедренных системах управления по сравнению с 15% на этапе ранних экспериментов.

42% of IT leaders hid their own AI use. 52% said it gave them a secret advantage. 6 questions that catch what governance missed

Источник: Ivanti, Scaling AI in IT Operations: The Path to Maturity in 2026. Ответы ИТ-специалистов (n=1,500). Ответы округлены до ближайшего процента.

Президент Cisco Джиту Пател (Jeetu Patel) рассмотрел гипотетический сценарий в интервью на RSAC 2026: агент, который тратит 40 000 долларов, приглашает конкурентов в канал Slack и публикует домашние адреса. «Извинения — это не средство защиты», — сказал Пател изданию VentureBeat.

Вице-президент Cato Networks по аналитике угроз Этай Маор (Etay Maor) сформулировал проблему ответственности в отдельном интервью на RSAC. «Они ближе к людям. Почему мы не проводим проверку биографических данных агентов?»

«ИИ сжимает время между намерением и исполнением, одновременно превращая корпоративные ИИ-системы в мишени», — заявил VentureBeat вице-президент CrowdStrike по операциям разведки Адам Мейерс (Adam Meyers).

«Разрешение на одно действие не означает разрешение на следующее», — заявил старший вице-президент Cisco по программному обеспечению и платформам ИИ Джи Сампат (DJ Sampath) в другом интервью.

МакГладри описал первопричину. Организации по умолчанию клонируют профили человеческих пользователей для агентов, и разрастание прав доступа начинается с первого дня. «Он использует гораздо больше разрешений, чем должен иметь, больше, чем использовал бы человек, из-за скорости масштабирования и намерений», — пояснил он.

Команда Римера встроила управление в собственный процесс разработки Ivanti. «Мы используем один ИИ для проверки другого, чтобы убедиться в правильности исправления. Две разные модели, два разных производителя», — сказал Ример. — Если один ИИ считает, что другой ИИ исправил все правильно, он передает задачу человеку».

Ример сформулировал вопрос к вендору в терминах, которые может использовать любой CISO за столом переговоров. «Если у этого вендора нет способа показать вам, что они сделали с точки зрения разработки для совершенствования своих процессов создания продуктов, вам действительно стоит задуматься, почему вы работаете с этим вендором», — добавил он.

Шесть приведенных ниже вопросов затрагивают аспекты управления, в которых обеспечение соблюдения правил дает сбой во время выполнения. CISO могут использовать их во время продления контрактов с вендорами в третьем квартале, чтобы отделить поставщиков, реализующих контроль на этапе выполнения, от тех, кто ограничивается предоставлением документации.

Шесть вопросов об управлении для продления контрактов в третьем квартале

Аспект управления

Что показали данные

Почему управление упускает это из виду

Вопрос при продлении в Q3

Артефакт-доказательство, который следует запросить

Теневой ИИ у руководства

Лидеры скрывают использование ИИ в 42% случаев против 23% у остальных сотрудников. 52% скрывают это ради «секретного преимущества». В регулируемых отраслях зафиксированы самые высокие показатели использования неутвержденных инструментов.

Система управления предполагает, что авторы политик следуют им. Руководители находятся над средствами контроля, которые они сами написали.

Способны ли ваши DLP, браузер, SSE и телеметрия конечных точек обнаруживать перемещение данных ИИ на уровне руководства с таким же охватом, как и для всех остальных пользователей?

Журналы телеметрии DLP, браузера, SSE и конечных точек на уровне руководства, демонстрирующие идентичный охват по сравнению со всеми остальными пользователями.

Назначенные владельцы агентов

85% заявляют о наличии назначенного владельца. Лишь 42% говорят, что право собственности четко определено. Разрыв в 43 пункта.

Владелец указан в таблице. Агент работает в реальном времени. Никто не проверял, сможет ли владелец отключить агента под нагрузкой.

Можете ли вы назвать владельца каждого ИИ-агента? Может ли этот владелец отозвать доступ за 60 секунд?

Демонстрация в реальном времени отзывов доступа агента за 60 секунд под рабочей нагрузкой.

Проверка перед развертыванием

65% проводят проверку рисков до развертывания. При этом только 24% заявляют, что любая политика использования ИИ соблюдается «очень последовательно». Проверка существует. Контроля исполнения нет.

Проверка оценивает функциональные требования при развертывании. Она никогда не проверяет происхождение модели или поведенческий дрейф во время выполнения.

Охватывает ли ваша проверка происхождение модели? Является ли она обязательной к исполнению или носит рекомендательный характер?

Сертификат происхождения модели с журналом соблюдения требований и записями о заблокированных развертываниях.

Соблюдение политик

58% имеют политики допустимого использования. 24% соблюдаются «очень последовательно». Задокументировано. Не применяется на практике.

Агент преследовал свою цель, преодолевая любые границы. Стремление к цели не останавливается перед документом, который модель никогда не читает.

Контролируются ли правила шлюзами на стороне сервера или соответствием самого агента? Какой процент действий контролируется шлюзами?

Аудиторский след серверного шлюза с указанием процента контролируемых действий агента по сравнению с неконтролируемыми.

Пороги доверия

68% сталкивались с галлюцинациями, влияющими на операционную деятельность. 49% продвинутых пользователей полностью доверяют результатам.

Нет кодифицированного порога, отделяющего автоматическое выполнение от проверки человеком.

Какие действия агента выполняются автоматически, а какие требуют проверки человеком? Закреплено ли это в правилах или на уровне платформы?

Задокументированная матрица пороговых значений, классифицирующая каждое действие агента как требующее автоматического выполнения или проверки человеком.

Авторизация каждого действия

Управление — препятствие №1 (27%). Навыки — 20%. Технологии — 17%. Данные — 14%.

Контроль осуществляется ежеквартально. Агенты действуют ежесекундно.

Осуществляется ли авторизация каждого действия во время выполнения или только при проверке перед развертыванием? Могут ли агенты накапливать разрешения без повторной авторизации?

Журнал авторизации во время выполнения, показывающий события шлюза для каждого действия и временные метки повторной авторизации прав.

Исходные данные: Ivanti, Scaling AI in IT Operations: The Path to Maturity in 2026 (n=1500 ИТ-специалистов, 3900 сотрудников всего, шесть стран, февраль–март 2026 г.). Эксклюзивные источники CISO от VentureBeat.

Эванс придал структурированный вид беседе с советом директоров Clearwater. Банковский CISO, о котором рассказывал Роббинс, исходил из того, что ИИ повсюду, и осуществлял управление через изоляцию, а не обнаружение. Управление, пытающееся каталогизировать каждый инструмент теневого ИИ, потерпит неудачу, потому что эта сфера растет быстрее любого инвентарного списка.

По данным Ivanti, в зрелых, критически важных для бизнеса организациях 54% ИТ-специалистов заявляют, что ИИ делает их работу одновременно более быстрой и качественной. В организациях на этапе ранних экспериментов об этом говорят 24%. В крупных организациях ответственность заложена в самой платформе. В молодых компаниях она закреплена в документе, который агент никогда не читает.

Шесть приведенных выше вопросов дают каждому CISO возможность проверить, действительно ли их система управления работает там, где это важно. Во время выполнения, под нагрузкой и перед тем, как пройдет следующая проверка при продлении.

Безопасность

Смотреть все

Подпишитесь на свежие новости!

Глубокая аналитика для руководителей в области корпоративного ИИ, данных и безопасности

Подписаться по RSS

RSS-ленты обновляются каждые 15 минут.