Безопасность агентного ИИ: компании чаще всего доверяют OpenAI защиту ИИ-агентов, и те, кто так поступает, почти втрое чаще говорят, что злоумышленники опережают их
В августе VentureBeat Intelligence опросила представителей организаций со штатом от 100 сотрудников о том, как они обеспечивают безопасность ИИ-агентов. Встроенные средства защиты OpenAI теперь стали самым распространённым основным уровнем безопасности корпоративных ИИ-агентов. Представители организаций, полагающихся на средства защиты OpenAI, чаще, чем остальные, говорят, что злоумышленники опережают их защиту. Среди организаций, использующих агентов, у 59% агент вызвал инцидент безопасности или едва не привёл к нему.
Теперь компании полагаются на OpenAI в вопросах безопасности своих ИИ-агентов больше, чем на любую другую компанию. В августе 40% организаций, назвавших основной уровень защиты своих агентов, выбрали встроенные средства защиты OpenAI — в июле таких было 21%. Доля Microsoft Azure в августе составила 22%.
Поставщики моделей и облачных сервисов теперь доминируют в сфере безопасности агентов. OpenAI, Microsoft Azure, Google Cloud, Anthropic и AWS выступают основным уровнем защиты в 99% организаций, назвавших такой уровень. Средства контроля этих поставщиков включают инструменты модерации OpenAI, инструменты защиты данных Purview от Microsoft и Bedrock Guardrails от AWS. Специализированные поставщики решений для безопасности и управления идентификацией выступают основным уровнем примерно в 1% организаций.
Представители организаций, полагающихся на OpenAI, также чаще, чем остальные, говорят, что злоумышленники опережают их защиту. Среди организаций, для которых основной уровень защиты агентов — решения OpenAI, 43% считают, что злоумышленники, использующие ИИ, опережают их защиту. Среди организаций, полагающихся на любой другой основной уровень, так считают 16%.
Мы провели августовский опрос через месяц после того, как Hugging Face и OpenAI 16 и 21 июля соответственно сообщили, что собственные тестовые модели OpenAI проникли в рабочую инфраструктуру Hugging Face. В публикации от 26 августа OpenAI сообщила, что модели работали в рамках внутренней оценки без средств защиты, предусмотренных в публичных продуктах компании. OpenAI также заявила, что инцидент не затронул данные клиентов или продукты OpenAI. В опросе об этом инциденте не спрашивали.
Однако у специалистов по безопасности появился наглядный пример того, на что способен функциональный ИИ-агент. Тестовые модели OpenAI использовали программные уязвимости, о которых до того никто не сообщал, чтобы выбраться из песочницы, призванной не допустить их в интернет.
Инциденты с агентами уже широко распространены в компаниях. Среди организаций, использующих агентов, 59% сообщили, что за последние 12 месяцев агент стал причиной подтверждённого инцидента безопасности или едва не привёл к нему, а 30% сообщили о подтверждённом инциденте.
Большинство компаний по-прежнему позволяют своим агентам использовать общие учётные данные. Только 38% организаций, использующих агентов в рабочей среде, предоставляют каждому агенту собственную учётную запись. Остальные 62% запускают некоторых или всех агентов с общими ключами API либо с учётными данными сотрудника или сервисной учётной записи. Общие учётные данные затрудняют специалистам по безопасности отслеживание действий конкретного агента и его отключение без остановки остальных.
Немногие компании строят программу безопасности на изоляции. Только 9% опрошенных говорят, что лучше всего их программу описывает изоляция агентов с высоким уровнем риска в песочнице, и ни один респондент не назвал среди используемых платформ инструмент для изоляции в песочнице.
Многие компании, заявляющие, что проверяют разрешения агентов во время выполнения, всё ещё запускают агентов с общими учётными данными. Среди организаций, использующих агентов в рабочей среде и выбравших вариант «обеспечивать контроль», 59% также сообщили, что некоторые или большинство их агентов используют общие учётные данные.
Компании, уже столкнувшиеся с инцидентом или едва не столкнувшиеся с ним, гораздо чаще планируют внедрить новые средства защиты агентов. Среди организаций, использующих агентов, 91% тех, у кого произошёл инцидент или едва не произошёл, планируют внедрить новые средства защиты агентов в течение 12 месяцев. Среди тех, у кого таких случаев не было, этот показатель составляет 45%. При этом 76% организаций, использующих агентов, направляют на безопасность ИИ и агентов не более 10% бюджета на безопасность.
Вывод 1. OpenAI теперь выступает основным уровнем защиты ИИ-агентов в 40% компаний, назвавших такой уровень, — почти вдвое больше, чем в июле
OpenAI, Microsoft Azure, Google Cloud, Anthropic и AWS вместе выступают основным уровнем защиты агентов в 99% организаций, назвавших такой уровень; среди них лидирует OpenAI.
Основной уровень защиты агентов — это набор средств контроля, на который компания в первую очередь полагается, чтобы ограничивать действия своих ИИ-агентов.
Мы спросили респондентов, какими поставщиками решений или платформами для защиты агентов они пользуются сегодня и какая из них является для них основным уровнем защиты.
Вывод 1 — Основной уровень защиты агентов
40%
OpenAI (встроенные средства защиты и модерация)
22%
Microsoft Azure (Purview, DLP в Copilot Studio)
17%
Google Cloud (Model Armor, средства контроля Vertex AI, Wiz AI-SPM)
13%
Anthropic (средства контроля Claude Managed Agents)
8%
AWS (Bedrock Guardrails)
1%
Специализированные поставщики решений для безопасности и управления идентификацией — вместе
Выборка: 106 респондентов, назвавших основной уровень защиты агентов. По одному ответу от каждого. Пять поставщиков моделей и облачных сервисов вместе: 99%. Единственным названным специализированным поставщиком решений для безопасности и управления идентификацией была Okta for AI Agents.
OpenAI выбрали в качестве основного уровня защиты 40% организаций, назвавших такой уровень, — почти вдвое больше, чем Microsoft Azure (22%). В июле доля OpenAI составляла 21%. Респонденты высоко оценивают свои инструменты защиты агентов: средняя оценка общей удовлетворённости составляет 4,1 из 5, простоты внедрения — 4,1, а соотношения цены и качества — 4,2.
Мы относим поставщиков решений для управления идентификацией, таких как Okta, к специализированным поставщикам решений для безопасности и управления идентификацией, поскольку и те и другие предлагают средства контроля агентов, независимые от платформы, на которой работает агент. Вместе они выступают основным уровнем примерно в 1% организаций, назвавших такой уровень.
Немногие респонденты вообще пользуются специализированными поставщиками решений для безопасности и управления идентификацией. В отдельном вопросе респонденты назвали все платформы, используемые ими для защиты агентов; можно было указать несколько вариантов. Среди респондентов, назвавших свои платформы, только 17% используют хотя бы одного специализированного поставщика решений для безопасности и управления идентификацией.
Вывод 1 — Используемые платформы для защиты агентов
49%
OpenAI
44%
Microsoft Azure
44%
Google Cloud
27%
Anthropic
17%
Любой специализированный поставщик решений для безопасности и управления идентификацией
6%
Cloudflare
3%
Средства защиты с открытым исходным кодом
2%
Palo Alto Networks
2%
Check Point
2%
Платформа управления идентификацией нечеловеческих субъектов
2%
Microsoft Entra Agent ID
1%
CrowdStrike
1%
Собственные средства контроля
0%
SentinelOne
0%
HiddenLayer
0%
Инструмент изоляции во время выполнения
Выборка: 108 респондентов, назвавших используемые ими платформы. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%. В строке о специализированных поставщиках каждый респондент учитывается один раз; Microsoft Entra Agent ID, продукт Microsoft, не включён.
OpenAI используют 49% организаций, Microsoft Azure и Google Cloud — по 44%, Anthropic — 27%, а AWS — 12%. Ни одна другая платформа не набрала более 6% ответов, и ни один респондент не назвал SentinelOne, HiddenLayer или инструмент изоляции во время выполнения.
Вывод 2. Компании, полагающиеся на OpenAI, почти втрое чаще говорят, что злоумышленники опережают их защиту
Среди организаций, для которых основной уровень защиты агентов — решения OpenAI, 43% считают, что злоумышленники, использующие ИИ, опережают их защиту. Среди организаций, полагающихся на любой другой основной уровень, так считают 16%.
Передовые модели ИИ всё лучше находят и эксплуатируют программные уязвимости, а специалистам по безопасности теперь приходится защищаться от злоумышленников, использующих такие модели. Мы спросили всех респондентов, у кого сегодня преимущество в вопросах безопасности их организации.
Вывод 2 — У кого преимущество
34%
Примерно равные силы
22%
Наши средства защиты с применением ИИ опережают злоумышленников
21%
Злоумышленники, использующие ИИ, опережают нашу защиту
17%
Не знаю
6%
Пока рано судить
Выборка: 137 респондентов, соответствующих критериям. По одному ответу от каждого.
Среди всех респондентов 34% считают, что силы злоумышленников и защитников примерно равны, 22% говорят, что их собственная защита опережает злоумышленников, а 21% — что опережают злоумышленники. Семнадцать процентов ответили «не знаю».
Вывод 2 — У кого преимущество, по основному уровню защиты агентов
43%
OpenAI (42)
16%
Любой другой основной уровень (64)
Злоумышленники, использующие ИИ, опережают нашу защиту
31%
OpenAI (42)
45%
Любой другой основной уровень (64)
Примерно равные силы
21%
OpenAI (42)
30%
Любой другой основной уровень (64)
Наши средства защиты с применением ИИ опережают злоумышленников
5%
OpenAI (42)
3%
Любой другой основной уровень (64)
Не знаю
0%
OpenAI (42)
6%
Любой другой основной уровень (64)
Пока рано судить
Выборки: 42 респондента, назвавших основным уровнем защиты агентов OpenAI, и 64 респондента, назвавших любой другой уровень. По одному ответу от каждого.
Организации, для которых основной уровень защиты агентов — решения OpenAI, мы называем «организациями, полагающимися на OpenAI».
Разрыв между организациями, полагающимися на OpenAI, и остальными сохраняется среди тех, кто сталкивался с инцидентом или едва не столкнулся с ним. Среди таких организаций 48% представителей организаций, полагающихся на OpenAI, говорят, что злоумышленники опережают их защиту. Среди тех, кто полагается на другой основной уровень, так считают 21%. Разрыв сохраняется и за пределами технологических и программных компаний: 45% против 13%. Технологических и программных компаний, назвавших основной уровень защиты, было слишком мало для сравнения.
В опросе спрашивали, что респонденты думают о злоумышленниках, но не измеряли, насколько уязвима каждая организация. Частота инцидентов и ситуаций, когда их едва удалось избежать, среди организаций, полагающихся на OpenAI, была слишком близка к показателю остальных организаций, чтобы выявить различие. Мы не можем сказать, почему представители организаций, полагающихся на OpenAI, чаще считают, что злоумышленники опережают их защиту.
Вывод 2 — У кого преимущество, организации, использующие агентов
39%
Был инцидент или ситуация, когда его едва удалось избежать (64)
43%
Не было ни того ни другого (40)
Примерно равные силы
33%
Был инцидент или ситуация, когда его едва удалось избежать (64)
15%
Не было ни того ни другого (40)
Злоумышленники, использующие ИИ, опережают нашу защиту
23%
Был инцидент или ситуация, когда его едва удалось избежать (64)
35%
Не было ни того ни другого (40)
Наши средства защиты с применением ИИ опережают злоумышленников
3%
Был инцидент или ситуация, когда его едва удалось избежать (64)
5%
Не было ни того ни другого (40)
Пока рано судить
2%
Был инцидент или ситуация, когда его едва удалось избежать (64)
3%
Не было ни того ни другого (40)
Не знаю
Выборки: 64 организации, использующие агентов и столкнувшиеся с инцидентом или ситуацией, когда его едва удалось избежать, и 40 организаций, у которых не было ни того ни другого. По одному ответу от каждого.
Среди организаций, использующих агентов, 33% тех, у кого был инцидент или ситуация, когда его едва удалось избежать, считают, что злоумышленники опережают их защиту. Среди тех, у кого таких случаев не было, этот показатель составляет 15%. Мы сравнили эти две группы по пяти показателям. С учётом количества сравниваемых показателей разница в оценке преимущества злоумышленников слишком мала, чтобы сделать вывод. VentureBeat Intelligence задаст этот вопрос ещё раз в следующем выпуске Pulse.
Вывод 3. У 59% компаний, использующих ИИ-агентов, агент уже вызвал инцидент безопасности или едва не привёл к нему
Среди организаций, использующих агентов, 59% сообщили об инциденте или ситуации, когда его едва удалось избежать, за последние 12 месяцев, а 30% сообщили о подтверждённом инциденте.
Агент уже обладает разрешениями, которые ему предоставили. Поэтому он может выполнить несанкционированное действие или раскрыть данные даже без участия внешнего злоумышленника, а злоумышленник, захвативший агента, получает его разрешения.
Мы спросили респондентов, стал ли ИИ-агент причиной инцидента безопасности или ситуации, когда его едва удалось избежать, в их организации за последние 12 месяцев. Среди примеров — несанкционированное действие, раскрытие данных, захват или манипулирование агентом.
Вывод 3 — Инциденты безопасности с агентами или ситуации, когда их едва удалось избежать, за последние 12 месяцев
37%
Инцидентов и подобных ситуаций не было
30%
Подтверждённый инцидент
28%
Нежелательные последствия удалось предотвратить
3%
Мы не отслеживаем такие случаи
2%
Неприменимо
Выборка: 109 респондентов, чьи организации используют агентов в рабочей среде или в пилотном режиме. По одному ответу от каждого.
Мы учитываем подтверждённые инциденты и ситуации, когда их едва удалось избежать, вместе, поскольку и то и другое — события, связанные с безопасностью и вызванные агентом. Ситуация, когда инцидента едва удалось избежать, означает, что средство контроля остановило агента до того, как он причинил вред. Однако это не гарантирует, что то же средство остановит следующий инцидент.
В методологии объясняется, как учитываются ответы, в которых ничего не говорится об инцидентах.
Среди организаций, использующих агентов в рабочей среде, об инциденте или ситуации, когда его едва удалось избежать, сообщили 54%. Среди тех, кто пока проводит пилотное тестирование, показатель составил 66%; разница слишком мала, чтобы сделать вывод.
Вывод 4. 62% компаний, использующих ИИ-агентов в рабочей среде, позволяют агентам совместно использовать учётные данные
Только 38% организаций, использующих агентов в рабочей среде, предоставляют каждому агенту собственную управляемую учётную запись с ограниченными правами; остальные запускают некоторых или всех агентов с общими учётными данными или учётными данными людей.
Когда несколько агентов используют один ключ API или работают под личной учётной записью сотрудника, учётные данные указывают на ключ или человека, а не на агента. Общие учётные данные затрудняют специалистам по безопасности отслеживание действий конкретного агента. Другие журналы активности всё ещё могут показывать, какой агент выполнил действие, но в этом опросе об этом не спрашивали.
Общие учётные данные создают ещё две проблемы. Чтобы остановить агент, работающий некорректно, приходится отзывать ключ, которым пользуются и все остальные агенты. Кроме того, агент, работающий под учётной записью сотрудника, может получить доступ ко многим ресурсам, доступным этому сотруднику.
Мы спросили всех респондентов, как их организация управляет учётными данными и идентификацией ИИ-агентов в рабочей среде. В таблице приведены ответы организаций, использующих агентов в рабочей среде.
Вывод 4 — Управление учётными данными
38%
У каждого агента есть собственная управляемая учётная запись с ограниченными правами
34%
Некоторые агенты используют отдельные учётные записи с ограниченными правами, но многие всё ещё используют общие учётные данные
28%
Большинство агентов работают с общими ключами API или учётными данными людей либо сервисных учётных записей
Выборка: 68 респондентов, чьи организации используют агентов в рабочей среде. По одному ответу от каждого. Планируют внедрить средства защиты агентов в течение 12 месяцев: 69% организаций, где у каждого агента есть отдельная учётная запись (выборка: 26), и 69% организаций, использующих общие учётные данные (выборка: 42).
Среди организаций, использующих агентов в рабочей среде, 62% используют общие учётные данные полностью или частично, а 38% предоставляют каждому агенту собственную учётную запись.
Среди организаций, использующих общие учётные данные, 55% предоставляют отдельные учётные записи с ограниченными правами некоторым, но не всем агентам.
Среди организаций, использующих агентов в рабочей среде, частота инцидентов или ситуаций, когда их едва удалось избежать, у тех, кто предоставляет каждому агенту собственную учётную запись, почти такая же, как у тех, кто использует общие учётные данные: 54% против 55%. В июньском выпуске Pulse разница между организациями, использующими общие учётные данные, и организациями, предоставляющими каждому агенту собственную учётную запись, была слишком мала, чтобы сделать вывод.
Ни одна из организаций, использующих агентов в рабочей среде и общие учётные данные, не назвала среди используемых платформ Okta, платформу управления идентификацией нечеловеческих субъектов или Microsoft Entra Agent ID.
Вывод 5. Среди компаний, использующих агентов в рабочей среде и заявляющих, что проверяют разрешения агентов во время выполнения, 59% также говорят, что некоторые или большинство агентов используют общие учётные данные
Среди респондентов, чьи организации используют агентов в рабочей среде и выбрали вариант «обеспечивать контроль», 59% также сообщили, что некоторые или большинство их агентов работают с общими учётными данными или учётными данными людей.
Мы спросили всех респондентов, какой из четырёх вариантов лучше всего описывает программу безопасности агентов в их организации. В отдельном вопросе мы спросили, как управляют учётными данными агентов.
Три варианта описывают разные виды защиты. «Наблюдать» означает отслеживать и регистрировать действия агентов, чтобы специалисты по безопасности знали, что произошло. «Обеспечивать контроль» означает проверять разрешения каждого агента во время выполнения и пытаться не допустить действий, которые ему выполнять не следует. «Изолировать» означает запускать агентов с высоким уровнем риска в песочнице, ограничивая ущерб на случай, если агент обойдёт другие средства контроля.
Вывод 5 — Программа безопасности агентов
39%
Обеспечивать контроль: у агентов есть учётные записи с ограниченными правами, их разрешения проверяются во время выполнения
29%
Наблюдать: активность отслеживается и регистрируется, контроль во время выполнения ограничен
21%
Специальной программы безопасности агентов пока нет
9%
Изолировать: агенты с высоким уровнем риска работают в песочнице, ограничивающей возможный ущерб
1%
Не знаю
Выборка: 137 респондентов, соответствующих критериям. По одному ответу от каждого.
Вывод 5 — Учётные данные, о которых сообщили респонденты, выбравшие вариант «обеспечивать контроль» и использующие агентов в рабочей среде
43%
Некоторые агенты используют отдельные учётные записи с ограниченными правами, но многие всё ещё используют общие учётные данные
41%
У каждого агента есть собственная управляемая учётная запись с ограниченными правами
16%
Большинство агентов работают с общими учётными данными или учётными данными людей
Выборка: 37 респондентов, чьи организации используют агентов в рабочей среде и выбрали вариант «обеспечивать контроль»; данные сопоставлены с их ответами об учётных данных агентов. По одному ответу от каждого.
Вариант «обеспечивать контроль» сформулирован так: «у агентов есть учётные записи с ограниченными правами, их разрешения проверяются во время выполнения». Лишь 41% респондентов, чьи организации используют агентов в рабочей среде и выбрали этот вариант, также сообщили, что у каждого агента есть собственная учётная запись. Остальные 59% сказали, что некоторые или большинство агентов используют общие учётные данные. Среди использующих агентов в рабочей среде и выбравших этот вариант 43% сообщили, что некоторые агенты используют отдельные учётные записи с ограниченными правами, а многие всё ещё используют общие учётные данные; 16% сказали, что большинство их агентов работают с общими учётными данными или учётными данными людей.
Данные допускают два объяснения. Возможно, респонденты описывают программу, к которой стремится их организация, а не достигнутый уровень внедрения. Или же они заявляют о более строгом контроле, чем позволяют предположить настройки учётных данных.
В августе 29% респондентов выбрали вариант «наблюдать», и только 9% — «изолировать».
Во время инцидента с Hugging Face тестовые модели OpenAI выбрались из песочницы, предназначенной для того, чтобы не допустить их в интернет. В ответ OpenAI сообщила, что будет использовать более изолированные песочницы для рабочих нагрузок, в которых выполняется код, написанный её моделями.
Проверить этот вывод мы можем только на данных за август, поскольку в июле респонденты могли выбрать несколько ответов в обоих вопросах. VentureBeat Intelligence проверит его ещё раз в октябрьском выпуске Pulse.
Вывод 6. Компании, столкнувшиеся с инцидентом или ситуацией, когда его едва удалось избежать, гораздо чаще планируют внедрить средства защиты агентов
Среди организаций, использующих агентов, 91% тех, у кого произошёл инцидент или едва не произошёл, планируют внедрить средства защиты агентов в течение 12 месяцев. Среди тех, у кого таких случаев не было, этот показатель составляет 45%.
Новое или заменяющее решение для защиты агентов меняет средства контроля, ограничивающие действия агентов компании, например порядок идентификации каждого агента, перечень разрешённых ему действий во время выполнения и среду, в которой он работает. Выбор, тестирование и подключение нового решения к уже работающим агентам компании требуют времени. Пока новое решение не запущено, агенты продолжают работать под действием текущих средств контроля компании.
Мы спросили всех респондентов, планируют ли они внедрить новое, дополнительное или заменяющее решение для защиты агентов в ближайшие 12 месяцев и когда именно.
Вывод 6 — План внедрения
32%
Да, в течение 0–3 месяцев
23%
Да, в течение 3–6 месяцев
17%
Да, в течение 6–12 месяцев
28%
Не планируем ничего менять
Выборка: 137 респондентов, соответствующих критериям. По одному ответу от каждого.
Семьдесят два процента респондентов планируют внедрить средства защиты агентов в течение 12 месяцев, а 32% — в течение трёх месяцев.
Вывод 6 — План внедрения, организации, использующие агентов
55%
Был инцидент или ситуация, когда его едва удалось избежать (64)
18%
Не было ни того ни другого (40)
Да, в течение 0–3 месяцев
34%
Был инцидент или ситуация, когда его едва удалось избежать (64)
18%
Не было ни того ни другого (40)
Да, в течение 3–6 месяцев
2%
Был инцидент или ситуация, когда его едва удалось избежать (64)
10%
Не было ни того ни другого (40)
Да, в течение 6–12 месяцев
9%
Был инцидент или ситуация, когда его едва удалось избежать (64)
55%
Не было ни того ни другого (40)
Не планируем ничего менять
Выборки: 64 организации, использующие агентов и столкнувшиеся с инцидентом или ситуацией, когда его едва удалось избежать, и 40 организаций, у которых не было ни того ни другого. По одному ответу от каждого.
Организации, столкнувшиеся с инцидентом или ситуацией, когда его едва удалось избежать, также планируют внедрять средства защиты быстрее. Среди организаций, использующих агентов, 55% тех, у кого произошёл инцидент или едва не произошёл, планируют внедрение в течение трёх месяцев. Среди тех, у кого таких случаев не было, этот показатель составляет 18%.
В следующем выпуске Pulse VentureBeat Intelligence проверит, сохраняется ли этот разрыв.
Доля бюджета показывает иную картину. Среди организаций, использующих агентов, 25% тех, кто столкнулся с инцидентом или ситуацией, когда его едва удалось избежать, направляют на безопасность ИИ и агентов более 10% бюджета на безопасность. Среди тех, у кого таких случаев не было, показатель составляет 23%; разница слишком мала, чтобы сделать вывод.
Вывод 6 — Доля бюджета на безопасность, выделяемая на безопасность ИИ и агентов
4%
Менее 1%
19%
1–5%
53%
6–10%
21%
11–25%
3%
Более 25%
Выборка: 109 респондентов, чьи организации используют агентов в рабочей среде или в пилотном режиме. По одному ответу от каждого. На безопасность ИИ и агентов выделяется не более 10% бюджета на безопасность: 76%.
Что изменилось с июльского выпуска Pulse
В июле и августе VentureBeat Intelligence задавала одни и те же вопросы, но каждый месяц опрашивала разных людей. Поскольку каждый месяц отвечали разные люди, небольшое различие может быть случайным, а не отражать реальные изменения на рынке. В таблице приведены показатели за оба месяца и указано, достаточно ли велика разница, чтобы считать её реальным изменением. Этому критерию соответствуют три показателя, и все они касаются того, какой поставщик выступает основным уровнем защиты агентов.
Изменения, достаточно значимые для выводов
С июльского выпуска Pulse — изменения, достаточно значимые для выводов, июль → август
92% → 99%
Все пять поставщиков моделей и облачных сервисов — основной уровень защиты
Выборки за июль и август: 92 и 106
Изменение достаточно значимое для выводов
21% → 40%
OpenAI — основной уровень защиты
Выборки за июль и август: 92 и 106
Изменение достаточно значимое для выводов
26% → 13%
Anthropic — основной уровень защиты
Выборки за июль и август: 92 и 106
Изменение достаточно значимое для выводов
55% → 59%
Компании, в которых произошёл инцидент с агентом или ситуация, когда его едва удалось избежать
Выборки за июль и август: 93 и 109
Разница слишком мала, чтобы сделать вывод
Выборка: 92 или 93 респондента в июле и 106 или 109 в августе — в зависимости от вопроса. «Изменение достаточно значимое для выводов» означает, что разница больше той, которую можно объяснить случайностью при таком размере выборки. «Разница слишком мала, чтобы сделать вывод» означает, что она укладывается в этот диапазон, поэтому в отчёте она не описывается как изменение. В методологии указан тест, применённый для каждой строки.
В июле пять поставщиков моделей и облачных сервисов выступали основным уровнем защиты в 92% организаций, назвавших такой уровень; в августе — в 99%. Внутри этой группы доля OpenAI выросла с 21% до 40%, а доля Anthropic снизилась с 26% до 13%.
В августе технологические и программные компании составляли меньшую долю респондентов: 15% против 38% в июле. Среди технологических и программных компаний доля OpenAI выросла с 19% до 53% — это реальное изменение. Среди всех остальных респондентов рост с 22% до 37% сам по себе недостаточно велик, чтобы сделать вывод. Если скорректировать августовские ответы с учётом июльского соотношения технологических и программных компаний и остальных компаний, доля OpenAI составит примерно 44%. Значит, рост нельзя объяснить изменением состава респондентов.
Изменения, недостаточно значимые для выводов
Частота инцидентов — показатель, на который, вероятнее всего, будут ссылаться, — единственный в таблице, по которому изменение недостаточно велико для выводов: 55% в июле и 59% в августе. Мы не утверждаем, что количество инцидентов с агентами выросло.
Показатели, которые мы не сравнивали
В таблице не приведены пять показателей: тип программы безопасности, управление учётными данными, доля бюджета, вопрос о том, кто опережает — злоумышленники или защитники, — и отдельный показатель подтверждённых инцидентов. В июле респонденты могли выбрать несколько ответов на эти вопросы, хотя в каждом требовалось указать один вариант; это объясняется в методологии.
Мы также не проверяли разницу между организациями, столкнувшимися с инцидентом или ситуацией, когда его едва удалось избежать, и организациями, у которых таких случаев не было. Эти различия касаются планов по внедрению средств защиты в течение 12 месяцев и мнения о том, что злоумышленники опережают защиту.
Итог: компании доверяют поставщикам моделей и облачных сервисов защиту своих ИИ-агентов, но большинство по-прежнему разрешает агентам использовать общие учётные данные
В июле тестовые модели OpenAI показали, на что способен функциональный ИИ-агент, выбравшись из песочницы. Среди организаций, использующих агентов в рабочей среде, 62% разрешают агентам использовать общие учётные данные. Только 9% респондентов говорят, что лучше всего их программу безопасности описывает изоляция агентов с высоким уровнем риска.
Компании сделали поставщиков моделей и облачных сервисов основным уровнем защиты агентов; лидирует OpenAI с долей 40%. Однако представители организаций, полагающихся на OpenAI, чаще, чем остальные, говорят, что злоумышленники, использующие ИИ, опережают их защиту. Среди организаций, использующих агентов и столкнувшихся с инцидентом или ситуацией, когда его едва удалось избежать, 91% планируют внедрить новые средства защиты агентов в течение года.
Профиль респондентов
|
Размер компании |
Доля от 137 |
|
От 100 до 250 сотрудников |
31% (42) |
|
От 251 до 1 000 сотрудников |
36% (50) |
|
От 1 001 до 5 000 сотрудников |
18% (24) |
|
От 5 001 до 10 000 сотрудников |
7% (9) |
|
Более 10 000 сотрудников |
9% (12) |
Выборка: 137 респондентов. По одному ответу от каждого.
|
Должность |
Доля от 137 |
|
Менеджер |
46% (63) |
|
Специалист |
20% (28) |
|
Топ-менеджмент |
18% (24) |
|
Вице-президент или директор |
16% (22) |
Выборка: 137 респондентов. По одному ответу от каждого.
|
Участие в закупках решений ИИ |
Доля от 137 |
|
Принимает окончательное решение о закупках решений ИИ |
51% (70) |
|
Рекомендует решения или влияет на принятие решения |
32% (44) |
|
Пользователь |
9% (13) |
|
Не участвует |
7% (10) |
Выборка: 137 респондентов. По одному ответу от каждого.
|
Внедрение ИИ-агентов |
Доля от 137 |
|
Агенты используются в рабочей среде |
50% (68) |
|
Пилотное тестирование или ограниченное внедрение агентов |
30% (41) |
|
Пока не используют, но активно оценивают |
15% (20) |
|
Не планируют внедрение в ближайшие 12 месяцев |
3% (4) |
|
Не знаю |
3% (4) |
Выборка: 137 респондентов. По одному ответу от каждого.
|
Отрасль |
Доля от 137 |
|
Здравоохранение и медико-биологические науки |
25% (34) |
|
Технологии и программное обеспечение |
15% (21) |
|
Розничная торговля и электронная коммерция |
12% (16) |
|
Финансовые услуги |
12% (16) |
|
Промышленное производство |
11% (15) |
|
Транспорт и логистика |
9% (12) |
|
Образование |
5% (7) |
|
Телекоммуникации и СМИ |
4% (6) |
|
Профессиональные услуги и консалтинг |
4% (5) |
|
Государственный сектор и органы власти |
3% (4) |
|
Энергетика и коммунальные услуги |
1% (1) |
Выборка: 137 респондентов. По одному ответу от каждого.
Методология
В августе VentureBeat Intelligence провела этот опрос VB Pulse и получила 141 ответ. Из них 137 соответствовали критериям для включения в отчёт. Все показатели рассчитаны на основе ответов этих 137 респондентов, если рядом с показателем не указана меньшая выборка; размер выборки для каждой таблицы приведён в примечании под ней.
Организации, использующие агентов. Если в отчёте речь идёт об организациях, использующих агентов, имеются в виду 68 организаций, в которых агенты работают в рабочей среде, и 41 организация, проводящая пилотное тестирование или ограниченное внедрение, — всего 109.
Показатели по учётным данным. В вопросе об учётных данных спрашивали об агентах, используемых в рабочей среде, поэтому показатели в выводах 4 и 5 относятся к 68 организациям, в которых агенты работают в рабочей среде.
Показатель инцидентов. Показатель инцидентов рассчитан по всем 109 организациям, использующим агентов. Пять процентов дали ответы, которые ничего не говорят об инцидентах: 3% не отслеживают их, а 2% выбрали вариант «не применимо» — он означал «в продуктивной среде нет агентов» и был выбран только организациями, которые пока проводят пилотные испытания. Они остаются в общей выборке и не учитываются ни как случаи инцидентов, ни как организации без инцидентов. Если исключить их, показатель вырастет с 59% до 62%; в этом отчёте используется более низкое значение. В вопросе не было варианта «не знаю», хотя вариант «мы это не отслеживаем» был доступен.
Статус программы. Все респонденты, чьи организации не используют агентов, выбрали вариант «специальной программы безопасности агентов пока нет»; так же ответили 1% организаций, использующих агентов. Поэтому этот показатель почти полностью описывает организации без агентов.
Оценки. На каждый из трёх вопросов об оценках в выводе 1 ответили около 100 респондентов.
Статистические тесты. Различие между двумя группами или между июлем и августом считается реальным, только если результат теста даёт p ниже 0,05; в противном случае нельзя с уверенностью сказать, что различие есть. Два процентных показателя сравниваются с помощью z-теста для двух пропорций или точного критерия Фишера, если в одной из групп меньше 40 респондентов. Чтобы ранжировать два ответа на вопрос с одним вариантом ответа, мы используем точный биномиальный тест. Если в отчёте одни и те же две группы сравниваются по множеству показателей, приводятся только те различия, которые остаются статистически значимыми с учётом числа сравнений. Мы сравнили организации, использующие OpenAI, со всеми остальными организациями, назвавшими основной слой, по 13 показателям; разрыв в пользу атакующих — единственный, который остаётся статистически значимым.
В некоторых группах, рассматриваемых в отчёте, меньше 40 респондентов: 37 респондентов, использующих агентов в продуктивной среде и придерживающихся строгой политики контроля; 26 организаций, использующих агентов в продуктивной среде и предоставляющих каждому агенту собственную идентификационную запись; 29 организаций, использующих OpenAI и столкнувшихся с инцидентом или потенциальным инцидентом; 34 организации, использующие другой основной слой и столкнувшиеся с инцидентом или потенциальным инцидентом; 33 организации за пределами технологического сектора и разработчиков программного обеспечения, использующие OpenAI; 17 технологических компаний и разработчиков программного обеспечения, назвавших основной слой в августе. Процентные показатели для таких небольших групп менее точны; для группы из 17 человек результат может отличаться примерно на 24 процентных пункта в ту или иную сторону от истинного значения.
Сравнение с июлем. VentureBeat Intelligence опрашивала в каждом месяце отдельную выборку, поэтому данные за июль и август описывают две разные группы респондентов. Формулировки вопросов в обоих месяцах были одинаковыми, но в июле респонденты могли выбирать несколько вариантов ответа в пяти вопросах, предполагавших только один ответ: о статусе программы, обращении с учётными данными, доле бюджета, соотношении атакующих и защитников и инцидентах. Поэтому в помесячной таблице сравниваются только объединённые показатели инцидентов и потенциальных инцидентов, а остальные четыре вопроса не приводятся. По той же причине опубликованный за июль показатель применения мер контроля среди организаций, использующих агентов, — 65% — нельзя сравнивать с августовским показателем в 50%.
VentureBeat Intelligence проводит опросы среди самостоятельно отобравшейся группы читателей VentureBeat и участников панели. Результаты описывают этих респондентов, а не все предприятия, и могут быть распространены на рынок в целом лишь в той мере, в какой это позволяет состав данной группы.



