Forrester предупреждает о 60-процентном уровне неудач генеративного ИИ

Акула из фильма «Челюсти» атаковала без предупреждения, наглядно демонстрируя, как высший хищник использует хаос, чтобы нанести своим жертвам смертельный, разрушительный урон. По заявлению аналитиков Forrester, генеративный ИИ стал именно таким хищником в руках злоумышленников: тем самым, который никогда не устает и не спит, действуя в огромных масштабах.

«В „Челюстях“ акула выступает агентом хаоса, — заявила главный аналитик Forrester Элли Меллен (Allie Mellen) участникам саммита по безопасности и рискам 2025 года, организованного ИТ-консалтинговой компанией. — Сегодня у нас появился собственный агент хаоса… И этот агент хаоса — генеративный ИИ».

Меллен подкрепила свое заявление солидной базой количественных исследований, иллюстрирующих фундаментальные слабости и ненадежность систем искусственного интеллекта. Как она подчеркнула: «ИИ ошибается. Он ошибается не просто изредка — он ошибается большую часть времени».

Модели дают сбой в 60% случаев

Из множества исследований, упомянутых Меллен в ее ключевом докладе, одним из самых разоблачительных является работа Центра цифровой журналистики Тоу при Колумбийском университете, в рамках которой проанализировали восемь различных моделей ИИ, включая ChatGPT и Gemini.

Исследователи выяснили, что в целом модели ошибались в 60% случаев: их совокупная производительность приводила к большему числу неудачных запросов, чем точных.

ИИ-агенты регулярно не справляются с реальными задачами

Джефф Поллард (Jeff Pollard), вице-президент и главный аналитик Forrester, также развил эту мысль. «Ваш специалист по red teaming теперь стал оркестратором ИИ-агентов для red teaming, — сказал он. — Традиционное тестирование на проникновение ищет изъяны в инфраструктуре. ИИ-агенты для red teaming работают иначе. Они симулируют злонамеренные атаки непосредственно на саму модель ИИ».

Поллард сослался на несколько исследований, среди которых особенно примечательна работа исследователей из Университета Карнеги — Меллона. Они обнаружили, что ИИ-агенты терпят неудачу в 70–90% случаев при решении реальных корпоративных задач.

Почти половина (45%) кода, сгенерированного ИИ, содержит известные уязвимости из списка OWASP Top 10. Риски генеративного ИИ как агента хаоса усугубляются повсеместным распространением теневого ИИ: 88% руководителей по безопасности признались, что используют неавторизованный ИИ в повседневной работе.

Прогноз Forrester о том, что к 2029 году объем <рынка управления доступом> рынка управления идентификационными данными вырастет на 27 миллиардов долларов, подчеркивает, насколько глубоко ген ИИ проникает в каждую учетную запись, которую организации необходимо защищать — от созданных людьми до сгенерированных машинами. Внутренние риски генеративного ИИ — это тот агент хаоса в кибербезопасности, появления которого никто не ожидает.

Меллен проиллюстрировала масштаб ставок на конкретном примере: «ИИ не обязательно знает, что акулы не живут на суше», — пояснила она, ссылаясь на сгенерированную ИИ карту, на которой нападения акул были отмечены в Вайоминге, не имеющем выхода к морю штате в тысяче миль от океана. «Ничего страшного, если ИИ ошибается при создании карты нападений акул, но совсем другое дело, если он ошибается во время инцидента безопасности. ИИ преподносит нам новый тип ложноположительных срабатываний, на этот раз — для расследования инцидентов и реагирования на них».

ИИ уверенно разместил нападения акул в Вайоминге, в тысяче миль от океана. Большие языковые модели не терпят неудачу тихо. Они галлюцинируют с абсолютной уверенностью, а затем отправляются в продакшн. Источник: Саммит по безопасности и рискам 2025 года.

Когда неполнота в 70–90% сталкивается со скоростью продакшна

Поллард процитировал бенчмарк AgentCompany университета Карнеги — Меллона, который протестировал ведущие модели ИИ на 175 реальных корпоративных задачах. Claude 3.5 Sonnet, GPT-4 и специализированные корпоративные агенты продемонстрировали системные паттерны сбоев. Лучшие результаты показали выполнение лишь 24% задач в автономном режиме.

При усложнении задач уровень отказов подскочил до 70–90%. Поллард также возглавлял исследовательскую группу по ИИ в Salesforce, которая опубликовала не менее разоблачительные результаты. Агенты, ориентированные на CRM, провалили 62% базовых корпоративных задач. Когда исследователи применили средства защиты конфиденциальности и безопасности, точность упала вдвое, подняв уровень отказов выше 90%. Компания Salesforce подробно описала эти выводы на сессии по агентному ИИ на конференции Dreamforce 2024.

Отчет Veracode по безопасности кода на базе генеративного ИИ за 2025 год протестировал 80 задач по программированию на четырех языках (Java, Python, C, JavaScript) и более чем 100 больших языковых моделях (LLM). Результаты поражают: 45% кода, созданного ИИ, содержат уязвимости из списка OWASP Top 10. Показатели безопасности для разных языков существенно различаются. Худшие результаты показала Java с уровнем защиты 28,5%, в то время как Python (55,3%), C (57,3%) и JavaScript (61,7%) выступили лучше. Межсайтовый скриптинг (XSS) и внедрение логов оказались катастрофическими: показатели безопасности составили всего 12–13%. SQL-инъекции и криптографические алгоритмы набрали больше баллов — от 80 до 86%.

Ключевой вывод исследования заключается в том, что показатели безопасности остались на прежнем уровне, несмотря на драматические улучшения синтаксиса. Более новые и крупные модели генерируют более компилируемый код, но при этом привносят уязвимости. Эти выводы отражают влияние обучающих данных на качество и надежность кода.

Уровни безопасности кода в зависимости от языка программирования. Источник: Отчет Veracode по безопасности кода на базе генеративного ИИ за 2025 год

Каждая новая учетная запись создает новую поверхность атаки

Учетные записи — первая и излюбленная цель злоумышленников, а мультипликативный эффект ИИ экспоненциально повышает эти риски. Мерритт Максим (Merritt Maxim), вице-президент и директор по исследованиям Forrester, озвучил отрезвляющую реальность: «Безопасность идентификационных данных переживает самые масштабные изменения с момента выхода SSO в мейнстрим. Речь больше не идет об инновациях; речь идет о сбоях в сдерживании».

Максим также пояснил: «Права доступа больше не статичны. Мы перешли к концепции нулевых постоянных привилегий (zero standing privilege); теперь права доступа динамичны и предоставляются точно в срок».

Августовский взлом OAuth-токенов 2025 года, затронувший более 700 клиентов Salesforce, стал неопровержимым доказательством этого. Джефф Кэрнс (Geoff Cairns), главный аналитик Forrester, подчеркнул всю серьезность ситуации: «OAuth-токены, ключи API, сертификаты… это не конфигурационные артефакты. Это высокоценные цифровые идентификаторы. И когда вы не управляете ими, вы теряете бизнес».

Поскольку генеративный ИИ расширяет сферу распространения учетных записей, традиционное управление рушится со скоростью работы машин. В Forrester прогнозируют рост рынка управления доступом и идентификацией (IAM) до 27,5 миллиардов долларов к 2029 году. Десятка главных выводов в сфере безопасности идентификационных данных отражает рост машинных учетных записей, что создает дополнительную сложность и потенциальный хаос, к которому каждый специалист по безопасности должен подготовиться уже сейчас.

Источник: Саммит по безопасности и рискам 2025 года.

Вооруженный генеративный ИИ — высший хищник, рыщущий по корпоративным сетям

Саммит Forrester по безопасности и рискам 2025 года не просто обозначил угрозы — он предоставил готовый план выживания.

Вооруженный генеративный ИИ стал главным хищником в корпоративных сетях, действуя скрытно, неумолимо и в беспрецедентных масштабах.

VentureBeat считает, что специалистам по управлению рисками и безопасности необходимо предпринять следующие важные шаги по мере того, как генеративный ИИ становится все более распространенной угрозой:

1. Рассматривайте ИИ-агентов как критически важные для бизнеса учетные записи и осознайте, что четкое управление этим новым классом идентификаторов жизненно важно во всех подразделениях компании. Вице-президент и главный аналитик Forrester Андрас Чер (Andras Cser) прямо отметил: «ИИ-агенты занимают промежуточное положение между машинными и человеческими идентификаторами: они обладают высоким объемом, высокой степенью автономности и мощным воздействием. Устаревшие инструменты IAM не могут эффективно управлять ими». Специализированные платформы управления крайне необходимы, так как они способны обеспечить видимость в реальном времени, адаптивный мониторинг и динамическую авторизацию специально для идентификаторов ИИ-агентов».

2. Уделите первоочередное внимание развитию и наращиванию потенциала ИИ-команд red teaming. Поллард предупредил: «Инфраструктурные уязвимости имеют значение, но именно изъяны в моделях ИИ могут вас погубить. Традиционный пентестинг устарел. Команды ИИ по red teaming должны упреждающе обнаруживать и смягчать специфические для ИИ уязвимости, включая инъекции промптов, эксплуатацию предвзятости, инверсию моделей и каскадные сбои автономных агентов».

3. Действуйте исходя из очевидного предположения о неизбежности сбоев ИИ. Специалисты Forrester ставили своей целью донести мысль о том, насколько ненадежен генеративный ИИ. И они преуспели в этом. Ключевой доклад Меллен отлично это продемонстрировал. ИИ «преподносит нам новые ложноположительные результаты, особенно во время расследований и реагирования», отметила Меллен. Учитывая доказанный уровень сбоев около 60%, организации должны исходить из того, что системы ИИ будут регулярно давать сбои.

4. Проектируйте и внедряйте средства контроля безопасности так, чтобы они могли быстро адаптироваться к скорости работы машин. Максим заявил: «Права доступа больше не статичны. Мы перешли к нулевым постоянным привилегиям; права доступа теперь динамичны и предоставляются точно в срок». Традиционные средства контроля, рассчитанные на человека, неэффективны против скорости генеративного ИИ.

5. Беспощадно искореняйте слепое доверие к автоматизации и любую устаревшую инфраструктуру, основанную на презумпции доверия. Бенчмарк AgentCompany университета Карнеги — Меллона наглядно продемонстрировал катастрофические показатели отказов ИИ-агентов (70–90%) среди моделей высшего уровня. В одном из самых громких заявлений мероприятия Поллард прямо предупредил: «Защитные барьеры не делают агентов безопасными — они заставляют их молчаливо давать сбой». Организации должны без компромиссов непрерывно проверять, аудировать и тестировать автоматизированные системы. Слепое доверие к автоматизации — это катастрофа, которая ждет своего часа, и предположение о доверительных отношениях с устаревшими системами ничуть не лучше. И то, и другое — потенциальные бреши, которые только и ждут, пока злоумышленник найдет уязвимость и воспользуется ею.