ИИ-агенты расширяют корпоративную поверхность атаки

ИИ-агенты теперь имеют больше доступа и подключений к корпоративным системам, чем любое другое ПО в инфраструктуре. Это делает их более крупной поверхностью атаки, чем все, с чем службами безопасности приходилось сталкиваться ранее, и у отрасли пока нет для этого единой концепции. «Если этот вектор атак будет задействован, это может привести к утечке данных или к чему-то еще худшему», — заявил Спирос Ксантос (Spiros Xanthos), основатель и генеральный директор Resolve AI, выступая на недавнем мероприятии VentureBeat AI Impact Series.

Традиционные системы безопасности созданы с расчетом на взаимодействие с людьми. Пока еще не существует общепринятой модели для ИИ-агентов, которые обладают собственной «личностью» и могут работать автономно, отметил на том же мероприятии Джон Аниано (Jon Aniano), старший вице-президент по продуктам и CRM-приложениям в Zendesk. Агентный ИИ развивается быстрее, чем предприятия успевают выстраивать защитные барьеры — а протокол контекста модели (Model Context Protocol, MCP), снижая сложность интеграции, в то же время усугубляет проблему.

«Прямо сейчас это нерешенная проблема, потому что царит полнейшая анархия», — сказал Аниано. «У нас нет даже четкого технического межсетевого протокола для взаимодействия агентов, с которым согласились бы все компании. Как найти баланс между ожиданиями пользователя и тем, что обеспечивает безопасность вашей платформы?»

MCP по-прежнему «крайне уязвим»

Предприятия все активнее подключаются к серверам MCP, поскольку они упрощают интеграцию между агентами, инструментами и данными. Тем не менее, серверы MCP имеют тенденцию быть «крайне вседозволенными», отметил Ксантос.

По его мнению, они «на самом деле, пожалуй, хуже, чем API», поскольку API имеют хотя бы больше элементов контроля, которые можно применить к агентам.

Современные агенты действуют от имени людей на основе явных разрешений, обеспечивая тем самым ответственность человека. «Но в будущем у вас могут быть десятки или сотни агентов с собственными цифровыми удостоверениями и правами доступа», — говорит Ксантос. «Это превращается в сложнейшую матрицу».

Хотя его стартап разрабатывает автономных ИИ-агентов для обеспечения надежности инфраструктуры (SRE) и системного управления, он признал, что в отрасли «полностью отсутствует концепция» для работы с автономными агентами.

«Мы сами — и все те, кто создает агентов — должны решать, какие ограничения им задавать», — подчеркнул Ксантос. И клиенты должны иметь возможность доверять этим решениям.

Некоторые существующие инструменты безопасности действительно предлагают детальный контроль доступа (например, Splunk разработал метод предоставления доступа к определенным индексам в базовых хранилищах данных), отметил он, но большинство из них ориентированы на людей и имеют более широкий охват.

«Мы пытаемся разобраться с этим с помощью имеющихся инструментов», — сказал он. «Но я не думаю, что их достаточно для эпохи агентов».

Кто несет ответственность, если ИИ неправильно аутентифицирует пользователя?

В Zendesk и других компаниях-поставщиках платформ для управления взаимоотношениями с клиентами (CRM) ИИ задействован во множестве пользовательских взаимодействий, отметил Аниано — по сути, сейчас это происходит в «объемах и масштабах, о которых мы как бизнес и общество даже не помышляли».

Ситуация может осложняться, когда ИИ помогает операторам-людям: контрольный журнал (аудит-трейл) может превратиться в настоящий лабиринт.

«Итак, теперь у вас есть человек, который общается с другим человеком, общающимся с ИИ», — отметил Аниано. «Человек дает ИИ указание к действию. Кто виноват, если это действие окажется неверным?» Ситуация становится еще более запутанной, когда в процесс вовлечено «несколько ИИ и несколько людей».

Чтобы агенты не выходили из-под контроля, в Zendesk стараются придерживаться «очень строгих» правил в отношении доступа и области видимости; тем не менее, клиенты могут определять собственные защитные барьеры в соответствии со своими потребностями. В большинстве случаев ИИ может обращаться к источникам знаний, но они не пишут код и не выполняют команды на серверах, пояснил Аниано. Если ИИ все же вызывает API, он «декларативно спроектирован» и санкционирован, а производимые действия четко прописаны.

Тем не менее, запросы клиентов захлестывают эти сценарии, и «мы сейчас фактически удерживаем оборону», добавил он.

Индустрия должна разработать конкретные стандарты взаимодействия агентов. «Мы вступаем в мир, где с помощью таких технологий, как MCP, способных автоматически обнаруживать инструменты, нам придется создавать новые методы безопасности для определения того, с какими инструментами эти боты могут взаимодействовать», — сказал Аниано.

Что касается безопасности, предприятия обоснованно беспокоятся, когда ИИ берет на себя задачи аутентификации, такие как отправка и обработка одноразовых паролей (OTP), СМС-кодов или других методов двухфакторной верификации, отметил он. Что произойдет, если ИИ ошибочно аутентифицирует или идентифицирует кого-либо? Это может привести к утечке конфиденциальных данных или открыть лазейку для злоумышленников.

«Сейчас существует целый спектр, и на одном конце этого спектра сегодня находится человек», — говорит Аниано. Тем не менее, «на другом конце этого спектра завтра может оказаться специализированный агент, созданный для того, чтобы воспроизводить то же интуитивное или человеческое взаимодействие».

Сами клиенты находятся на разных этапах внедрения и принятия технологий. В определенных компаниях — в частности, в сфере финансовых услуг или в других жестко регулируемых секторах — люди по-прежнему должны участвовать в аутентификации, отметил Аниано. В других случаях традиционные компании или консерваторы доверяют проверку подлинности одних людей только другим людям.

Он отметил, что Zendesk экспериментирует с новыми ИИ-агентами, которые «чуть сильнее интегрированы в системы», и работает с избранной группой клиентов над созданием защитных барьеров.

Приближается эпоха постоянных авторизаций

В некотором будущем ИИ-агентам могут доверять выполнение некоторых задач даже больше, чем людям, и предоставлять им разрешения «далеко за пределами» того, что доступно людям сегодня, считает Ксантос. Но до этого еще далеко, и по большей части именно страх перед возможными сбоями сдерживает предприятия.

«И это разумный страх, верно? Я не говорю, что это плохо», — отметил он. Многие предприятия просто еще не готовы полностью доверить агенту выполнение всех этапов рабочего процесса или полное замыкание цикла без участия человека. Им по-прежнему необходима проверка людьми.

Resolve AI находится на пороге предоставления агентам постоянной авторизации в нескольких «в целом безопасных» сценариях, таких как написание кода; оттуда они перейдут к более универсальным и не столь рискованным сценариям, пояснил Ксантос. Но он признал, что всегда будут существовать ситуации повышенного риска, когда ошибки ИИ могут «изменить состояние производственной системы», как он выразился.

Тем не менее, в конечном счете: «Назад дороги нет, очевидно; это развивается быстрее, чем даже мобильные технологии. Так что вопрос в том, что нам с этим делать?»

Что службы безопасности могут сделать уже сейчас

Оба докладчика указали на промежуточные меры, доступные в рамках существующих инструментов. Ксантос отметил, что некоторые инструменты — в том числе Splunk — уже предлагают детализированный контроль доступа на уровне индексов, который можно применять к агентам. Аниано описал подход Zendesk как практическую отправную точку: декларативно спроектированные вызовы API с явно санкционированными действиями, строгие ограничения доступа и области видимости, а также обязательная проверка человеком перед расширением полномочий агента.

Базовый принцип, как выразился Аниано: «Мы постоянно проверяем эти барьеры и думаем, как мы можем расширить возможности» — то есть не предоставляйте постоянную авторизацию до тех пор, пока не проверите каждый шаг расширения прав.