Подход Box к безопасности ИИ-агентов

Материал предоставлен компанией Box

Идентификации и разрешений больше недостаточно для обеспечения безопасности корпоративных ИИ-агентов. Они регулируют то, к чему агент может получить доступ, но не то, как он ведет себя, начиная действовать самостоятельно. При этом автономный агент способен превратить легитимный доступ к корпоративным данным в непреднамеренные действия за считанные секунды. Этот пробел подталкивает сферу корпоративной безопасности ИИ от простого контроля доступа к многоуровневому подходу, включающему контроль выполнения, отмечает Хизер Джейлан (Heather Ceylan), директор по информационной безопасности компании Box.

«Контроль доступа и разрешения — это фундамент, но проблема в том, что они разрабатывались для людей, — говорит Джейлан. — Права доступа остаются базой, но необходимо также продумать, как ограничивается область действия разрешений для агентов».

Средства контроля доступа создавались для более медленного и снисходительного мира, где сотрудник-человек с сохранившимися правами доступа к папке десятилетней давности редко станет искать там какие-либо данные или вообще вспомнит о наличии у него такого доступа. Однако агент исследует все доступные ему разрешения, действуя с недоступной человеку скоростью и выявляя забытые неправильные конфигурации и устаревшие права гораздо быстрее, чем это смог бы сделать любой человек. Идентификация и ограниченные разрешения остаются первым рубежом любой надежной защиты, однако из-за повышения ставок агентами эффективная гигиена доступа ценна как никогда.

Череда инцидентов последних месяцев подчеркивает потенциал серьезного ущерба, когда модели выходили за пределы «песочниц», в которых должны были содержаться, получали доступ к системам, выходящим за рамки их полномочий, или читали контент, к которому у них не было доступа. Хотя детали различаются, общая угроза остается прежней: агент нашел путь через доступные ему данные и воспользовался им.

Одного контроля доступа недостаточно для защиты автономных ИИ-агентов

Сложности возникают, когда агентам предоставляются широкие постоянные разрешения под масштабные рабочие процессы. Агенту может потребоваться вызывать пятьдесят инструментов для выполнения двадцати различных действий в течение одной задачи, читая и записывая папки во всех подразделениях компании. Но предоставление всего этого доступа одновременно увеличивает радиус потенциального ущерба данным и контенту в случае сбоя хотя бы на одном из этапов. Более надежная модель разрешений обеспечивает доступ только в те моменты, когда он действительно необходим, отмечает Джейлан.

«Вам нужны разрешения, которые меняются в зависимости от того, что поручено агенту и когда ему нужно совершить это действие, — поясняет она. — Если он выполняет один шаг и ему нужны всего два инструмента, область его доступа должна быть ограничена только ими. Когда вы сужаете права доступа до конкретной задачи, стоящей перед агентом, количество возможных вариантов сбоя на любом отдельном этапе уменьшается».

От контроля доступа к контролю выполнения

Строгая безопасность также больше не сводится к тому, имеет ли агент доступ к конкретным данным, — важнее то, должен ли он совершать определенное действие на конкретном шаге. В этом заключается разница между постоянным правом доступа и ограниченным. Иными словами, агент может обладать законными правами на финансовую папку, но у него не должно быть никаких оснований копировать четыре тысячи этих файлов в новое место, даже если ему поступила такая команда.

«Сотруднику, имеющему доступ к платежным ведомостям, которые он никогда не должен был хранить у себя, можно поручить извлечь эти записи и записать их в общедоступную папку, раскрыв информацию о зарплатах всей компании за один раз, — говорит она. — Все проверки доступа пройдены, но поведение все равно имеет катастрофические последствия».

Сами по себе промпты (подсказки) не могут надежно регулировать поведение агента, поскольку инструкции могут меняться, агенты могут впитывать внедренные инструкции или находиться под влиянием файлов, прочитанных по ходу дела. Надежные средства контроля должны находиться на уровень ниже — на уровне самих вызовов инструментов, а также контента, с которым эти вызовы работают. Предварительное определение того, что агенту разрешено выполнять, независимо от манипуляций с его промптом, удерживает поведение в фиксированных рамках, от которых его нельзя отговорить никаким изощренным вводом.

Устаревшие контентные платформы не создавались для ИИ-агентов

Большая часть того, с чем агент взаимодействует внутри компании, представляет собой неструктурированный контент: договоры, политики, клиентские записи — накопленные файлы, составляющие подавляющее большинство корпоративных данных. Значительная их часть по-прежнему хранится в системах, разработанных с учетом человеческих привычек организации файлов: на сетевых дисках, в устаревших платформах ECM и во многих SaaS-инструментах. Эти системы создавались с расчетом на вопрос «есть ли у этого человека разрешение?» и отвечают на него на уровне папок, который не проверялся годами.

У устаревших платформ нет метаданных, которые агент мог бы анализировать, или классификации, на которую мог бы опираться механизм принудительного исполнения, а их журналы (логи) недостаточно подробны, чтобы показать, что именно прочитал агент. Подключение ИИ-коннектора к такому стеку ничего не исправляет — он просто наделяет агентов теми же «слепыми зонами», но только на машинной скорости, отмечает Джейлан.

«Любое действие агента в конечном итоге сводится к контенту, — говорит Джейлан. — Если контентный слой не может подсказать вам, что именно он хранит, кому это принадлежит и что никогда не должно покидать его пределы, под вашими средствами контроля нет никакой опоры».

Как определить, какие действия ИИ требуют одобрения человека

Два года назад все предполагали, что безопасность всегда будет означать участие человека в процессе (human-in-the-loop). Создание агентов и жизнь рядом с ними изменили это предположение, говорит Джейлан, и теперь Box делит действия на три уровня: полностью автономные, контролируемые и высокорисковые действия, требующие одобрения человека.

• Полностью автономные — зарезервированы для действий, которые обратимы, ограничены, протоколируются и не содержат ненадежных входных данных, а цена ошибки не слишком высока.

• Контролируемые действия — применяются, когда команда выработала достаточную уверенность в агенте и объединила его с системами оповещения и отката, способными вовремя заметить и исправить проблему.

• Необратимые, высокорисковые действия, которые всегда направляются на согласование человеку — например, когда агент хочет удалить большое количество файлов или стереть основную папку в структуре.

Каждая команда должна откалибровать границы между этими уровнями в соответствии со своей склонностью к риску.

Подход Box заключается в том, чтобы внедрять средства контроля в саму платформу, а не в рабочий процесс, обеспечивая такие меры защиты, как классификация данных, маркировка и истечение срока действия, без необходимости задействовать человека на каждом этапе.

«Правильная конфигурация должна применяться изначально, а не блокировать действие в самом конце», — говорит Джейлан.

Формирование доверия к ИИ-агентам через анализ поведения с течением времени

Организация может принять решение о доступе единожды, но доверие к поведению агента должно формироваться постепенно — по мере наблюдения за тем, как он работает, сотрудничает и использует результаты работы других агентов. Публикуемые стандарты и фреймворки часто отстают от технологий или являются слишком абстрактными для внедрения; вместо этого Box опирается на меньший набор принципов: четко ограниченные идентичности и действия агентов, ясные ожидания относительно того, что подлежит откату, три уровня утверждения, а также возможность для команд быстро тестировать и итерировать решения.

«Санционированный путь должен быть быстрым путем, потому что, когда командам не дают безопасного способа экспериментировать, они склонны полностью обходить средства контроля, — говорит Джейлан. — Задача лидера по безопасности — предложить способ двигаться быстро, не выходя за рамки защитных барьеров».

Поддержание доверия к агенту зависит от возможности видеть, как он ведет себя на самом деле. Но традиционные инструменты мониторинга не были созданы для этой задачи; поведенческие базовые показатели, лежащие в основе аналитики поведения пользователей и сущностей (UEBA), были откалиброваны под человеческую активность, а подозрительное поведение агента не обязательно выглядит как человеческая активность.

И хотя создание полезного базового профиля агента начинается с логирования, многие агенты создаются как эксперименты, поэтому их действия никогда не попадают в инфраструктуру протоколирования. Кроме того, важные сигналы редко представляют собой отдельные легко отслеживаемые действия — это цепочки активностей в разных системах, когда результат работы одного агента становится входными данными для другого, в то время как методы обнаружения таких паттернов еще только разрабатываются.

Таким образом, управление агентами требует видимости не только того, к чему они могут получить доступ, но и того, что они делают на самом деле, причем эта видимость должна находиться там же, где и сам контент.

Спонсорские статьи — это контент, подготовленный компанией, которая либо оплачивает размещение поста, либо имеет деловые отношения с VentureBeat, и они всегда четко маркируются. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.