Большинство команд по безопасности не способны распознать вышедшего из-под контроля ИИ-агента, заявляет бывший киберследователь ФБР
При поддержке WGU
Большинство корпоративных служб безопасности не способны распознать момент, когда ИИ-агент выходит из-под контроля, поскольку лишь немногие из них измерили, как выглядит нормальная активность агентов в их собственных сетях, — об этом Пол Бингем, старший вице-президент и исполнительный декан Школы технологий Университета западных губерний (WGU), рассказал главному редактору VentureBeat Мэтту Маршаллу на недавнем мероприятии VB AI Impact Series.
Бингем, который до прихода в WGU 24 года проработал специальным агентом ФБР, в том числе расследуя киберпреступления, отметил, что компании к тому же выдают агентам учётные данные ещё до того, как кто-либо решит, к чему каждому агенту можно получать доступ, поэтому сбойный агент способен дотянуться до гораздо большего, чем требует его задача.
«Я вижу по телевизору рекламу известных компаний, которые призывают людей моего возраста передать всё агенту — мол, он проверит вашу почту и забронирует вам столик, — сказал он. — Это всё равно что дать ключи от машины десятилетнему ребёнку».
Руководителям предприятий нужно сделать три шага:
-
ограничить доступ каждого агента;
-
выяснить, как выглядит нормальная активность агентов, чтобы отклонения сразу бросались в глаза;
-
и направлять следующий доллар на безопасность в обучение людей, а не в покупку новых инструментов.
Киберпреступники теперь используют те же ИИ-инструменты для атак, что и государственные хакеры
Громкие утечки этого года показывают весь спектр угроз, с которыми сталкиваются службы безопасности, — от терпеливых злоумышленников, поддерживаемых государствами, до преступных групп, действующих по принципу «схватил и убежал». Кража у Binance 29 октября подчёркивает риски, связанные со скомпрометированными устройствами сотрудников, а широко освещавшийся июльский взлом Hugging Face указывает на новую угрозу — проникновение ИИ-агентов в производственную инфраструктуру.
Граница между этими типами злоумышленников размывается. Преступники, действующие наскоком, теперь вооружены инструментами государственного уровня, а поддерживаемые государствами хакеры, некогда медленные и скрытные, набирают скорость.
«Мораль этой истории такова: защищайтесь от обоих и просто исходите из того, что вас уже взломали», — сказал Бингем.
Применительно к ИИ-агентам это означает способность быстро локализовать проблему — и ежемесячный опрос VB Pulse показывает, что способ управления идентификаторами агентов имеет значение. Согласно опросу, 46% предприятий сообщили об инциденте с агентом или едва не произошедшем инциденте за последний год. Среди компаний, присваивающих каждому агенту собственный идентификатор, 60% заявили, что могут отключить вышедшего из-под контроля агента за считанные минуты, тогда как среди компаний, чьи агенты работают на общих ключах, таких оказалось 33%.
Однако ответственность начинается ещё до инцидента. Слишком часто сетевые администраторы и специалисты по безопасности узнают о проблеме лишь после того, как агент уже нанёс ущерб, и им остаётся только разгребать последствия. Или, по аналогии Бингема, чинить гаражные ворота, в которые въехал задом десятилетний ребёнок.
«Первая ответственность лежит на том, кто создаёт агента: не отдавать ему ключи, а если уж отдавать — ограничить их использование, будь то доступ на основе разрешений или ограниченный по времени», — добавил он.
По его словам, агентам также нельзя позволять самостоятельно проходить запросы многофакторной аутентификации (MFA), поскольку MFA существует именно для того, чтобы не давать автоматизированным агентам входить в учётные записи, и остаётся одной из немногих защит, которые у компаний ещё есть.
«Как бы я ни любил своих агентов и какими бы особенными они ни были, я не стал бы передавать им эту возможность, — пояснил он. — Потратьте лишние две секунды, достаньте телефон и каждый раз решайте, хотите ли вы это авторизовать».
Чтобы обнаружить вышедшего из-под контроля ИИ-агента, нужен эталон нормального поведения агентов
Службы безопасности обычно выявляют вторжение потому, что что-то отклоняется от эталона нормальной активности. Опрос VB показал, что примерно 75–78% компаний заявляют о наличии надёжного эталона нормальной сетевой активности, но для агентов, работающих внутри сети, этот показатель падает примерно до 50%.
«Думаю, они преувеличивают, — сказал Бингем. — Большинство из них на самом деле не знают, как выглядит нормальная активность».
Векторы атак остаются знакомыми для Бингема, пришедшего в кибербезопасность примерно в 2003 году. Изменился темп. Его совет: начните со «шкатулки с драгоценностями» — активов, которые злоумышленники хотят заполучить больше всего, — и выстраивайте мониторинг и обнаружение вокруг них.
«Ищите взлом каждый день, потому что он, скорее всего, уже есть», — сказал он.
Руководителям по безопасности стоит финансировать обучение персонала, прежде чем покупать новые инструменты кибербезопасности
По словам Бингема, руководители по безопасности должны выделить в бюджете этого года место для обучения сотрудников. Предприятия уже купили слишком много инструментов или не извлекают из них полной пользы, потому что им не хватает подготовленных людей для эффективной работы с ними.
Вице-президент WGU по безопасности Джеймс Чандлер, защищающий полностью онлайн-сеть, которой ежедневно пользуются почти 200 000 студентов, сказал Бингему, что ему нужны сотрудники, способные адаптировать корпоративные ИИ-платформы к атакам, которые противники постоянно перерабатывают с помощью ИИ. Бингем отметил, что ИИ возьмёт на себя бо́льшую часть аналитической работы в центрах мониторинга безопасности (SOC), что ставит вопрос о том, как должны меняться роли штатных аналитиков.
«Вы помогаете им становиться больше похожими на инженеров, потому что тогда они действительно настраивают и корректируют эти инструменты и привносят более высокий уровень навыков в интерпретацию того, что эти инструменты выдают», — сказал он.
По его словам, компаниям следует по умолчанию выращивать эти таланты внутри, поскольку нынешние сотрудники уже знают приоритеты и системы компании.
«В большинстве случаев вы просто надстраиваете смежный набор навыков», — сказал он.
WGU вводит программы бакалавриата по инженерии ИИ, инфраструктуре и эксплуатации ИИ, а также безопасности ИИ
WGU недавно запустил программу бакалавриата по инженерии ИИ, а в январе добавит программы бакалавриата по инфраструктуре и эксплуатации ИИ, а также по безопасности ИИ. Каждая из них дополняет существующие программы WGU по программной инженерии, облачной и сетевой инженерии или кибербезопасности.
По словам Бингема, выпускники занимают должности в компаниях, которые не могут вырастить такие кадры внутри, но программы служат и второй группе.
«Некоторые уже практикующие специалисты приходят и ищут такие ресурсы, как мы, чтобы понять: „Какой дополнительный слой, смежный с уже имеющимися знаниями, мне нужно добавить?“» — сказал он.
Выездной специалист по безопасности должен объединять команды безопасности и разработки в ИИ-проектах
Принцип «выпускай быстро, а о безопасности думай потом» больше не годится, считает Бингем. Специалисты по кибербезопасности должны участвовать уже в первоначальном проектировании ИИ-системы, и каждая сторона должна учиться у другой. Сотрудники безопасности могут перенять у разработчиков чувство срочности, а когда он спрашивает специалистов по безопасности, в чём их главная задача, он слышит ответы вроде защиты сети или соблюдения политик.
«И я мягко говорю: „Вообще-то ваша главная задача — обеспечить, чтобы бизнес мог продолжать работать“», — сказал Бингем.
Разработчики, в свою очередь, могут перенять у безопасников привычку представлять, как кто-то может использовать созданное ими так, как они никогда не задумывали. Идея объединить обе группы в одну команду заимствована у выездного инженера (forward-deployed engineer) — должности, которую компании по всей отрасли спешат ввести.
«Интересно, что если создать в компании должность выездного специалиста по безопасности, — сказал он. — Просто создайте новую роль и дайте сотрудникам из службы безопасности или разработки подать на неё заявку. Это придаст роли изюминку, а главное, к чему вы здесь стремитесь, — это сотрудничество».
Посетите эту страницу, чтобы узнать о программах Школы технологий WGU.


