Захват учетной записи ИИ-агента Meta оставил SOC «слепым»

ИИ-агент поддержки Meta привязывал резервные адреса электронной почты к учетным записям по первому требованию, а центры мониторинга безопасности (SOC) так и не увидели ни одного предупреждения. Авторизованный агент создает лог легитимных транзакций, поэтому ни одно правило в стеке обнаружения угроз не сработало. Злоумышленники попросили бота внести изменения, забрали отправленный им одноразовый код, и провели сброс пароля, сообщает 404 Media.

Никакого вредоносного ПО, никаких украденных учетных данных и никаких инъекций промптов в том виде, к которому привыкли большинство команд безопасности. Агент сделал ровно то, для чего его создала Meta. Именно это должно заставлять руководителей служб безопасности терять сон: захват аккаунта не взломал защиту, а воспользовался уже доверявшейся системе механизмом.

То, что нужно SOC — это способ проверить каждый путь восстановления данных через аудиторскую сетку вместе с командой разработчиков ИИ до того, как истечет срок действия следующего сертификата. Аудиторская сетка ИИ-полномочий (AI Authority Audit Grid) в конце этой статьи сопоставляет каждую операцию аутентификации, которую агент поддержки может совершить на пути восстановления, то, что инцидент Meta доказал в отношении каждой из них, почему она остается невидимой для SOC, и средство контроля, которое ее блокирует.

Агент является авторизованным субъектом, поэтому SOC воспринимает захват как рутинный трафик

Изнутри стека обнаружения атака не породила никаких сигналов, которые стек мог бы прочитать. Агент привязывает новый адрес электронной почты, затем сбрасывает пароль, а системы управления доступом и идентификацией (IAM) регистрируют обе операции как действия авторизованного субъекта, поэтому каждая из них попадает в состояние аутентификации как легитимная транзакция. Никаких аномальных входов в систему, никаких всплесков неудачных попыток аутентификации, ничего для EDR или DLP, нет правила SIEM, которое можно было бы сопоставить, потому что ничто в этой последовательности не выглядит как атака. Захват происходил внутри границы доверия, которую стек считает безопасной. Находить плацдарм не нужно, потому что плацдармом и был сам агент, который там и должен был находиться.

Эта цепочка была почти оскорбительной в своей простоте. Брайан Кребс задокументировал версию, которую проиранские хакеры опубликовали в Telegram 31 мая. Злоумышленник включил VPN, чтобы казалось, будто он находится в регионе жертвы, обходя тем самым датчики геолокации Instagram, а затем попросил помощника службы поддержки добавить новый адрес электронной почты и отправить код подтверждения, как подтвердила BBC из тех же записей. Бот выполнил запрос, отправив одноразовый код прямо злоумышленнику, сообщает Gizmodo. Сброс завершился, и владелец потерял доступ к аккаунту за считанные минуты. По данным Кребса, эксплойт не сработал ни против одного аккаунта с включенной многофакторной аутентификацией (MFA).

Взломанные учетные записи не были легкими мишенями. Среди них оказались аккаунты Sephora, высокопоставленного военнослужащего Космических сил США главного мастер-сержанта Джона Бентивегни (John Bentivegna), исследователя Джейн Манчун Вонг (Jane Manchun Wong) и заброшенный аккаунт Белого дома времен Обамы, где на короткое время появилось измененное изображение, сообщает 404 Media. Meta оспаривает взлом аккаунта администрации Обамы (по данным TechCrunch) и назвала утверждения о том, что учетные записи руководителей были скомпрометированы, «абсолютно ложными» (согласно BBC). Остальные факты остаются в силе.

MFA устояла. Путь восстановления рядом с ней — нет.

Деталь, определившая, кто выжил, была невелика. Кребс сообщил, что атака провалилась на любых аккаунтах с многофакторной аутентификацией, даже по SMS. Пробелом оказался расположенный рядом путь восстановления. Когда этот путь запрашивал видео с селфи, злоумышленники прогоняли публичные фотографии жертвы через генератор видео с ИИ и отправляли клип, который Meta принимала за действительное подтверждение личности, сообщает gHacks. В любом случае сбой происходил в двери восстановления, а не в защищаемой с помощью MFA двери входа в систему.

Это делает проблему архитектурной, а не проблемой Meta. MFA защищает путь входа как для владельца, так и для злоумышленника, но путь восстановления проходит параллельно; он создан для ослабления обычных проверок, поскольку существует на случай, если пользователь потерял привычный способ доступа. Meta поместила агента на этот путь с правами записи в состояние аутентификации и без детерминированной проверки между убедительным запросом и совершенным изменением. Авторизация не может находиться внутри модели, потому что разговорную систему можно уговорами заставить пропустить проверку. Она должна находиться вне модели, за шлюзом, который агент не сможет обойти путем рассуждений. У исследователей безопасности есть название для этого паттерна — «сбитый с толку заместитель» (confused deputy): доверенная система, которую обманом заставили использовать свои привилегии в интересах злоумышленника.

Это не последний агент поддержки, который сдаст учетную запись. Иэн Голдин (Ian Goldin), исследователь угроз из лаборатории Black Lotus Labs компании Lumen, рассказал Krebs on Security, что ИИ-боты столь же уязвимы для социальной инженерии, как и люди-агенты, которых они заменяют, и столь же стремятся помочь. «ИИ-чат-боты создают интересные новые поверхности для атак, и мы, вероятно, увидим гораздо больше подобных атак», — сказал Голдин. Каждое предприятие, интегрирующее агента в процессы восстановления, выделения ресурсов или сброса паролей, внедряет те же возможности записи, что и Meta.

Саймон Уиллисон (Simon Willison), который придумал термин «инъекция промптов», прямо написал об этом в своем блоге. «Meta действительно подключила свою систему поддержки к ИИ-чат-боту, который обладал способностью прокручивать весь процесс восстановления аккаунта в ускоренном режиме», — написал он. — «Это едва ли тянет даже на внедрение промпта. Не подключайте своего бота поддержки так, чтобы он допускал мгновенный перехват учетных записей за один запрос». Злоумышленник никогда не обманывал агента. Злоумышленник просто задал вопрос, а у агента были ненадежные входные данные, права на запись и способ их исполнения — всё одновременно.

OWASP классифицировала этот класс уязвимостей еще до того, как Meta выпустила продукт: как чрезмерную агентность (Excessive Agency в LLM06) и злоупотребление идентификацией и привилегиями (Identity and Privilege Abuse в ASI03 в топ-10 для агентских приложений). Предупреждающая этикетка была на коробке: по данным 404 Media, в марте Meta предоставила помощника для каждой учетной записи Facebook и Instagram с возможностью сброса паролей и управления восстановлением, а на странице продукта обещались «решения, а не просто предложения» под лозунгом «безопасность и восстановление учетных записей». Meta наделила агента полномочиями и так и не построила шлюз для управления ими.

Аудиторская сетка ИИ-полномочий

Руководителям служб безопасности необходимо проверить свои системы этим методом по отношению к собственному агенту поддержки до того, как закончится следующий цикл продления подписок. Каждая строка представляет собой операцию записи аутентификации, выполняемую агентом на пути восстановления, с указанием того, что доказала Meta, почему ваш стек упускает это из виду и какой элемент управления блокирует угрозу.

Решение заключается не в добавлении еще одного запроса MFA на экран входа. Те люди, которые пережили инцидент с Meta, были теми, у кого этот механизм контроля уже был внедрен.

Решение состоит в том, чтобы убрать авторизацию из «честного слова» на путях восстановления и загнать ее за шлюз, который не сдвинется с места только потому, что промпт звучит убедительно. Сконструируйте агента так, чтобы SOC видела каждую совершаемую им запись, и чтобы любая запись, изменяющая владельца аккаунта, не могла быть выполнена без проверки, которую модель не контролирует.

Meta только что показала, что происходит, когда самый доверчивый сотрудник в команде оказывается одновременно тем, кто держит ключи. Следующий подобный агент уже читает вашу интеллектуальную собственность и финансовую отчетность.