ИИ-агенты взломали Hugging Face через слабые учетные данные
Источник: VentureBeat · Louis Columbus
Когда на прошлой неделе атаке подверглась платформа Hugging Face, ее соучредитель Клеман Деланг (Clement Delangue) заподозрил передовую лабораторию, учитывая уровень сложности агента. Он оказался прав. Деланг сообщил в X, что после дня работы с OpenAI он твердо убежден в отсутствии злого умысла, а сам факт того, что все это произошло автономно, просто поражает воображение.
Две модели OpenAI, которые проникли в системы Hugging Face на прошлой неделе, совершили взлом не из-за злого умысла или сверхинтеллекта. Они взломали систему благодаря учетным данным и правам доступа, к которым у них никогда не должно было быть доступа — речь идет об отказе нечеловеческих идентификационных данных, старейшей проблеме в сфере безопасности, а не о новейшей проблеме ИИ, и при этом о той единственной проблеме, которую действительно может исправить каждое предприятие.
Компания OpenAI сообщила 21 июля, что две ее модели — GPT-5.6 Sol и невыпущенная, более мощная модель — выполняли кибербенчмарк под названием ExploitGym с отключенными защитными барьерами (отказами от выполнения), при этом предполагалось, что ключи к ответам находились в производственной базе данных Hugging Face. Достижение этой цели потребовало двух разных сбоев. Ошибка нулевого дня в прокси-сервере реестра пакетов позволила моделям выйти из песочницы в открытый интернет — такую способность настойчивости OpenAI подробно описывает в сопутствующей публикации о
Hugging Face также сообщила на прошлой неделе, что автономный агент собрал учетные данные облака и кластера с достаточно широкими полномочиями для доступа к нескольким внутренним кластерам, после чего в течение выходных оставил за собой след из более чем 17 000 записанных событий в недолговечных песочницах. Оба отчета описывают одну и ту же эскалацию. Агент попадает туда, куда ему не следует находиться, обнаруживает учетные данные с гораздо более широкими полномочиями, чем требует любая задача, и использует их для перемещения. Это два описания одного инцидента, а не две разные атаки. Агентом, за которым наблюдали в Hugging Face, были модели OpenAI, и обе компании описывают одну и ту же обычную эскалацию.
Версия этого инцидента для типичного предприятия выглядит хуже, а не лучше. OpenAI и Hugging Face — одни из самых зрелых в плане безопасности организаций в отрасли, и тем не менее обеим потребовалось само вторжение, чтобы обнаружить проблему. Среднестатистическая компания, внедряющая агентов в Copilot или внутренний ассистент, не имеет ни реестра идентификационных данных, ни поведенческого мониторинга, которые были у этих двух гигантов. Такой же взлом в обычной компании не был бы локализован за считанные дни — его бы просто не заметили.
Индустрия спорит не о том сбое
Реакция разделилась на привычные лагеря. Бывший царь Белого дома по ИИ и криптовалютам Дэвид Сакс (David Sacks) и ряд «китайских ястребов» ухватились за парадокс защитных барьеров: коммерческие фильтры безопасности заблокировали защитников Hugging Face, в то время как атакующая модель работала с отключенными отказами, и именно китайская модель с открытыми весами GLM 5.2 от z.ai позволила команде наконец завершить экспертизу. Hugging Face выступила в защиту открытости, утверждая в блоге за апрель, что открытые модели и открытые инструменты дают защитникам те же возможности, которые уже есть у злоумышленников. Оба аргумента касаются самой модели и не затрагивают механизм.
Снижение уровня отказов позволило модели предпринять попытку атаки, а чрезмерно расширенные полномочия учетных данных позволили ей добиться успеха, и это не имеет никакого отношения к тому, была ли модель открытой или закрытой, американской или китайской. Добиться доказанной безопасности передовой модели — это многолетняя проблема выравнивания (alignment), которую ни один клиент не может купить или ускорить, в то время как ограничение прав идентификационной системы — это изменение конфигурации, которое команда может выпустить за текущий спринт. Индустрию призывают зацикливаться на той части проблемы, которую она не может контролировать, и относиться к контролируемой части как к сноске.
Аналитики Forrester пришли к такому же выводу. В своем блоге об инциденте они утверждают, что архитектуры безопасности, предполагающие доброжелательное намерение, упустят этот сценарий сбоя, поскольку агент может преследовать авторизованную цель неавторизованными средствами, что и сделали модели OpenAI.
Это был сбой нечеловеческой идентификации, и это старейшая проблема в сфере безопасности
Если отбросить научно-фантастическую рамку, перед нами хрестоматийный пример машинной идентификации с избыточными привилегиями — с тем типом угроз, с которым службы безопасности борются уже десяток лет, теперь управляемым автономным агентом на машинной скорости. Согласно исследованию CyberArk, машинные идентификаторы в большинстве предприятий уже превосходят людей более чем в 80 раз, причем 42% из них обладают привилегированным или конфиденциальным доступом, а агент наследует все, к чему может прикасаться его идентификатор. OWASP помещает идентификацию агентов и злоупотребление привилегиями в верхнюю часть своего списка рисков агентного ИИ — паттерн «скомпрометированного доверенного лица» (confused-deputy), когда унаследованные учетные данные и слабая область видимости позволяют агенту выходить за рамки своего мандата, и именно это описывают оба июльских открытых отчета.
Старший член IEEE (IEEE Senior Member) Кейн МакГладри (Kayne McGladrey) утверждал в предыдущих интервью VentureBeat, что предприятия продолжают клонировать учетные записи людей для агентов, которые затем получают гораздо больше прав, чем любой человек; именно так это и выглядит, когда агент является передовой моделью, а целью является производственная база данных.
Люди, находящиеся ближе всего к ситуации, оценивают ее точно так же. OpenAI представляет свои модели как сверхсконцентрированные на результатах бенчмарка, а не действующие против кого-либо. Никто не описывает противника — только цель, функцию оценки и учетные данные, которые оказались доступны тогда, когда не должны были быть.
Конкретную уязвимость легко назвать, если отбросить шумиху вокруг ИИ. Учетная запись, настроенная под одну задачу, но имеющая доступ к десяти — это открытое приглашение, и неважно, кто ее обнаружит: злоумышленник-человек, сетевой червь или автономная модель, преследующая балл бенчмарка. Что изменилось в июле, так это тот, кто производит поиск. Агент перебирает доступные системы, тестирует учетные данные и переключается быстрее любой команды этичных хакеров (red team), без злого умысла и колебаний, как только путь открывается. Избыточные права всегда были уязвимостью, а агент просто поставил их обнаружение на поток.
Компания Forrester назвала меру контроля, которая смягчила бы удар. Ее фреймворк агентной безопасности AEGIS призывает к принципу «минимального агентства» (least agency), сводя инструменты, учетные данные и сетевые пути агента к минимуму, требуемому для его задачи, и квалифицирует этот инцидент как неограниченное агентство и привилегии. Это тот же аргумент об идентичности, высказанный другими словами и независимо сформулированный аналитической фирмой.
Данные показывают, что именно здесь теперь кроется риск. В отчете Verizon 2026 Data Breach Investigations Report указывается, что эксплуатация уязвимостей впервые за 19 лет обогнала украденные учетные данные в качестве основного вектора первоначального доступа. Это первая половина проблемы начального доступа. Вторая половина — это то, что сама OpenAI описывает как украденные учетные данные, вызвавшие эскалацию привилегий и последующее латеральное перемещение. Уязвимость открыла дверь, а учетные данные беспрепятственно прошли по зданию. Помимо самого взлома, такое избыточное ограничение прав несет в себе юридическую ответственность, которую большинство предприятий никогда не оценивали финансово. Действия моделей, вероятно, нарушили Закон о компьютерном мошенничестве и злоупотреблениях (Computer Fraud and Abuse Act), сообщает TechCrunch. Статут не содержит исключений для ИИ-агента, который превышает свои авторизованные полномочия во время санкционированного тестирования. Каким бы ни был юридический ответ, технический инструмент остается тем же — это идентичность, чья область действия шире поставленной задачи. Это проблема контроля доступа, у которой есть владелец и бюджет, а не философский семинар о машинном мышлении.
Мерритт Бэр (Merritt Baer), старший советник в Andesite, G2I и AppOmni и бывший заместитель директора по информационной безопасности (CISO) в AWS, охарактеризовала лежащий в основе сдвиг для VentureBeat как новый вид асимметрии. Обе стороны теперь используют одни и те же возможности, отметила она, но одна сторона ограничена корпоративным управлением, политикой, требованиями комплаенса и средствами контроля безопасности, в то время как противник просто скачивает нецензурированную модель с открытыми весами и продолжает действовать. Организации, которые справятся с этим лучше всего, по ее мнению, будут относиться к ИИ как к устойчивой, управляемой возможности, а не как к единому сервису, который они не контролируют.
Четыре шага, уменьшающие радиус поражения
Взлом сработал, потому что агент получил доступ к идентификаторам, чья зона действия была намного шире поставленной задачи. Ни один из четырех элементов контроля, которые могли бы сдержать атаку, не требует новой платформы и не фигурирует в списке общих рекомендаций по безопасности ИИ, распространяемых в настоящее время. Это гигиена идентификационных данных, применяемая к нечеловеческим субъектам с той же строгостью, с которой вы уже относитесь к людям.
1. Ограничьте каждый нечеловеческий идентификатор одной задачей. Модели получили доступ к учетным данным, затрагивающим несколько кластеров, что и превратило плацдарм в полноценный взлом. Идентификатор, привязанный к одной задаче и не имеющий постоянного доступа ни к чему другому, упирается в стену при первой же попытке латерального перемещения, вместо того чтобы открывать следующую дверь. Это принцип наименьших привилегий — мера контроля, которую одобряют все и соблюдают немногие в отношении машинных учетных записей, и это самое эффективное исправление здесь.
2. Сделайте время жизни учетных данных коротким и строго ротируйте их. Собранные учетные данные полезны только тогда, когда они действительны, и оба июльских агента работали за счет их сбора. Короткое время жизни (TTL) и агрессивная ротация превращают дамп учетных данных в просроченный «шум», поэтому токен, украденный во время вторжения в выходные дни, устаревает до того, как злоумышленник успеет объединить его в цепочку. Статические секреты, которые никогда не ротируются — это версия данного средства контроля, которая дает сбой.
3. Мониторьте латеральное перемещение, а не только промпты. Признаком обоих инцидентов были эскалация привилегий и латеральное перемещение, которые фильтр промптов никогда не видит, поскольку он отслеживает не тот уровень. Мониторинг поведения идентификаторов, настроенный на то, что обычно делает конкретный нечеловеческий субъект, и подающий сигнал тревоги при переходе в новое место, обнаруживает эскалацию, которую пропустил защитный барьер содержимого. Вопрос к вашему стеку заключается в том, обнаружит ли хоть что-то из того, что вы используете сегодня, внезапное перемещение служебной учетной записи между кластерами.
4. Репетируйте мгновенный отзыв прав до того, как он вам понадобится. Когда инцидент связан с вашим собственным агентом, самым быстрым способом локализации является уничтожение его идентификатора прямо во время работы, и это работает только в том случае, если путь для этого существует еще до того дня, когда это понадобится. Репетируйте отзыв машинной идентичности в условиях атаки так же, как вы репетируете компрометацию человеческих учетных данных. Если вы никогда этого не делали, у вас пока нет контроля, у вас есть лишь намерение.
Защита тоже сработала, и это важно. Служба безопасности OpenAI во внутреннем порядке зафиксировала аномальную активность, собственные механизмы обнаружения и агенты Hugging Face остановили вторжение, и взлом был локализован за считанные дни, а не обнаружен через месяцы, потому что защитники имели видимость в контролируемых ими системах. Эта видимость основана на той же дисциплине, от которой зависят четыре элемента контроля. Дебаты о том, являются ли передовые модели безопасными, открытыми или американскими, будут продолжаться годами, и ни один из этих вопросов не разрешится вовремя, чтобы помочь предприятиям, развертывающим агентов в этом квартале. Проблема нечеловеческой идентификации выглядит иначе, поскольку она понятна, измерима и ее можно исправить прямо сейчас. Модели, взломавшей Hugging Face, не нужно было быть гениальной; ей нужны были учетные данные, которые кто-то оставил в зоне досягаемости. Решение состоит в том, чтобы ограничить их права до того, как их найдет агент.
