ИИ-обозреватель от Cisco отслеживает 900 моделей

ИИ-обозреватель от Cisco отслеживает 900 моделей

Источник: VentureBeat · Louis Columbus

Когда команда безопасности сегодня одобряет внедрение открытой модели в производство, всё начинается со страницы репозитория. На ней указаны название модели, лицензия и тег, определяющий базовую модель, от которой она произошла. Этот тег представляет собой строку, которую вводит пользователь при загрузке. Hugging Face не требует от авторов загрузки подтверждать это утверждение с помощью анализа на уровне весов.

Отчет ATOM, опубликованный Натаном Ламбертом (Nathan Lambert) и Флорианом Брандом (Florian Brand) из Interconnects AI в апреле 2026 года, отследил примерно 1 500 основных открытых моделей. ATOM определяет производные модели по тегу base_model на Hugging Face (это поле заполняется автором загрузки), фильтруя те модели, базовая модель которых присутствует в отслеживаемом списке и имеет более пяти скачиваний за все время, за исключением повторных загрузок GGUF и MLX. Согласно этим данным, по состоянию на февраль 2026 года семейство моделей Qwen от Alibaba является заявленным прародителем 69% новых производных открытых моделей по сравнению с 1% в январе 2024 года. На долю китайских лабораторий в целом приходится 70%. На долю Европы — 4%. Совокупное число отслеживаемых загрузок в трех регионах к марту 2026 года достигло 2,04 миллиарда.

Проблема верификации также распространяется на охват сканированием. Подразделение Cisco Foundation AI сканирует каждый общедоступный файл, загруженный на Hugging Face, с помощью обновленного движка ClamAV, а платформа отображает значок статуса для каждого файла. В собственной документации Hugging Face по сканированию на вредоносное ПО отмечается, что файл без значка «ok» или «infected» может находиться в очереди, сканироваться или содержать ошибку. На определенном этапе проверки репозиторий может содержать файлы без завершенных результатов сканирования. Полнота сканирования до сих пор оставалась лишь предположением, а не проверяемым параметром перед одобрением модели.

От командной строки к публичному поиску

В четверг компания Cisco представила AI Supply Chain Provenance Explorer — бесплатную общедоступную базу данных, охватывающую почти 900 открытых моделей. Каждая запись может содержать информацию о штаб-квартире провайдера, граф происхождения с цифровыми отпечатками (фингерпринтами), ограничения лицензий и количество просканированных файлов. Этот инструмент дополняет выпущенный в апреле открытый Python-набор инструментов Model Provenance Kit от Cisco, который создал фингерпринты примерно для 150 базовых моделей из более чем 45 семейств и 20+ издателей. За квартал охват вырос примерно в шесть раз.

Апрельский релиз представлял собой инструмент командной строки. Для его запуска требовалось настроить локальную среду Python, загрузить веса моделей размером в десятки гигабайт и выделить рабочие часы инженеров на каждую модель. Explorer выполняет запросы к результатам, которые Cisco уже рассчитала. Начиная с четверга, проверка происхождения начинается с обычной строки поиска, а ведь именно экономия затрат является главной причиной, почему компании вообще используют открытые веса.

Эми Чанг (Amy Chang), руководитель отдела анализа угроз искусственного интеллекта и исследовании безопасности в Cisco, активно обосновывает важность устранения пробелов в проверке. В ходе панельной дискуссии по безопасности агентов на конференции VB Transform 2026 Чанг представила результаты 6 986 многошаговых атак на 15 флагманских моделей, при этом показатели успешности достигали 88,3%. «Если вы не понимаете, насколько модели уязвимы к различным типам атак, вы не сможете учесть, как именно модель, управляющая вашим агентом и вашим приложением, подвержена рискам и где находятся её уязвимые места», — заявила Чанг аудитории. Понимание уязвимых мест начинается с точного знания того, какую именно модель вы запускаете.

Explorer также открывает доступ к данным, которые Cisco уже использует в своей работе. Система Cerberus компании проверяет модели при их поступлении на Hugging Face и настраивает политики Secure Access, блокирующие загрузку по признаку рискованной лицензии или региона происхождения. Explorer делает этот класс информации бесплатным и доступным для поиска без необходимости использовать продукты Cisco.

The lineage behind 69% of open models was never verified. Cisco just fingerprinted almost 900 for free

Инструмент AI Supply Chain Provenance Explorer от Cisco предоставляет данные о штаб-квартире провайдера, происхождении, лицензионных ограничениях и результатах сканирования для почти 900 открытых моделей. (Изображение: Cisco)

Как создание фингерпринтов заменяет тег

Explorer обосновывает взаимосвязь моделей на основе оценок сходства, а не метаданных, заявляемых авторами. Комплект Model Provenance Kit от Cisco работает в два оцениваемых этапа. На первом этапе сравниваются метаданные архитектуры до загрузки каких-либо весов. Если метаданные неоднозначны, на втором этапе извлекаются пять сигналов на уровне весов. Embedding Anchor Similarity фиксирует геометрические отношения, которые сохраняются после тонкой настройки (fine-tuning). Embedding Norm Distribution кодирует паттерны частоты слов. Norm Layer Fingerprint считывает слои, стабильные при тонкой настройке. Layer Energy Profile сравнивает распределения по глубине сети. Weight-Value Cosine напрямую сопоставляет значения весов, при этом независимо обученные модели показывают практически нулевую корреляцию по этому сигналу. Cisco сообщила о точности в 96,4% на собственном бенчмарке из 111 пар при пороге 0,70 и значении F1, равном 0,963. Четыре пары были классифицированы неверно, и все они связаны с экстремальными архитектурными трансформациями, которые Cisco называет фундаментальным пределом попарного сравнения весов.

Сигналы токенизатора вычисляются для целей диагностики, но намеренно исключаются из оценки происхождения. И StableLM, и Pythia используют токенизатор GPT-NeoX и получили бы высокие баллы сходства, несмотря на отсутствие общего происхождения по весам. Исключение данных токенизатора позволяет избежать ложных срабатываний.

Поведенческий фингерпринтинг добавляет второй подход. Джона Лешин (Jonah Leshin), Маниш Шах (Manish Shah) и Иан Тиммис (Ian Timmis) из проекта VAIL совместно с Дэниелом Кангом (Daniel Kang) из Иллинойского университета в Урбане-Шампейне (UIUC) опубликовали работу по стабильности поведенческих эндпоинтов, которая показывает, что эндпоинт модели может оставаться работоспособным, в то время как его фактическая идентичность меняется в результате обновления весов, квантования или маршрутизации. В блоге Cisco, посвященном запуску, отмечается, что Explorer объединяет статический фингерпринтинг и анализ поведенческого сходства для создания надежного графа происхождения. Статический анализ предоставляет доказательства на уровне весов о происхождении модели на этапе обучения. Поведенческий анализ фиксирует дрейф идентичности во время выполнения.

The lineage behind 69% of open models was never verified. Cisco just fingerprinted almost 900 for free

Каждая запись в Explorer может содержать информацию о деталях модели, контексте провайдера, отслеживаемом происхождении, лицензионных ограничениях и оценках безопасности на базе ClamAV. (Изображение: Cisco)

В чем недостатки существующих инструментов

У Explorer есть реальные ограничения. Почти 900 моделей — это значимое начало, однако по состоянию на весну 2026 года на Hugging Face размещено более 2 миллионов моделей. Модели, находящиеся за пределами этой базы, по-прежнему полагаются на теги, указанные самими авторами. Компания Cisco пока не сообщала, предоставляет ли Explorer API, а без него команда может искать модели вручную, но не может встроить эту проверку в шлюз CI. В этом и заключается грань между артефактом управления и средством контроля.

Традиционные инструменты анализа состава программного обеспечения (SCA) сталкиваются со структурным несоответствием, поскольку они изначально создавались для манифестов зависимостей и образов контейнеров. Сакши Гровер (Sakshi Grover), старший менеджер по исследованиям в области кибербезопасности в IDC, отметила в издании CSO Online, что традиционные средства SCA «были разработаны для проверки манифестов зависимостей, библиотек и образов контейнеров» и «гораздо менее эффективны в выявлении» рисков, связанных с рабочими процессами ИИ. Старший аналитик Gartner Джайшив Пракаш (Jaishiv Prakash) сообщил тому же изданию, что предприятиям необходимы «специализированные средства контроля для источников моделей, утвержденных версий, доступа и проверки во время выполнения на уровне реестра». Оба эксперта комментировали более широкие риски цепочки поставок, но описываемый ими пробел — это как раз то, на что нацелен Explorer.

Опубликованный Cisco документ Model Provenance Constitution определяет условия, при которых одна модель считается производной от другой. Согласно регламенту, неоднозначные пары по умолчанию помечаются как независимые, поскольку ложноположительный результат влечет за собой обвинение в нарушении лицензии, в то время как ложноотрицательный результат выявляется в ходе ручной проверки. Такая сознательная консервативность лежит в основе показателя точности в 96,4%. Происхождение не является бинарным понятием, а фингерпринтинг представляет собой лишь одну из форм доказательств наряду с документацией и проверкой контрольных точек.

Что должно входить в учетную запись проверки

2 августа Европейская комиссия получает <модели>полномочия по обеспечению соблюдения Закона об искусственном интеллектемодели> (AI Act enforcement powers) в отношении провайдеров моделей общего назначения (GPAI), предусматривающие штрафы в размере до 15 миллионов евро или 3% от годового мирового оборота (в зависимости от того, какая сумма больше). Организации, которые существенно модифицируют открытую модель и выводят ее на рынок ЕС, могут получить статус провайдера, причем в руководстве Комиссии указано, что модификация, требующая объема вычислений, превышающего одну треть от затрат на оригинальную модель, подпадает под этот критерий. Исключение для открытого исходного кода в соответствии со статьей 53(2) Закона требует наличия по-настоящему свободной лицензии с открытым исходным кодом, обеспечивающей доступ, использование, модификацию и распространение, при этом веса, архитектура и информация об использовании должны быть общедоступными. Общедоступные веса сами по себе этому критерию не соответствуют. Общественная лицензия Llama содержит порог активных пользователей в месяц и критерий дисквалификации, прямо указанный в руководстве Комиссии. Llama и Gemma вместе составляют примерно пятую часть новых производных моделей в подсчетах ATOM, и обе используют лицензии, которые критерии Комиссии, вероятнее всего, дисквалифицируют. Классификация лицензий становится частью проверки происхождения, и именно это демонстрирует Explorer.

Первый вопрос, который возникает у совета директоров после публикации информации об уязвимости базовой модели, звучит просто: «Какая из наших производственных моделей унаследовала эту уязвимость и как мы можем это доказать?» Сегодня ответ на этот вопрос требует ручного поиска по страницам репозиториев и отслеживания тегов, указанных авторами загрузки, которые не были подтверждены никаким анализом на уровне весов. Explorer превращает этот поиск в простой запрос для охватываемых им моделей.

В отчет о проверке необходимо включить четыре поля, которые большинство организаций сегодня не фиксируют. Выведение происхождения на основе фингерпринтов, подкрепленное анализом весов, а не тегом, созданным загрузчиком. Подсчет просканированных файлов вместо слепого предположения о полноте проверки. Штаб-квартира провайдера как фильтруемое поле, с учетом того, что сама по себе локация головного офиса не решает вопросы экспортного контроля, поскольку владение и место развертывания также влияют на проверку. И, наконец, отслеживание цепочки лицензий, чтобы юридические отделы могли выявить потенциальные вышестоящие (upstream) условия до того, как модель попадет в производство.

Компания Cisco выпустила Supply Chain Provenance Explorer сегодня, и он доступен по адресу provenance.aidefense.cisco.com. База данных является бесплатной, общедоступной и не требует наличия учетной записи или продуктов Cisco.

Что изменится для команды безопасности 30 июля

Что есть у команды сегодня

Что публикует Explorer

Рекомендуемые действия

Радиус поражения после обнаружения уязвимости в базовой модели. Название модели и тег base_model. Определение того, какие модели унаследуют обнародованную уязвимость, представляет собой ручной поиск по страницам репозиториев.

Происхождение на основе оценок сходства с использованием двух этапов фингерпринтинга: анализа архитектурных метаданных и пяти сигналов на уровне весов. Точность набора инструментов составила 96,4% при пороговом значении 0,70.

Привяжите происхождение, подтвержденное фингерпринтами, к каждой модели в инвентаре активов, чтобы появление уязвимости инициировало целевую проверку, а не поиски вручную.

Охват сканированием на вредоносное ПО. Значок статуса для каждого файла. На определенном этапе проверки репозиторий может содержать файлы без завершенных результатов сканирования. Полнота проверки была лишь предположением.

Количество просканированных файлов и данные о выявленном вредоносном или небезопасном ПО для каждой модели на основе сканирования ClamAV. Полнота сканирования становится прозрачной до одобрения модели, а не предполагается по наличию значка.

Замените предположение о том, что модель была просканирована, зафиксированными цифрами. Если охват частичный, задокументируйте, является ли этот пробел приемлемым и почему.

Юрисдикция провайдера. Название организации на странице репозитория. Производная модель, находящаяся на несколько шагов дальше от первоисточника, отображает загрузчика, а не прародителя.

Штаб-квартира провайдера, веб-сайт и связанные организации на HF в качестве фильтруемого поля. Сама по себе штаб-квартира не решает проблему экспортного контроля.

Добавьте юрисдикцию в учетную запись проверки. Любая команда, которая существенно модифицирует открытую модель и выводит ее на рынок ЕС, сталкивается с потенциальными обязанностями провайдера согласно Закону ЕС об искусственном интеллекте.

Лицензионные обязательства. Тег лицензии, описывающий то, что, по мнению автора загрузки, применяется к модели. Условия вышестоящей базовой модели могут не отображаться на странице, которую читает инженер.

Общие ограничения для каждой модели, включая требования об указании авторства, некоммерческие условия, географические ограничения и запрещенные сценарии использования. Происхождение на основе фингерпринтов помогает юридическим отделам выявить потенциальные вышестоящие условия.

Передайте информацию о происхождении лицензии юристам до запуска в производство, а не после того, как на нее сошлются в контракте. Зафиксируйте свою позицию при утверждении, а не восстанавливайте ее в ходе спора.

Безопасность

Смотреть все

Подпишитесь на свежие новости!

Глубокая аналитика для руководителей в области корпоративного ИИ, данных и безопасности

Подписаться по RSS

RSS-ленты обновляются каждые 15 минут.