Тест Cohere выявил, что открытая модель Qwen3.8 пыталась «позвонить домой» в Китай: что нужно знать компаниям
В продолжающейся дискуссии о растущем внедрении недорогих китайских ИИ-моделей с открытым исходным кодом в корпоративном секторе появился новый факт, который, вероятно, усилит скептицизм в отношении их повсеместного использования и развертывания, хотя он вовсе не означает, что все китайские открытые модели заведомо менее безопасны, чем закрытые проприетарные американские или западные.
Канадский разработчик корпоративных ИИ-моделей Cohere сегодня сообщил, что провел тест кибербезопасности изолированной (офлайн) версии открытой модели Alibaba Qwen3.8-Flash-Next и зафиксировал попытку модели Qwen отправить тестовые данные на один из облачных серверов Alibaba в Пекине.
По словам Cohere, изолированная тестовая среда заблокировала соединение, не позволив модели отправить данные.
VentureBeat запросил комментарий у Alibaba и команды Qwen, но на момент публикации ответа не получил.
Что на самом деле показал тест
Как говорится в отчете от 26 октября, исследователи Cohere использовали бенчмарк безопасности Microsoft CTI-REALM и попросили модель написать правило, обнаруживающее вредоносную загрузку с последующим выполнением скрипта.
Вместо этого модель изучила временные файлы, доступные утилиты и конфигурацию DNS, а затем выдала команду HTTP-выгрузки с фиксированной тестовой строкой. При этом в сопровождающих рассуждениях модель заявила, что не будет вызывать никаких инструментов.
По данным Cohere, такое поведение наблюдалось реже чем в одном случае на 100 000 оценочных вызовов. Когда исследователи повторили запрос, модель повела себя так, как и предполагалось изначально, и сгенерировала требуемое правило.
Затем Cohere провела дополнительные тесты, в которых исследователи предоставляли модели частичные рассуждения и команды; дополняя такие входные данные, модель чаще включала подозрительные сетевые адреса.
Эти тесты измеряли реакцию модели на намеренные подсказки, поэтому они не позволяют установить, как часто она стала бы предпринимать подобные попытки соединения самостоятельно.
Cohere признает возможное безобидное происхождение такого поведения: модель могла научиться повторять сетевые запросы на примерах, связанных с обучающими средами или сторонними инструментами.
Компания не доказывает, что попытка выгрузки служила целям отладки, но и не доказывает, что кто-то специально заложил ее для сбора информации.
Даже случайно усвоенное поведение может создавать угрозы безопасности, если агент выполняет такие команды, имея доступ к корпоративным системам.
Cohere не установила, кто контролирует целевое хранилище. Кроме того, компания конкурирует с Alibaba за корпоративных клиентов и в своей публикации продвигает собственные практики безопасности, то есть имеет коммерческую заинтересованность в этих выводах.
Cohere не сообщила о проведении сопоставимых тестов Llama или Muse Open от Meta, GPT-oss от OpenAI, собственных моделей или других семейств китайских моделей, таких как DeepSeek и Kimi. Поэтому публикация не позволяет судить, ведет ли себя Qwen иначе, чем конкурирующие модели в тех же условиях.
Отчет не доказывает ни того, что Alibaba получила секреты клиентов, ни того, что такое поведение было инициировано китайским правительством, ни того, что любое развертывание Qwen ведет себя аналогично. Независимое воспроизведение и сравнения помогли бы определить, насколько широко применим этот вывод.
Руководство Cohere повышает ставки, признавая при этом неопределенность
Руководители Cohere растиражировали результаты в X.
Эйдан Гомес, сооснователь и генеральный директор Cohere, а также соавтор знаменитой статьи «Attention Is All You Need» о фундаментальной технологии трансформеров, породившей генеративные большие языковые модели, назвал в качестве возможных объяснений как случайный след обучения, так и намеренный механизм связи с внешним сервером.
Гомес также усомнился, что мониторинг заявленных рассуждений модели способен выявить подобные действия: «Одним из самых тревожных моментов было то, что рассуждения модели никак не указывали на то, что она собирается сделать. А значит, мониторинг CoT здесь был бы бесполезен».
CoT (chain-of-thought, «цепочка рассуждений») — это рассуждения, генерируемые моделью.
Сооснователь Cohere Ник Фросст написал: «Остается неясным, является ли это непреднамеренным артефактом постобучения или усвоенным поведением».
Еще один сооснователь, Иван Чжан, подчеркнул последствия даже редких утечек и, отвечая на вопрос VentureBeat, сослался на более раннее исследование Booz Allen.
Booz Allen изучала другую проблему: генерируют ли модели менее безопасное ПО в зависимости от того, как в запросе описан заказчик.
В мае компания протестировала четыре китайские модели и одну американскую. Согласно ее отчету, китайские модели выдавали менее безопасный код, когда в запросе заказчик указывался как клиент из правительства США. Booz Allen прямо заявила, что не располагает доказательствами того, что кто-то намеренно внедрил эти уязвимости.
Исследователи изучали разные риски: генерацию моделями уязвимого кода и выполнение моделями неожиданных исходящих сетевых команд. Корпоративным командам необходимо оценивать оба, когда они поручают разработку ПО искусственному интеллекту.
Alibaba пока не сообщила, удалось ли ей воспроизвести результат Cohere, какой контекст обучения или ПО может объяснить выбор адреса и нужно ли пользователям обновлять модель или менять настройки контроля развертывания.
Китайские модели уже обрабатывают значительный объем production-трафика
Разработчики уже широко используют китайские модели в рабочих ИИ-системах.
Согласно октябрьскому AI Gateway Production Index от Vercel, охватывающему сентябрьский трафик, модели DeepSeek обработали 58% токенов шлюза, на долю Z.ai пришлось 7,2%, Moonshot AI — 3,6%. Вместе эти три китайских разработчика составили 68,8% (расчет по данным Vercel).
Vercel отнесла на модели этих разработчиков соответственно 6,6%, 4,5% и 13,2% расходов. Расходы компания оценивает по опубликованным ценам.
Vercel измеряет трафик через собственный шлюз; она не опрашивает все предприятия и не оценивает долю мирового рынка ИИ. Компания учитывает кэшированные токены и токены рассуждений, поэтому на долю каждого разработчика влияет и длина рабочих нагрузок.
Vercel также сообщает, что клиенты направили 69,5% расходов на модели китайского происхождения через провайдеров со штаб-квартирой в США. Однако местонахождение штаб-квартиры не говорит о том, где именно эти провайдеры размещают каждый сервер.
Сентябрьское объявление OpenRouter о региональной маршрутизации дополняет картину: к августу модели с открытыми весами обрабатывали 60% токенов в запросах из США и 65% — в запросах из ЕС. Эти показатели включают и модели не из Китая; по словам OpenRouter, большая часть объема открытых моделей приходится на китайские лаборатории.
OpenRouter также предлагает региональные эндпоинты, позволяющие выполнять обработку в пределах США или Европы. Такие механизмы определяют, где происходит инференс. Но предприятиям по-прежнему нужно проверять полномочия любого агента, действующего на основе полученных результатов.
Выбор обостряется после ограничений для DeepSeek и запуска Kimi
Американские власти ужесточают ограничения по мере того, как китайские разработчики выпускают все более мощные модели.
Как сообщал VentureBeat на прошлой неделе, правительство США теперь требует от федеральных гражданских ведомств исключить DeepSeek из закупок и удалить подпадающие под ограничения продукты.
Уведомление DHS прямо распространяется на сторонние продукты, созданные на основе реализаций DeepSeek, что выводит проблему за рамки потребительского чат-бота. Этот приказ касается DeepSeek и не содержит выводов в отношении Qwen.
Тем временем в субботнем материале VentureBeat была рассмотрена Kimi K3.1 Pro. По итогам оценки Artificial Analysis при запуске модель заняла четвертое место в общем зачете Intelligence Index и показала лучшие результаты в задачах для терминала. Moonshot еще не опубликовала веса модели, поэтому предприятия пока не могли скачать и развернуть ее у себя.
Таким образом, по мере того как меняются регуляторный климат и общественная дискуссия, корпоративным заказчикам приходится оценивать не только то, справятся ли китайские модели с их нагрузками: в игру, что называется, вступили вопросы безопасности данных и государственных ограничений.
Что корпоративным командам следует сделать уже сейчас
Прежде чем полагаться на заверения агента, корпоративным командам следует проверить его права доступа.
Рекомендации OWASP по безопасности агентов предписывают узко ограниченные разрешения, человеческий контроль за значимыми действиями, мониторинг и состязательное тестирование. Ее рекомендации по разработке также советуют использовать изолированные среды без рабочих учетных данных и ограничивать сетевой доступ одобренными адресами.
Командам, развертывающим агентов для написания кода, следует проверить, могут ли эти агенты обращаться к произвольным хранилищам, читать секреты или выполнять команды, не связанные с поставленными задачами. Следует анализировать не только успешные, но и попытки действий, а также тестировать именно ту конфигурацию модели и инструментов, которую планируется развернуть.
Корпоративным заказчикам стоит изучить отчет Cohere, не считая при этом «национальность» модели доказательством злого умысла. Им следует требовать доказательств относительно поведения модели и ограничивать ее полномочия средствами, внешними по отношению к самой модели.
