Модельное хранилище Cohere теперь шифрует ИИ-инференс, поэтому даже сама компания Cohere не имеет доступа к данным корпоративных клиентов

Конфиденциальность и безопасность данных уже давно вызывают серьезную озабоченность у предприятий, и в последние недели этот вопрос встал еще более остро, поскольку два крупнейших американских генеративных ИИ-стартапа, OpenAI и Anthropic, столкнулись с публичными спорами относительно того, что именно их системы видят и сохраняют из данных пользователей.

Теперь канадский ИИ-стартап Cohere заявляет, что может предложить корпоративным клиентам лучший вариант, гарантируя конфиденциальность их данных и недоступность для самой компании и облачных провайдеров. Для этого используется Model Vault — однопользовательский продукт для инференса, который компания уже продает, — а также технология конфиденциальных вычислений (confidential computing).

Прежде всего, читателям следует понимать, что даже вне рамок Cohere корпоративные данные годами защищались в состоянии покоя и при передаче. Шифрование защищает базу данных на диске. TLS защищает запросы, пересекающие сеть.

Но в тот момент, когда промпт фактически обрабатывается ИИ-моделью, эта защита исчезает. Он находится в незашифрованном виде (plaintext) в оперативной памяти, доступной для чтения хост-операционной системе, гипервизору и любому лицу с привилегированным доступом к машине, на которой она запущена. Для служб безопасности, работающих с регулируемыми или проприетарными данными, этот пробел заставлял выбирать между удобством размещенного (hosted) инференса и контролем при самостоятельном запуске инфраструктуры.

Решение от Cohere запускает рабочую нагрузку внутри оборудования, которое шифрует и изолирует ее память, поэтому ни облачный провайдер, ни сама компания Cohere не могут прочитать то, что находится внутри. По заявлению компании, теперь эта защита охватывает момент, когда модель фактически читает промпт, а не только моменты до и после него, и эта функция заработала сегодня.

«Поддержка конфиденциальных вычислений в Model Vault стала доступна недавно, — рассказал VentureBeat Манодж Говиндассами (Manoj Govindassamy), директор Cohere по предоставлению услуг инференса. — На сегодняшний день для клиентов Model Vault нет никаких дополнительных затрат, ценообразование остается таким же, как и для стандартного предложения Model Vault».

Этот запуск происходит в тот же день, когда Cohere подписала окончательное соглашение о слиянии с немецкой компанией Aleph Alpha — сделку стоимостью около 20 миллиардов долларов, в результате которой создаются две штаб-квартиры в Торонто и Берлине.

Эйдан Гомес (Aidan Gomez), генеральный директор Cohere, позиционировал объединенную компанию вокруг принципов доверия и управляемости, а не чистой производительности моделей, назвав ее искусственным интеллектом, «достаточно мощным для конкуренции, но достаточно безопасным и управляемым, чтобы ему доверять». Оба анонса не связаны между собой ничем, кроме календарных сроков, но они опираются на один и тот же аргумент.

Почему опасения по поводу конфиденциальности корпоративных данных растут параллельно с использованием ИИ

Это происходит на фоне того, что реальные возможности вендора по просмотру данных (а не только его обещания ими не интересоваться) стали ключевым вопросом при закупке корпоративного ИИ.

Согласно сообщениям в прессе этого месяца, Nvidia, Palantir и Booz Allen Hamilton ограничили использование моделей Anthropic после изменения политики хранения данных: Nvidia перенаправляет конфиденциальные задачи на собственную линейку моделей, а Booz Allen запретила использовать модели для проприетарных задач в сфере кибербезопасности.

Кроме того, в OpenAI не смогли исключить вероятность того, что частные исследования математика помогли их собственной модели решить часть задачи Навье — Стокса, как сообщал VentureBeat.

Ни одна из этих историй не связана напрямую с Cohere, но обе упираются в один и тот же нерешенный вопрос: достаточно ли обещания вендора не заглядывать в данные или клиенту нужны доказательства того, что вендор структурно не имеет такой возможности. Именно этот пробел призваны закрыть конфиденциальные вычисления и аппаратный отчет об аттестации.

Как работают Model Vault и система конфиденциальных вычислений от Cohere

Model Vault — это однопользовательская платформа инференса от Cohere, представляющая собой выделенное развертывание моделей Cohere, а не общий многопользовательский (multi-tenant) API.

• Конфиденциальные вычисления. Этот подход запускает развертывание внутри оборудования, которое шифрует память рабочей нагрузки и изолирует ее на время выполнения. Никто из тех, кто обслуживает сопутствующую инфраструктуру, включая облачного провайдера, не может видеть содержимое.

• Аппаратное обеспечение. По данным Cohere, новый зашифрованный уровень Model Vault объединяет конфиденциальную виртуальную машину на стороне CPU с графическими процессорами Nvidia, работающими в режиме конфиденциальных вычислений. На стороне процессора используются технологии Intel TDX или AMD SEV-SNP. Это аппаратный рубеж, лежащий в основе заявлений во введении. Защита теперь охватывает как центральный, так и графический процессоры, а не ограничивается только CPU, как в большинстве ранних реализаций конфиденциальных вычислений.

• Путь данных. Данные остаются зашифрованными при их передаче от клиента к конфиденциальной виртуальной машине (CVM).

«Внутри конфиденциальной среды они остаются защищенными на всем пути аппаратной обработки, в том числе в оперативной памяти, через межсоединения CPU и GPU, а также в других аппаратных компонентах», — пояснил Говиндассами.

Говиндассами отметил, что данные расшифровываются только в той точке, где они действительно должны обрабатываться внутри защищенной среды выполнения на CPU и GPU. Даже состояние процессора и регистры защищены в рамках границы конфиденциальных вычислений.

За пределами CVM данные остаются зашифрованными и недоступными для Cohere, облачного провайдера или других администраторов. Зашифрованный ответ возвращается пользователю, который является единственным лицом, способным расшифровать его с помощью своих ключей.

Граница защиты. Она простирается от собственных ключей клиента на одном конце до его собственных ключей на другом. Все, что происходит между ними, выполняется внутри оборудования, к которому, как утверждает Cohere, у компании нет доступа. Это включает в себя и сам шаг инференса.

Проверяйте, а не просто доверяйте вендору

Аппаратная граница полезна лишь в той степени, в какой клиент может подтвердить ее надежность. Говиндассами рассказал, насколько далеко распространяется утверждение «даже не мы» и каковы его пределы.

«Никто, включая Cohere, облачного провайдера или оператора кластера, не может видеть или получить доступ к любым клиентским данным, — заявил Говиндассами. — Каждое обращение за инференсом возвращает аттестационный отчет, который позволяет клиентам проверить точное аппаратное обеспечение, программное обеспечение и политики безопасности, защищающие их рабочую нагрузку».

Широко шагая вперед, Cohere планирует сделать весь стек обслуживания, используемый в Model Vault, открытым (open source), чтобы независимые аудиторы могли убедиться в том, что он не регистрирует, не экспортирует и не утекает данные. Аппаратные и программные эталонные значения («golden values») зарегистрированы в системе Trust Authority от Intel, поэтому при загрузке конфиденциальной виртуальной машины Intel может подтвердить ее соответствие утвержденной, защищенной от несанкционированного доступа конфигурации от Cohere, Intel и Nvidia.

Клиенты также могут использовать инструменты с открытым исходным кодом для независимой проверки политик и подтверждения того, что их рабочие нагрузки инференса выполняются внутри проверенной и безопасной среды.

При этом не до конца понятно, происходит ли проверка единожды при загрузке среды или для каждого отдельного запроса.

«Конфиденциальный инференс становится операционно надежным, когда аттестация является частью пути запроса, — написал разработчик Чжао Лю Лю (в сообщении на X). — Свяжите подписанное измерение с версией модели, политикой GPU, дайджестом кода и правилами хранения, чтобы клиент мог проверить тот анклав, который он фактически использовал».

Конкурентная среда конфиденциального инференса

Конфиденциальный инференс не является новой категорией. Несколько вендоров уже предлагают ту или иную версию обещания, что оператор не может прочитать промпт, и большинство из них работают на том же железе, которое использует Cohere в настоящее время.

Tinfoil запускает модели с открытыми весами, такие как Mistral и DeepSeek, внутри доверенных сред выполнения (TEE) с публичной аттестацией, подкрепленной журналом прозрачности. Компания Edgeless Systems создала Privatemode для европейских госорганов и покупателей из регулируемых отраслей, которым требуется европейская история обеспечения доверия.

Phala арендует мощности GPU с подтвержденной аттестацией и размещает каталог открытых моделей вместо выпуска собственных. Maple AI шифрует данные на стороне клиента и взаимодействует исключительно с бэкендами конфиденциальных вычислений.

Confer, созданный автором Signal Мокси Марлинспайком (Moxie Marlinspike), предлагает клиентские ключи и проверенный серверный код с открытым исходным кодом, созданный по явному образцу Signal.

Разница между этими продуктами заключается не в оборудовании. Дело в том, кому принадлежит модель и кто является покупателем. Tinfoil, Phala, Privatemode и Maple в основном запускают чужие открытые веса внутри анклава. Confer — это приватное приложение на базе проверенного открытого кода. Cohere не делает ни того, ни другого.

Encrypted Vault применяет конфиденциальные вычисления к собственным корпоративным моделям Cohere в рамках Model Vault — однопользовательского продукта для инференса, который компания уже продает наряду со своей платформой North.

Продукт ориентирован на банки, больницы или команды государственного сектора, которым требуется запуск собственной модели в инфраструктуре, управляемой Cohere, с подписанным вендором токеном аттестации, который можно напрямую предоставить аудитору. Сама категория уже существовала. Новым является то, что передовая корпоративная лаборатория выпускает это как стандартный товарный артикул (SKU), а не как отдельный продукт, ориентированный на конфиденциальность.

Что это значит для предприятий

Конфиденциальные вычисления сами по себе не решают все вопросы защиты данных. Они меняют то, о чем предприятие может попросить. Письмо о соблюдении требований — это обещание. Отчет об аттестации — это то, что служба безопасности может сопоставить с аппаратными метриками, не полагаясь ни на чье слово.

Практической проверкой для любого вендора инференса, включая Cohere, больше не является утверждение о защите клиентских данных. Главное — способность предоставить подписанный отчет об аттестации и показать, какие именно части стека этот отчет фактически охватывает.