Когда данные не могут перемещаться: что нужно для запуска корпоративного ИИ везде

При поддержке VAST Data

Правила обеспечения суверенитета, нормативные требования, проверки безопасности, предсказуемость затрат и работа в изолированных сетях (air-gapped) удерживают самые ценные корпоративные данные вне публичного облака. Чтобы принести пользу от искусственного интеллекта этим ценнейшим массивам информации, передовые и открытые (open-source) модели теперь должны запускаться там, где уже находятся корпоративные данные. Однако опасения по поводу защиты весов моделей в дата-центрах, которые предприятия не контролируют, до сих пор мешали разработчикам моделей предоставлять такую возможность.

Концепция «конфиденциального ИИ» (Confidential AI) решает обе стороны этой задачи: предприятия сохраняют контроль над своими данными, в то время как разработчики моделей защищают свои проприетарные веса при запуск моделей в инфраструктуре, которая им не принадлежит. Эта защита должна охватывать данные в состоянии покоя в хранилищах, при передаче по сети и при использовании в оперативной памяти, причем среда должна проходить верификацию до того, как будут выданы ключи шифрования.

«У таких организаций, как банки, государственные ведомства и поставщики медицинских услуг, есть множество данных, которые изначально не предназначались для перемещения в облако», — говорит Фил Манез (Phil Manez), вице-президент по стратегическим инициативам в VAST Data. «Сейчас мы подошли к моменту, когда альтернативные издержки от отсутствия доступа этих передовых ИИ-моделей к таким данным достигают своего пика».

Компания VAST недавно представила DataEnclave — функцию конфиденциального ИИ в составе операционной системы VAST AI, предназначенную для того, чтобы предприятия могли запускать передовые ИИ-решения там, где хранятся их данные, одновременно защищая проприетарные веса разработчиков моделей. Эта возможность становится критически важной, поскольку компании стремятся внедрить ИИ для работы с данными, которые никогда не покидали их собственные периметры.

До сих пор значительная часть корпоративного ИИ работала с теми данными, которые удавалось легко перенести, не затрагивая при этом проприетарные архивы. Достижение нового уровня ценности зависит от обращения к тем записям, которые никогда не покидали пределы компании. А для этого требуется запуск передовых и открытых моделей внутри сред, контролируемых самим предприятием.

Модель в анклаве видит только то, что ей отправляет предприятие

Модель может быть запущенна локально (on-premises), как только кто-то развернет контейнер на базе графического процессора (GPU). Однако сама модель внутри анклава не занимается поиском проприетарных записей — данные отправляются ей извне. Приложение для поиска (retrieval application) за пределами анклава ищет нужные документы предприятия, формирует из соответствующих фрагментов промпт (запрос) и отправляет его на API инференса модели. Таким образом, этот промпт оказывается единственной корпоративной задействованной информацией, которую видит модель. Владелец модели не получает административного доступа в анклав для чтения этого промпта или возвращаемого ответа.

«Мне нужны способы контролировать, к каким данным ИИ может получать доступ, и иметь видимость того, что ИИ делает, — отмечает Манез. — Если вы не можете реализовать ни то, ни другое, простое разрешение на запуск модели локально мало что вам дает».

Почему создатели моделей не хотят передавать свои веса в дата-центр клиента

Для разработчиков моделей веса в LLM представляют собой миллиардные инвестиции в обучение, а также ценную интеллектуальную защиту, созданную на их основе. Поэтому отправка их в дата-центр клиента означает размещение главного актива компании в чужом здании. Любой, кто сможет получить доступ к памяти GPU во время работы модели, сможет скопировать веса и развернуть модель в другом месте, в то время как ее создатель не получит никакой отдачи.

Опасения выходят за рамки защиты доходов. Создатели также должны иметь возможность пресекать злоупотребления, как это продемонстрировала компания Anthropic, когда в сентябре сообщила о пресечении попыток использования Claude в целях, которые могли способствовать разработке биологического оружия. Подобные меры принудительного характера доступны поставщику только до тех пор, пока он контролирует места запуска своей модели.

Конфиденциальные вычисления и аттестация защищают модель в процессе работы

Возможность шифровать данные в состоянии покоя и защищать их при передаче существует уже давно. Самой большой сложностью оставалось обеспечение их безопасности в оперативной памяти в момент обработки машиной.

Конфиденциальные вычисления решили эту проблему для центральных процессоров (CPU), изолируя рабочую память от хост-операционной системы, гипервизора и администраторов с правами root. Однако рабочие нагрузки ИИ также используют GPU, где в процессе обучения и инференса веса, промпты и промежуточные результаты попадают в память.

«Вам необходим способ проверки того, что модель работает в безопасной среде, прежде чем ей будет разрешено запуститься — это этап аттестации, — говорит Манез. — И только когда вы доказали нахождение в этой защищенной среде, вы получаете ключи для разблокировки этой проприетарной информации. После этого у вас появляется след аудита (audit trail), подтверждающий, когда эта модель была расшифрована и как она использовалась».

Создатели моделей хотят получать зеркальное отражение корпоративного аудиторского отчета, подтверждающее, что их веса были расшифрованы только в одобренных ими средах. Такой контроль переживает само развертывание, поскольку сервер аттестации принадлежит владельцу модели, и каждый запуск, включая каждую новую реплику, должен проходить эту проверку заново.

Компания VAST годами решала корпоративную половину этой задачи, но до сих пор могла предложить решения только для открытых моделей или моделей, изначально поставлявшихся с локальным вариантом установки, что исключало самые мощные облачные модели.

Расширение единой операционной модели на суверенный, локальный и изолированный ИИ

VAST DataEnclave реализует эту архитектуру за счет запуска модели внутри виртуальной машины с аппаратной изоляцией. Владелец модели выдает ключи дешифрования со своего собственного сервера аттестации только после того, как подписанное на аппаратном уровне подтверждение покажет, что машина соответствует установленной владельцем политике. Ни VAST, ни компания, управляющая аппаратным обеспечением, никогда не хранят чужие ключи.

DataEnclave создает конфиденциальные виртуальные машины, охватывающие как CPU, так и GPU, и защищает передачу данных между ними, в то время как на новых платформах GPU зашифрованный трафик между графическими процессорами обеспечивается технологией NVLink.

DataEnclave добавляет два компонента в VAST DataEngine, который отвечает за событийно-ориентированные вычисления, безопасное развертывание моделей и ускоренный инференс. Безопасная среда выполнения запускает каждую рабочую нагрузку в собственной конфиденциальной виртуальной машине на той инфраструктуре, где хранятся данные. Для площадок, не имеющих внешнего подключения, системы аттестации и управления ключами могут работать локально (on-premises) рядом с проверяемыми рабочими нагрузками. Операционная модель остается неизменной независимо от того, где выполняются задачи: в публичном облаке, суверенном облаке, дата-центре клиента или на изолированном объекте.

«Трансляция различных средств контроля, требований к доступу и процедур аудита для всех этих сред — крайне сложная задача, оставляющая возможности для ошибок, — говорит Манез. — Имея единую операционную модель, я создаю политики один раз, а затем переношу их в эти среды».

Права доступа также должны корректно переноситься при переходе из файла в векторный индекс. VAST применяет единый набор средств контроля доступа к файлу, объекту или изображению и к представляющему его вектору, что мешает конвейеру извлечения данных передавать кому-либо содержимое документа, который этот пользователь открывать не должен.

Эти же средства определяют, что именно поступает к модели внутри анклава. Поиск и формирование промптов происходят в собственных системах предприятия, поэтому модель получает запрос, составленный исключительно из записей, которые запрашивающий уже имеет право открывать, а существующие правила исходящего трафика предприятия регулируют, куда анклав может что-либо отправлять. Среда выполнения регистрирует в базе данных VAST DataBase информацию о том, какое приложение и какая версия были запущены, на каком узле и с какой конфигурацией, в то время как служба аттестации ведет собственный учет проверенных ею анклавов и выданных ключей, избавляя стороны от необходимости верить друг другу на слово.

Портативность моделей определяет масштаб потенциального рынка для провайдера

Модель, которая запускается исключительно в облаке своего провайдера, может продаваться только тем покупателям, которые имеют возможность разместить свои данные в этом же облаке, что ограничивает ее потенциальный рынок еще до того, как кто-либо начнет оценивать саму модель.

«Если вы можете работать только в публичном облаке, ваш список продаж в основном состоит из потребительского сектора и нерегулируемых отраслей, — поясняет Манез. — Я упускаю государственный сектор. Я потенциально могу упускать всю Европу. Я теряю клиентов из сферы здравоохранения и финансовых услуг, которые могут стать очень прибыльным рынком для создателей моделей, если те соответствуют требованиям конфиденциальности и регуляторов».

VAST описывает долгосрочную перспективу как экосистему, в которой создатели моделей, ИИ-облака и инфраструктурные партнеры публикуют решения в рамках единой доверенной основы, благодаря чему географическое положение клиента перестает определять, какие модели он может лицензировать.

«Операционная модель и модель получения дохода становятся главным сдерживающим фактором, — говорит Манез. — Интеллектуальная собственность моделей развивается очень быстро и постоянно движется вперед. Но без операционной модели, отвечающей требованиям предприятия, ИИ будет восприниматься как мыльный пузырь хайпа. Здесь гораздо больше составляющих, чем просто технология виртуальных машин, шифрования данных или сетевых технологий. Речь идет об инфраструктуре и экосистеме вокруг модели в целом».

Спонсорские статьи — это контент, подготовленный компанией, которая либо оплачивает публикацию, либо имеет деловые отношения с VentureBeat, и такие материалы всегда четко маркируются. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.