Злоумышленники взломали хранилище Fireworks AI, где чаты Notion AI хранились вне режима нулевого хранения данных

Злоумышленники взломали хранилище Fireworks AI, в котором находились стенограммы чатов Notion AI. При этом в документации поставщика инференса говорится: «По умолчанию Fireworks не хранит данные (Zero Data Retention)».

Оба утверждения могут быть верны. По умолчанию «данные запросов и генерации существуют только в энергозависимой памяти на время выполнения запроса». На странице с описанием политики Fireworks добавлено: «Некоторые функции всё же сохраняют контент клиентов, например сохранённые ответы, пакетные задания и обучение». Взлом затронул именно ту часть, где данные хранятся.

Взлом у поставщика ИИ может затронуть компании, которые пользуются его технологиями через чужое программное обеспечение. В данном случае речь идёт о командах, сотрудники которых общались с Notion AI. Если они вставляли в чат заметки с внутренних совещаний, планы неанонсированных продуктов или сведения о клиентах, эта информация могла оказаться в стенограммах. По данным Notion, инцидент мог затронуть менее 1% её рабочих пространств.

Любой центр мониторинга безопасности (SOC), который полагается на ответ поставщика ИИ о хранении данных, может проверить себя на наличие такой же бреши.

В обновлении о безопасности от 9 ноября Fireworks говорится: «Мы не обнаружили никакого воздействия на Inference, Training SDK и Nexus, которые по умолчанию работают в режиме нулевого хранения данных (ZDR)». В посте в X генерального директора Линь Цяо формулировка иная: «Мы не обнаружили никакого воздействия на Inference (за исключением пакетного инференса), Training SDK и Nexus, которые по умолчанию работают в режиме нулевого хранения данных (ZDR)».

В глоссарии Fireworks пакетный инференс определяется как «асинхронный крупномасштабный инференс через Fireworks Batch API». Цяо также написала: «Это позволило им получить доступ к части систем хранения, что привело к дополнительному воздействию на данные клиентов».

Чаты Notion AI оказались среди похищенных данных

По данным The Record, у Fireworks более 10 000 клиентов. Notion — один из них. «Мы использовали Fireworks для задач классификации, чтобы помочь клиентам разобраться в том, как они сами используют ИИ, с помощью функции Notion под названием Insights», — говорится в уведомлении компании.

Далее в уведомлении Notion сказано: «8 ноября Fireworks подтвердила нам наличие этого нового набора данных». Её рекомендация по безопасности точнее: «Проанализировав новые данные, мы обнаружили, что они включали стенограммы чатов Notion AI, использовавшиеся для функции Insights, которые для подавляющего большинства затронутых рабочих пространств невозможно было соотнести с конкретным владельцем».

Notion сообщает, что «инцидент безопасности Fireworks мог затронуть <1% рабочих пространств Notion». Клиентам компания советует: «Рекомендуем считать эти данные раскрытыми».

Более позднее вторжение произошло через третью компанию. «Сторонний облачный провайдер, на мощностях которого размещались машины Fireworks для НИОКР, 23 октября столкнулся с инцидентом безопасности. 24 октября посторонняя сторона воспользовалась им, чтобы добраться до машин разработки Fireworks, а затем запустить несанкционированную рабочую нагрузку, что привело к дополнительному воздействию на данные клиентов».

По словам Fireworks, улики указывают на группу, «действующую из финансовых побуждений и нацеленную на продажу токенов, полученных благодаря несанкционированному доступу к большим языковым моделям (LLM), нелегальным шлюзам-маршрутизаторам». Компания добавляет: «2 ноября Google Threat Intelligence Group и Mandiant опубликовали запись в блоге о росте LLMJacking» — так называется эта практика.

Политика, запрещающая хранение, поставляется «выключенной по умолчанию»

Политика Zero Data Retention работает, «отклоняя каждый запрос и задание, которые сохраняли бы или записывали в журнал контент клиентов». На странице политики также сказано: «Политика Zero Data Retention доступна для корпоративных (Enterprise) аккаунтов». Описание её настройки Default Policy гласит: «Применяется к Inference и Training. Выключена по умолчанию». Три операции, которые отклоняет политика, фигурируют в раскрытой информации.

Ни одна из компаний не уточнила, какая функция Fireworks хранила стенограммы Notion, и ничто в раскрытой информации не говорит о том, что политика предотвратила бы вторжение.

Wiz зафиксировала проверку украденных ИИ-ключей в течение 30 минут

Компания Wiz насчитала как минимум девять платформ для ИИ-разработчиков, сообщивших об инцидентах в октябре, и связала два украденных корпоративных ключа с одной из них. «У них была идентичная первая несанкционированная активность, произошедшая в течение 30 минут после зафиксированного доступа к учётным данным в ходе взлома поставщика».

Cloud Security Alliance 23 октября, ещё до того как Fireworks расширила раскрытие информации, написала: «Анкеты для поставщиков должны включать вопросы о том, как шифруются секреты клиентов и кто может их расшифровать, могут ли внутренние сотрудники или автоматические задания читать секреты клиентов в открытом виде», — наряду с другими вопросами.

План действий для SOC

Из раскрытой информации следуют пять проверок.

1. Спросите свои продуктовые команды и каждого поставщика ИИ, какие функции сохраняют контент. В списке Fireworks названы «сохранённые ответы, пакетные задания и обучение».

2. Проверьте, как настроены параметры политики. В справочнике по API Fireworks сказано: «Любой участник аккаунта может просматривать настройки политики». Там же добавлено, что «отсутствие zeroDataRetention означает, что политика выключена».

3. Ищите проверочный вызов. Wiz пишет: «Это был единичный вызов InvokeModel с резидентного IP-адреса в ходе минутного прогона, в котором украденные ключи проверялись в нескольких организациях».

4. Перевыпускайте учётные данные у их эмитента. Fireworks предупреждает: «Одно лишь удаление сохранённого секрета не аннулирует сами учётные данные».

5. Сохраните улики, а затем решите, что останется в хранилище. «Включение политики не удаляет ничего из того, что уже хранится в аккаунте, — например, сохранённые ответы, наборы данных и загруженные модели».