OpenAI запускает Privacy Filter — открытую модель локальной очистки данных для удаления персональной информации из корпоративных наборов данных

В рамках значительного шага в сторону создания локальной инфраструктуры конфиденциальности компания OpenAI выпустила Privacy Filter — специализированную модель с открытым исходным кодом, разработанную для обнаружения и удаления персональных данных (PII) до того, как они попадут на облачный сервер.

Представленный сегодня в сообществе разработчиков ИИ на Hugging Face на условиях либеральной лицензии Apache 2.0, этот инструмент решает насущную проблему индустрии: риск «утечки» конфиденциальных данных в тренировочные датасеты или их раскрытия во время высокопроизводительного инференса.

Предоставляя модель с 1,5 миллиарда параметров, способную работать на стандартном ноутбуке или прямо в веб-браузере, компания фактически вручает разработчикам набор инструментов «конфиденциальности по дизайну» (privacy-by-design), который функционирует как сложный цифровой шредер с учетом контекста.

Хотя OpenAI изначально была основана с акцентом на модели с открытым исходным кодом, в эпоху ChatGPT компания переключилась на предоставление более проприетарных («закрытых») моделей, доступных только через ее веб-сайт, приложения и API — и лишь в прошлом году вернулась к открытому исходному коду, выпустив семейство языковых моделей gpt-oss.

В этом свете, а также учитывая недавнее открытие компанией OpenAI исходного кода инструментов и фреймворков для агентной оркестровки, можно с уверенностью сказать, что гигант генеративного ИИ по-прежнему вкладывает значительные средства в развитие этой менее прибыльной в краткосрочной перспективе части экосистемы ИИ.

Технология: вариант gpt-oss с двунаправленным классификатором токенов, читающим с обоих направлений

С архитектурной точки зрения Privacy Filter является производной от семейств моделей gpt-oss от OpenAI — серии моделей рассуждения с открытыми весами, выпущенных ранее в этом году.

Однако, в то время как стандартные большие языковые модели (LLM) обычно являются авторегрессионными — то есть предсказывают следующий токен в последовательности, — Privacy Filter представляет собой двунаправленный классификатор токенов.

Это различие имеет решающее значение для точности. Рассматривая предложение с обоих направлений одновременно, модель получает более глубокое понимание контекста, которое модель, работающая только вперед, может упустить.

Например, она может лучше определить, относится ли «Алиса» к частному лицу или к известному литературному персонажу, основываясь на словах, следующих за именем, а не только на тех, что ему предшествуют.

В модели используется фреймворк разреженной «Смеси экспертов» (Mixture-of-Experts, MoE). Хотя в общей сложности она содержит 1,5 миллиарда параметров, во время каждого отдельного прохода вперед активно только 50 миллионов из них.

Такая разреженная активация обеспечивает высокую пропускную способность без огромных вычислительных затрат, обычно присущих LLM. Кроме того, она обладает огромным окном контекста в 128 000 токенов, что позволяет ей обрабатывать целые юридические документы или длинные цепочки писем за один проход без необходимости разбивать текст на фрагменты — процесс, из-за которого традиционные PII-фильтры часто теряют связь между сущностями при разрыве страниц.

Для обеспечения согласованности отредактированного текста OpenAI внедрила ограниченный декодер Витерби. Вместо принятия независимого решения для каждого отдельного слова декодер оценивает всю последовательность в целом для поддержания логических переходов.

В нем используется схема маркировки «BIOES» (Begin, Inside, Outside, End, Single — начало, внутри, снаружи, конец, единичный), которая гарантирует, что если модель идентифицирует «Джон» как начало имени, она статистически склоняется к маркировке «Смит» как продолжения или конца того же имени, а не как отдельной сущности.

Обезличивание данных на устройстве

Privacy Filter разработан для высокопроизводительных рабочих процессов, где требование локального хранения данных не подлежит обсуждению. В настоящее время он поддерживает обнаружение восьми основных категорий PII:

• Личные имена: Частные лица.

• Контактная информация: Физические адреса, адреса электронной почты и номера телефонов.

• Цифровые идентификаторы: URL-адреса, номера счетов и даты.

• Учетные данные: Специализированная категория для учетных данных, ключей API и паролей.

На практике это позволяет предприятиям развертывать модель локально (on-premises) или в рамках собственных частных облаков. Маскируя данные локально перед отправкой их более мощной модели рассуждений (такой как GPT-5 или gpt-oss-120b), компании могут сохранять соответствие строгим стандартам GDPR или HIPAA и при этом использовать новейшие возможности ИИ.

Для разработчиков модель доступна через Hugging Face с нативной поддержкой transformers.js, что позволяет ей работать полностью внутри браузера пользователя с использованием WebGPU.

Полностью открытый исходный код, коммерчески жизнеспособная лицензия Apache 2.0

Пожалуй, наиболее важным аспектом этого анонса для сообщества разработчиков является лицензия Apache 2.0. В отличие от лицензий с «доступными весами», которые часто ограничивают коммерческое использование или требуют «копилефт»-распространения производных работ, Apache 2.0 является одной из самых либеральных лицензий в мире программного обеспечения. Для стартапов и создателей инструментов разработки это означает:

1. Коммерческая свобода: Компании могут интегрировать Privacy Filter в свои проприетарные продукты и продавать их, не выплачивая роялти OpenAI.

2. Кастомизация: Команды могут дообучать (fine-tune) модель на своих собственных датасетах (например, с медицинским жаргоном или проприетарными форматами логов) для повышения точности в узкоспециализированных отраслях.

3. Отсутствие вирусных обязательств: В отличие от лицензии GPL, создатели не обязаны открывать исходный код всего своего приложения, если они используют Privacy Filter в качестве компонента.

Выбирая такой путь лицензирования, OpenAI позиционирует Privacy Filter как стандартную утилиту для эпохи ИИ — по сути, «SSL для текста».

Реакция сообщества

Технологическое сообщество быстро отреагировало на релиз: многие отметили впечатляющие технические ограничения, которых удалось достичь OpenAI.

Эли Бакуш (@eliebakouch), инженер-исследователь из стартапа по обучению агентных моделей Prime Intellect, высоко оценил эффективность архитектуры Privacy Filter в X:

«Отличный релиз от @OpenAI! Архитектура MoE gpt-oss с 50 млн активных и 1,5 млрд общих параметров для недорогого фильтрования конфиденциальной информации из данных триллионного масштаба. Сохранение контекста 128k при такой маленькой модели тоже впечатляет».

Это настроение отражает более широкую тенденцию индустрии в сторону «маленьких, но удалых» моделей. В то время как весь мир сосредоточен на огромных гигантах с 100 триллионами параметров, практическая реальность корпоративного ИИ часто требует небольших, быстрых моделей, способных выполнять одну задачу — например, фильтрацию конфиденциальности — исключительно хорошо и с низкими затратами.

Тем не менее, в свою документацию OpenAI включила пункт «Предупреждение о развертывании в условиях высокого риска». Компания предупредила, что этот инструмент следует рассматривать скорее как «помощник при реорганизации/редактировании», чем как «гарантию безопасности», отметив, что чрезмерная зависимость от одной модели может привести к «пропуску фрагментов» в критически важных медицинских или юридических рабочих процессах.

Privacy Filter от OpenAI — это, очевидно, попытка компании сделать конвейер ИИ принципиально более безопасным.

Сочетая эффективность архитектуры Mixture-of-Experts с открытостью лицензии Apache 2.0, OpenAI предоставляет многим предприятиям возможность более простого, дешевого и безопасного редактирования данных PII.