Pinterest сократила расходы на ИИ на 90% при дообучении модели Qwen

При 620 миллионах пользователей ежемесячно обращаться к передовой модели для каждой рекомендации изображений — это не стратегия, а путь к разорению. Технический директор Pinterest Мэтт Мадригал решил эту проблему, удалив визуальный уровень Qwen3-VL и пересобрав его на основе собственных эмбеддингов, что снизило затраты на 90% и повысило точность на 30%.

Команда Мадригала активно инвестирует в глубокую кастомизацию открытых моделей «собственными силами».

«Если у вас есть по-настоящему уникальные данные, с помощью которых вы можете дообучить модель с открытым исходным кодом, то качество данных, честно говоря, перевесит или компенсирует размер модели», — пояснил Мадригал в недавнем подкасте VB Beyond the Pilot.

Как Pinterest адаптировал Qwen для визуального поиска

Pinterest, у которого около 620 миллионов активных пользователей в месяц, уже давно использует модели с открытым исходным кодом для визуального поиска и обнаружения контента, начиная с BERT от Google и CLIP от OpenAI. Компания дообучила собственный Pin CLIP на базе последнего, интегрировав проприетарные визуальные эмбеддинги и метаданные изображений.

Разговорный помощник Pinterest по покупкам, Navigator 1, был создан на базе Qwen3-VL со «весьма значительными» доработками. Команда Мадригала фактически «вырвала» уровень визуального энкодера Qwen и дообучила модель на проприетарных мультимодальных эмбеддингах. Это позволило им собирать метаданные пинов и изображений, которые затем можно предварительно вычислять оффлайн и регулярно переобучать на новой информации для обеспечения персонализированного опыта.

«Модели с открытым исходным кодом, особенно с открытыми лицензиями Apache, когда вы действительно можете настраивать множество открытых весов и кастомизировать систему под уникальные сценарии использования — именно в этом мы видим всю мощь open-source», — сказал Мадригал.

Использование собственных эмбеддингов позволяет его команде получать контекст вокруг метаданных, пинов и изображений; кроме того, что примечательно, модель работает эффективнее во время выполнения и инференса. Без этих эмбеддингов разработчикам пришлось бы вызывать и кодировать каждое возвращаемое изображение во время выполнения, по одному за раз. По словам Мадригала, это приводит к задержкам, которые «в 20 раз хуже» с точки зрения инференса.

«Если это критически важно для наших конечных пользователей, будет стимулировать вовлеченность и должно масштабироваться на более чем 600 миллионов активных пользователей в месяц, мы либо создадим это сами, либо задействуем открытый исходный код и кастомизируем его по полной программе», — отметил он.

Как граф вкусов отражает меняющиеся интересы

Чтобы направлять пользователей от вдохновения к покупке, команда Мадригала создала «граф вкусов» (taste graph): динамическое представление того, что на самом деле нравится конкретным пользователям, а не только того, на что они кликают. «Это отражение эволюционирующих вкусов миллиардов людей», — сказал он.

Люди обращаются к Google или другим поисковым системам, когда у них есть четкое представление о том, чего они хотят; Pinterest же предназначен для тех, кто все еще находится на этапе поиска, пояснил Мадригал. Цель Pinterest — поощрять «латеральное исследование» и превращать интерес в намерение (то есть переходы по рекламе или совершение покупок).

Под капотом эта архитектура объединяет графовую структуру с репрезентативным обучением. Пользовательские эмбеддинги фиксируют меняющиеся вкусы человека. Они постоянно обновляются на основе активности, нового контента и сигналов. «Это не социальный граф, — подчеркнул Мадригал. — Это в гораздо большей степени граф предпочтений: что вас вдохновит? Что вы собираетесь делать дальше?»

Например, один пользователь может увлекаться дизайном середины XX века, а другой предпочитает эстетику в стиле Нантакета. Эти предпочтения будут зафиксированы в пользовательских эмбеддингах, и в результате граф вкусов выдаст конкретные, релевантные продукты.

«Вы проходите путь от верхнего уровня воронки — вдохновения и поиска — до самого нижнего уровня, где формируется намерение совершить покупку», — резюмировал Мадригал.

Послушайте полный выпуск подкаста, чтобы узнать больше о том:

• Как Pinterest использует изолированные среды (песочницы) для стимулирования творчества безопасным и контролируемым образом;

• Почему непрерывная обратная связь помогает предотвратить появление некачественного визуального ИИ-контента («slop»);

• Какое значение имеет постоянное бенчмаркирование для оценки вовлеченности пользователей, производительности, задержек и других факторов.

Вы также можете послушать подкаст и подписаться на него на платформе Beyond the Pilot в Spotify, Apple или в любом другом сервисе, где вы слушаете подкасты.