OpenAI выпускает видеомодель Sora 2

Компания OpenAI сегодня объявила о выпуске Sora 2 — своей новейшей модели для генерации видео, которая теперь также создает синхронизированный с видеоряд аудиоконтент.

Релиз сопровождается запуском нового приложения для iOS под простым названием Sora. Оно позволяет пользователям добавлять и редактировать с помощью ИИ видеоролики с участием самих себя и своих друзей благодаря новой функции «Cameo» (Камео). При этом в OpenAI заявляют о наличии надежных средств защиты и мер безопасности, предотвращающих внедрение чьей-либо личности в создаваемые ИИ видео без согласия или одобрения этого человека.

Кроме того, компания сообщила, что в разработке находится прикладной программный интерфейс (API) Sora. Он позволит сторонним разработчикам встраивать новую модель Sora 2 в собственные видеоредакторы, открывать новые, более тонкие и профессиональные возможности редактирования, а также в целом двигать передовые модели генерации видео в новых направлениях.

Помимо этого, OpenAI сообщает, что мобильное приложение для Android также находится в разработке. Журнал WIRED (которым руководит моя жена) сообщил эксклюзивную новость о разработке мобильного ИИ-приложения Sora 2 примерно за день до официального анонса OpenAI.

Пользователи ChatGPT в США и Канаде первыми получат доступ к новой модели и приложению, однако в OpenAI заявили, что планируют расширить доступ на другие страны в ближайшие дни и недели. Sora 2 доступна бесплатно с лимитами использования для всех пользователей, в то время как подписчики ChatGPT Pro получают доступ к более качественной модели «Sora 2 Pro»; пользователи ChatGPT Plus не получают дополнительных преимуществ по сравнению с бесплатным тарифом.

Релиз был представлен во время прямой трансляции на YouTube исследователями команды OpenAI Sora Биллом Пиблзом (Bill Peebles), Роханом Сахаем (Rohan Sahai) и Томасом Димсоном (Thomas Dimson). Они познакомили зрителей с возможностями модели, функцией камео и дорожной картой для будущих инструментов.

Шаг вперед в видео-ИИ

Сейчас в это трудно поверить, но OpenAI поразила мир своими реалистичными ИИ-видео, когда впервые показала оригинальную модель Sora в начале 2024 года. Правда, тогда запуск происходил медленно и лишь для небольшого числа творческих партнеров, пока модель наконец не стала общедоступной в декабре 2024 года.

К тому моменту вся индустрия генерации видео с помощью ИИ в основном ушла вперед и продолжала развиваться в последующие месяцы. Появилось множество других фотореалистичных моделей от стартапов Runway, Luma, Kling, Higgsfield и других конкурентов — многие из них отличались лучшим качеством и встроенной генерацией аудио, чего исходной модели и редактору Sora от OpenAI не хватало вплоть до сегодняшнего дня.

OpenAI описывает оригинальную Sora как свой «момент GPT-1» для видео — этап, когда генерация видео впервые начала демонстрировать признаки правдоподобности.

Sora 2, напротив, позиционируется как нечто более близкое к «моменту GPT-3.5», отличающееся более продвинутой физикой, реалистичностью и возможностями контроля.

Модель способна справляться со сложными движениями, такими как гимнастические упражнения или трюки на сапборде, подчиняясь при этом законам физики вроде импульса и плавучести.

В отличие от ранних систем, которые могли просто «телепортировать» баскетбольный мяч в кольцо, Sora 2 создает реалистичный отскок при промахе. Она также синхронизирует диалоги, фоновый звук и звуковые эффекты, обеспечивая гармоничное аудиовизуальное сопровождение в самых разных стилях — от фотореализма до аниме.

Выдающейся функцией стали «Cameos» (Камео), которые позволяют пользователям добавлять себя или друзей в сгенерированные сцены после короткой однократной записи для захвата внешности и голоса.

Докладчики во время стрима подчеркнули, что использование камео происходит исключительно по собственному желанию пользователя (opt-in), защищено проверочными тестами для предотвращения выдачи себя за другого человека и может быть отозвано в любой момент. Вот пример видео с камео в Sora 2, в котором исследователь OpenAI взаимодействует с бигфутом:

Приложение Sora

Новое приложение Sora служит основным интерфейсом для доступа к модели. Оно позволяет пользователям создавать видео и делать ремиксы, просматривать персонализированную ленту и общаться. Пользователи могут добавлять себя в чужие видео с помощью камео, переосмыслять популярный контент со своим собственным акцентом, а также задавать стиль и тон с помощью текстовых подсказок (промптов).

На старте приложение работает по приглашениям (инвайтам), чтобы пользователи могли присоединяться вместе с друзьями. По заявлению компании, лента устроена иначе, чем на типичных платформах социальных соцсетей.

Вместо того чтобы максимизировать время, проведенное за скроллингом, приложение отдает приоритет поиску видео, которые способны вдохновить на творчество. Контент ранжируется с учетом людей, на которых подписан пользователь или с которыми он взаимодействует, а настройки персонализации можно корректировать с помощью текстовых инструкций на естественном языке.

Приложение Sora доступно на iOS бесплатно с щедрыми лимитами использования, зависящими от вычислительных мощностей. Со временем OpenAI планирует предложить платные тарифы для генерации дополнительных видео в периоды пикового спроса.

Подписчики ChatGPT Pro также получат доступ к более качественной модели «Sora 2 Pro» через сайт sora.com и, со временем, прямо в приложении. Версия для Android находится в разработке.

Защита персональных данных и камео

Система камео также играет ключевую роль в обеспечении безопасности личности на платформе.

• Настройка и верификация: для создания камео пользователи записывают в приложении короткое видео и образец динамического аудио. Системы OpenAI проверяют этот образец с помощью аудио-тестов для подтверждения подлинности и предотвращения выдачи себя за другое лицо.

• Контроль разрешений: после прохождения проверки пользователь выбирает, кто может использовать его камео в генерациях: только он сам, выбранные контакты, взаимные подписчики или все пользователи. Эти разрешения можно изменить в любой момент в настройках камео.

• Кастомизация: пользователи могут настраивать то, как модель отображает их образ, исправляя такие огрехи, как галлюцинации с одеждой или акцентом, либо добавляя интересные стилистические вариации.

• Права на отзыв и удаление: в любой момент владелец камео может отозвать доступ. Он также имеет право удалить любое видео со своим изображением, включая черновики, созданные другими пользователями. OpenAI описывает это как предоставление пользователям полного контроля над своей личностью внутри системы на правах собственника.

Безопасность для подростков и широкой аудитории

При запуске компания OpenAI уделила особое внимание функциям безопасности и благополучия подростков.

• Защита от бесконечного скроллинга: для пользователей младше 18 лет в приложении по умолчанию отключена бесконечная лента. Вместо этого после определенного количества видео воспроизведение автоматически ставится на паузу, требуя сделать перерыв перед продолжением. Даже взрослым пользователям выводятся мягкие напоминания, если они слишком долго пассивно листают ленту, поскольку приложение ставит во главу угла творчество, а не потребление контента.

• Защитные фильтры для несовершеннолетних: если классификаторы обнаруживают потенциального несовершеннолетнего в загруженной для камео записи или на изображении, к нему применяются более строгие пороги проверки. Это гарантирует, что последующие генерации будут дополнительно фильтроваться на предмет вредного или неприемлемого контента.

• Настройки конфиденциальности по умолчанию: учетные записи подростков оснащены более строгими параметрами конфиденциальности, которые ограничивают использование их внешности, ограничивают обнаружение взрослыми пользователями и создают барьеры для нежелательных контактов.

• Родительский контроль: родители могут использовать инструменты, связанные с ChatGPT, для настройки параметров взаимодействия подростка с приложением. Эти средства контроля позволяют переопределять ограничения ленты, отключать алгоритмическую персонализацию, управлять разрешениями для камео и ограничивать прямые сообщения.

Эти меры отражают стремление OpenAI сбалансировать эксперименты с заботой о психологическом благополучии пользователей, учитывая опасения по поводу аддиктивного поведения и вредной социальной динамики.

Безопасность и происхождение контента

Помимо мер по защите идентичности, в системной карте OpenAI описаны более широкие средства безопасности:

• Модерация входных и выходных данных с помощью мультимодальных классификаторов.

• Ограничения на генерацию публичных лиц или фотореалистичных портретов реальных людей без их согласия.

• Автоматическое обнаружение вредоносного контента с повышенным вниманием к социальной ленте Sora.

• Инструменты установления происхождения контента, такие как метаданные C2PA, видимые движущиеся водяные знаки на скачиваемых видео и внутреннее отслеживание для проверки контента, созданного ИИ.

Компания сотрудничала с независимыми специалистами по тестированию на проникновение (red team), чтобы проверить систему на устойчивость к таким категориям нарушений, как экстремизм, нагота, членовредительство и политические манипуляции.

Дорожная карта: Сториборды и API

Помимо приложения, OpenAI рассказала о новых функциях, находящихся в разработке для сайта sora.com, включая инструменты создания раскадровок (storyboards), которые позволят авторам покадрово контролировать развитие сюжета видео. Согласно прямой трансляции, инструменты для работы со сторибордами ожидаются в течение нескольких недель.

Компания также подтвердила, что API для Sora 2 появится «в ближайшие недели», открывая модель для разработчиков, которые хотят интегрировать генерацию видео в собственные инструменты и редакторы.

«Существует огромный хвост сценариев использования, где люди создают потрясающие вещи, и хотя мы не планируем создавать элементы детального управления редактированием, другие вполне могут захотеть этого», — пояснил один из докладчиков.

Размышления Альтмана

Генеральный директор OpenAI Сэм Альтман поделился своим видением в личном блоге, приуроченном к запуску. Он охарактеризовал Sora как «момент ChatGPT для творчества» и отметил, что первые тестировщики сочли функцию камео удивительно привлекательным способом общения с другими людьми.

Альтман также признал потенциальные негативные стороны. «Мы понимаем, насколько аддиктивным может стать подобный сервис, и представляем множество сценариев его использования для травли», — написал он. Он предостерег от риска появления «оптимизированной с помощью обучения с подкреплением мусорной ленты» (RL-optimized slop feed), но подчеркнул, что команда приложила усилия для предотвращения такого исхода.

Он обрисовал несколько руководящих принципов: оптимизация под долгосрочное удовлетворение пользователя, предоставление пользователям контроля над своими лентами, приоритет творчества и помощь людям в достижении их целей. Если через несколько месяцев пользователи не почувствуют, что их жизнь улучшилась, Альтман пообещал, что OpenAI внесет существенные изменения или полностью закроет сервис.

Что дальше

В настоящее время Sora 2 доступна через приложение и на сайте sora.com, а доступ к API появится в ближайшее время. Версия Sora 1 Turbo продолжает работать, а прошлые творения пользователей останутся доступны в их библиотеках.

OpenAI позиционирует Sora 2 не только как инструмент для развлечений и творчества, но и как шаг к более масштабным амбициям в области симуляции миров и систем искусственного интеллекта, способных взаимодействовать с физической реальностью. Как отметила команда Sora в своем анонсе, система все еще несовершенна, но она знаменует собой прогресс на пути к «симуляции реальности», предлагая пользователям новый игровой способ экспериментов с видео.

Сочетание новых инструментов, социального приложения с упором на творчество, надежной системы защиты идентичности и API для разработчиков говорит о том, что OpenAI рассматривает Sora 2 и как потребительский продукт, и как полноценную платформу. Станет ли сервис ключевым элементом цифрового творчества, будет зависеть не только от его технических возможностей, но и от того, насколько эффективно компания сможет управлять вопросами безопасности, благополучия и доверия пользователей в предстоящие месяцы.