Видеомодель Molmo 2 от Ai2 бросает вызов гигантам

Сразу после выпуска последней версии своей базовой модели Olmo, Институт искусственного интеллекта Аллена (Ai2) во вторник представил свою видеомодель с открытым исходным кодом Molmo 2. Цель релиза — продемонстрировать, что более компактные открытые модели могут быть жизнеспособным выбором для компаний, специализирующихся на понимании и анализе видео.

В своем пресс-релизе компания сообщила, что Molmo 2 «переносит сильные стороны Molmo в области детального анализа изображений на видео и работу с несколькими изображениями» — в сфере, где до сих пор в основном доминировали крупные проприетарные модели.

Ai2 выпустила три варианта Molmo 2:

• Molmo 2 8B — модель на базе Qwen-3, которую Ai2 описывает как свою «лучшую универсальную модель для видеоанализа с привязкой к кадрам и ответов на вопросы»

• Molmo 2 4B, разработанная для более эффективного развертывания

• Molmo 2-O 7B, созданная на базе модели Olmo

Molmo 2 поддерживает работу с одиночными и множественными изображениями, а также с видеороликами различной длины, что позволяет решать такие задачи, как поиск фрагментов в видео, трекинг и ответы на вопросы.

«Одной из наших главных задач при разработке было устранение серьезного пробела в открытых моделях — точной привязки к объектам (grounding)», — отметили в Ai2 в своем пресс-релизе.

Компания впервые представила семейство Molmo открытых мультимодальных моделей в прошлом году, начав с изображений. В Ai2 заявили, что Molmo 2 превосходит предыдущие версии по точности, пониманию временной последовательности и пространственной привязке на уровне пикселей, а в некоторых случаях демонстрирует результаты, конкурентоспособные с более крупными моделями, такими как Google Gemini 3.

Как соотносятся возможности Molmo 2

Несмотря на меньший размер, модели Molmo 2 превзошли Gemini 3 Pro и других конкурентов с открытыми весами в бенчмарках по трекингу видео.

Что касается работы с текстом на основе одного или нескольких изображений, в Ai2 сообщили, что Molmo 2 8B «опережает все модели с открытыми весами, а вариант 4B отстает от него совсем незначительно». Модели 8B и 4B также продемонстрировали высокие результаты при оценке предпочтений людей по методу Elo для моделей с открытыми весами, хотя в Ai2 отметили, что более крупные проприетарные модели продолжают лидировать в этом бенчмарке в целом.

Однако основные достижения Molmo 2 связаны с видеоанализом с привязкой к кадрам и подсчетом объектов в видео, где она превосходит аналогичные модели с открытыми весами.

«Эти результаты подчеркивают как достигнутый прогресс, так и потенциал для дальнейшего роста: анализ видео с привязкой к кадрам по-прежнему остается сложной задачей, и ни одна модель пока не достигает 40% точности», — заявили в Ai2, ссылаясь на текущие бенчмарки.

Многие видеомодели, такие как Google Veo 3.1 и OpenAI Sora, как правило, очень велики. Molmo 2 ориентирована на иной баланс: это компактные открытые модели, оптимизированные для анализа и привязки к кадрам, а не для генерации видео.