MolmoWeb от Ai2: выпущен веб-агент с открытыми весами

Инженеры, создающие сегодня браузерные агенты, сталкиваются с выбором между закрытыми API, которые они не могут проверить, и фреймворками с открытыми весами без обученной модели под капотом. Ai2 теперь предлагает третий вариант.

Базирующийся в Сиэтле некоммерческий институт, стоящий за языковыми моделями с открытым исходным кодом OLMo и семейством визуально-языковых моделей Molmo, сегодня выпускает MolmoWeb — визуальный веб-агент с открытыми весами, доступный в версиях с 4 и 8 миллиардами параметров.

До сих пор ни один визуальный веб-агент с открытыми весами не поставлялся с обучающими данными и конвейером, необходимыми для его аудита или воспроизведения. У MolmoWeb они есть.

MolmoWebMix, сопутствующий набор данных, включает 30 000 траекторий выполнения задач человеком на более чем 1 100 веб-сайтах, 590 000 демонстраций отдельных подзадач и 2,2 миллиона пар скриншотов с вопросами и ответами. Ai2 описывает его как крупнейшую из когда-либо собиравшихся публично доступных коллекций выполнения веб-задач человеком.

«Можете ли вы перейти от пассивного понимания изображений, их описания и создания подписей к тому, чтобы заставить их совершать действия в какой-либо среде? — рассказал VentureBeat Танмай Гупта (Tanmay Gupta), старший научный сотрудник Ai2. — Именно это и представляет собой MolmoWeb».

Как это работает: агент видит то, что видите вы

MolmoWeb работает исключительно на основе скриншотов браузера. Он не анализирует HTML и не полагается на представления веб-страницы в виде дерева доступности. На каждом шаге он получает инструкцию по задаче, текущий скриншот, текстовый лог предыдущих действий, а также текущий URL-адрес и заголовок страницы. Он выдает рассуждение на естественном языке, описывающее ход его мысли, а затем выполняет следующее действие в браузере: клик по координатам экрана, ввод текста, прокрутку, переход по URL-адресу или переключение вкладок.

Модель не привязана к конкретному браузеру. Ей требуется только скриншот, а значит, она может работать с локальными Chrome, Safari или запущенной в облаке браузерной службой. В хостинговой демоверсии используется Browserbase — стартап в сфере облачной браузерной инфраструктуры.

Набор данных, который заставляет всё это работать

Веса модели — это лишь часть того, что выпускает Ai2. MolmoWebMix, сопутствующий обучающий набор данных, является главным отличием от всех остальных доступных сегодня агентов с открытыми весами.

«Данные в основном выглядят как последовательность скриншотов и действий в паре с инструкциями относительно того, каков был замысел этой последовательности скриншотов», — пояснил Гупта.

MolmoWebMix объединяет три компонента.

Демонстрации людей. Люди-ассистенты выполняли задачи по просмотру сайтов с помощью специального расширения для Chrome, которое записывало действия и скриншоты на более чем 1 100 веб-сайтах. В результате получилось 30 000 траекторий задач, охватывающих более 590 000 демонстраций отдельных подзадач.

Синтетические траектории. Чтобы выйти за рамки того, что может обеспечить исключительно разметка людьми, Ai2 сгенерировала дополнительные траектории с помощью текстовых агентов дерева доступности: запуски одиночных агентов, отфильтрованные по успешности выполнения задач, многоагентные конвейеры, разбивающие задачи на подцели, и детерминированные пути навигации по сотням веб-сайтов. Что принципиально важно, проприетарные визуальные агенты не использовались. Синтетические данные получены из текстовых систем, а не из OpenAI Operator или API компьютерного управления Anthropic.

Данные восприятия GUI. Третий компонент обучает модель читать и осмысливать содержимое страниц непосредственно по изображениям. Он включает более 2,2 миллиона пар «скриншот — вопрос-ответ», собранных с почти 400 веб-сайтов и охватывающих задачи привязки элементов к интерфейсу и рассуждения на основе скриншотов.

«Если вы способны выполнить задачу и записать траекторию этого процесса, вы должны быть способны обучить веб-агент на этой траектории выполнять точно такую же задачу», — отметил Гупта.

Как MolmoWeb выглядит на фоне конкурентов

По мнению Гупты, на рынке браузерных агентов существует две категории технологий.

Первая — системы, работающие только через API; они функциональны, но закрыты, без какой-либо видимости процесса обучения или архитектуры. К этой группе относятся OpenAI Operator, API компьютерного управления Anthropic и инструмент компьютерного управления Gemini от Google.

Вторая категория — модели с открытыми весами, их значительно меньше. Browser-use, наиболее широко распространенная открытая альтернатива, представляет собой скорее фреймворк, чем обученную модель. Он требует от разработчиков предоставления собственной языковой модели (LLM) и создания уровня агента поверх нее.

MolmoWeb относится ко второй категории как полностью обученная визуальная модель с открытыми весами. По данным Ai2, она лидирует в этой группе по результатам тестирования на четырех бенчмарках живых веб-сайтов: WebVoyager, Online-Mind2Web, DeepShop и WebTailBench. Как заявляет Ai2, модель также превосходит старые агенты на базе API на основе GPT-4o с поддержкой дерева доступности и ввода скриншотов.

В описании релиза Ai2 упоминает ряд текущих ограничений. Модель иногда допускает ошибки при чтении текста со скриншотов, взаимодействие методом перетаскивания (drag-and-drop) остается ненадежным, а производительность падает при получении двусмысленных или чрезмерно ограниченных инструкций. Кроме того, модель не обучалась выполнению задач, требующих входа в систему или финансовых транзакций.

Корпоративные команды, оценивающие браузерные агенты, выбирают не просто модель. Они решают, смогут ли они провести аудит того, что запускают, доработать систему под внутренние рабочие процессы и избежать зависимости от API с оплатой за каждый вызов.