OpenAI кардинально обновляет настольное приложение Codex: интеграция со всеми приложениями на компьютере, генерация изображений и превью веб-страниц

Подтвердив достижение отметки в 3 миллиона еженедельных разработчиков, OpenAI сегодня выпускает масштабное обновление своей среды разработки Codex для настольных приложений под Mac и Windows, приближая ее к формату «суперприложения», создание которого компания ранее подтвердила.

До сегодняшнего дня Codex представлял собой преимущественно среду для использования базовых языковых моделей OpenAI с целью написания, редактирования, отладки и выпуска программного обеспечения по указанию пользователя.

Теперь Codex сможет получать доступ ко всем остальным приложениям на вашем компьютере, выводить релевантную информацию из них по запросу или проактивно, выполнять действия в указанных приложениях и, в случае пользователей Mac, даже делать это параллельно с тем, как вы продолжаете вручную работать за компьютером, пока ваши агенты трудятся в фоновом режиме.

Эндрю Амбросино (Andrew Ambrosino), сотрудник технического персонала OpenAI в команде Codex, просто описал это изменение на закрытом брифинге для прессы, который я виртуально посетил вчера: «Codex может фактически кликать по приложениям, запускать их и вводить текст в приложения. Это работает с любыми приложениями на вашей машине».

Кроме того, десктопная версия Codex обзавелась собственным встроенным веб-браузером, позволяющим пользователям предварительно просматривать результаты фронтенд-разработки, и напрямую интегрированным конвейером для мощной модели генерации изображений от OpenAI — gpt-image-1.5. Это позволяет пользователям создавать графику для своих проектов — от веб-сайтов и презентаций до полноценных играбельных ПК-игр с сотнями ассетов — и всё это в едином стиле.

Как отметил во время брифинга Тибо «Тибо» Соттио (Thibault «Tibo» Sottiaux), руководитель направления Codex в OpenAI: «Дело не только в росте. Мы передаем очень способного агента в руки разработчиков, и теперь мы видим, что способны расширять возможности и выполнять гораздо больше работы прямо на вашем компьютере».

На вопрос о том, почему OpenAI внедряет все эти функции именно в Codex, а не в свое более известное флагманское приложение ChatGPT, Соттио ответил изданию VentureBeat: «Codex — наш самый мощный агент. Он уже работал на вашем компьютере, поэтому мы расширяем возможности там. Это казалось вполне естественным. В какой-то момент мы сделаем так, чтобы это имело полный смысл».

Это обновление выходит на фоне того, как конкурирующая компания Anthropic ранее исследовала аналогичные сценарии использования, запустив Claude Cowork и обновив интерфейс десктопного приложения Claude Code, доступные в рамках десктопного приложения Claude для Mac и Windows. Однако Claude не позволяет десктопному приложению параллельно использовать курсор в фоновом режиме во всех приложениях пользователя так, как это делает Codex.

Многозадачные агентские сценарии использования компьютера в фоновом режиме на macOS

Наиболее значительным технологическим прорывом в этом релизе стал режим «Computer Use» («Использование компьютера»), пока доступный только пользователям macOS.

Эта функция позволяет Codex выйти за рамки традиционного контейнера чат-бота, чтобы «видеть, кликать и печатать» во всех приложениях на компьютере.

Что особенно важно, все это происходит в фоновом режиме. «Он может использовать приложения на вашем компьютере в фоне, а не захватывать весь ваш компьютер целиком», — пояснил Кэффри Линч (Caffrey Lynch) из отдела коммуникаций продуктов для разработчиков OpenAI.

Это делает возможными «мультиагентные» рабочие процессы, при которых Codex может тестировать изменения во фронтенде или заниматься сортировкой задач в JIRA, пока разработчик продолжает работу в другом приложении.

Для пользователей Windows основное десктопное приложение Codex остается доступным и поддерживаемым (как и извлечение информации из этих приложений для отображения пользователю в Codex), хотя на момент запуска в нем отсутствуют фоновые взаимодействия на уровне курсора, доступные на Mac.

Универсальное решение для полного цикла разработки ПО

Помимо управления операционной системой, OpenAI уделяет удвоенное внимание «жизненному циклу разработки программного обеспечения» (SDLC). Теперь приложение Codex функционирует скорее как единое рабочее пространство, поддерживая все процессы — от ревью pull-request’ов на GitHub до управления удаленной инфраструктурой.

«Проще всего думать об этом релизе как о наделении Codex и приложения способностью работать в гораздо более широком цифровом пространстве», — сказал Эндрю Амбросино, руководитель разработки приложения Codex. Теперь это пространство включает в себя:

• Встроенный браузер: Встроенный в приложение браузер позволяет разработчикам вносить итеративные изменения во фронтенд-дизайн, оставляя комментарии прямо к элементам DOM и предоставляя агенту точные инструкции для выполнения.

• Визуальные примитивы: Благодаря интеграции gpt-image-1.5, Codex теперь может генерировать изображения для макетов и игровых ассетов и вносить в них изменения прямо в процессе разработки.

• Расширенная боковая панель: Теперь в приложении доступны расширенные возможности предварительного просмотра не кодовых файлов (таких как PDF, электронные таблицы и слайд-шоу), а также панель сводки для отслеживания планов агента и источников.

• Терминал и SSH: Обновление добавляет поддержку множества вкладок терминала и альфа-функцию для подключения к удаленным средам разработки (devbox) через SSH.

Для объединения этих разрозненных задач OpenAI выпускает более 90 новых плагинов. Эти коннекторы, включая CircleCI, GitLab и Microsoft Suite, позволяют агенту собирать контекст и совершать действия во всем наборе инструментов, который разработчик использует ежедневно.

В демонстрационном видео, показанном во время брифинга, OpenAI представила пример, где пользователь вводит в поле ввода запроса Codex фразу: «Можешь проверить Slack, Gmail, Google Calendar и Notion и подсказать, чему нужно уделить внимание?». Это демонстрирует, как Codex теперь может сканировать несколько приложений и собирать из них информацию в рамках одного запроса, выводя на экран то, что наиболее важно для пользователя.

«Вы можете использовать упоминания через знак @, если хотите, чтобы Codex задействовал конкретное приложение, или же предоставить Codex возможность самостоятельно определить, какие приложения использовать», — отметил Амбросино.

«Сердцебиение» продуктивности

Одним из наиболее тонких, но мощных изменений стало внедрение постоянной автономности (persistent agency). С помощью функций «Heartbeat Automations» («Автоматизация по сердцебиению») Codex теперь может планировать будущую работу для себя и «просыпаться» для выполнения долгосрочных задач.

Это позволяет командам настраивать агентов, которые следят за каналами в Slack или документами в Notion и проактивно обновляют документацию или создают пул-реквесты.

Этому способствует новая функция «Memory» («Память»), находящаяся в настоящее время на стадии предварительного просмотра. Память позволяет Codex запоминать личные предпочтения, предыдущие исправления и собранную информацию, снижая необходимость в написании объемных пользовательских инструкций для каждой новой сессии.

«По мере использования Codex он также начинает лучше проявлять проактивность», — отметил Соттио.

Эта проактивность проявляется в функции в стиле «еднавной сводки», когда приложение подсказывает, с чего начать день, выявляя открытые комментарии в Google Документах или актуальный контекст в Slack.

По своему духу и практической реализации это близко к новой функции «Routines» («Процедуры»), запущенной компанией Anthropic для продукта Claude Code на этой неделе.

Лицензирование, цены и доступность

Недавно OpenAI перешла на более гибкую ценовую модель для команд, включающую тариф за $100 и опции оплаты по мере использования (pay-as-you-go), чтобы покрыть возросшее потребление ресурсов автономными агентами. Для индивидуальных пользователей эти обновления начинают внедряться уже сегодня для тех, кто вошел в десктопное приложение Codex с учетной записью ChatGPT.

Хотя десктопное приложение Codex доступно как на macOS, так и на Windows, развертывание конкретных функций происходит поэтапно:

• Фоновое использование компьютера: только macOS на момент запуска.

• Персонализация (Память/Предложения): скоро появится для корпоративных пользователей, сферы образования, а также пользователей из ЕС и Великобритании.

• Обновления базового жизненного цикла разработки ПО: доступны всем пользователям десктопного приложения начиная с сегодняшнего дня.

Видение: от инструмента разработчика к суперприложению для всех

На вопрос о том, представляют ли эти функции основу ИИ-«суперприложения», Соттио подтвердил эту стратегию: «Мы создаем суперприложение открыто, развивая его на базе приложения Codex».

Цель состоит в том, чтобы решить реальную проблему: разработчики тратят большую часть своего времени на координацию и сбор контекста, а не на написание кода.

Приближая Codex к операционной системе и более широкой экосистеме инструментов разработки, OpenAI позиционирует его как центральную нервную систему современной разработки программного обеспечения.

«Наша миссия — гарантировать, что искусственный общий интеллект (AGI) принесет пользу всему человечеству, — заявила компания в своем официальном анонсе. — Это означает сокращение разрыва между тем, что люди могут вообразить, и тем, что они могут реально создать».