OpenAI представляет Apps SDK для ChatGPT

Ежегодная конференция OpenAI для сторонних разработчиков DevDay началась сегодня с громкого анонса: сооснователь и гендиректор Сэм Альтман анонсировал новый «Apps SDK» (комплект для разработки программного обеспечения), который делает «возможным создание приложений прямо внутри ChatGPT», включая платные приложения, за использование которых компании смогут взимать плату с пользователей с помощью недавно представленного OpenAI Протокола агентской коммерции (ACP).

Иными словами, вместо того чтобы запускать приложения по одному на телефоне, компьютере или в веб-браузере — теперь все это можно делать, не покидая ChatGPT.

Эта функция позволяет пользователю входить в свои учетные записи в этих внешних приложениях, переносить всю свою информацию обратно в ChatGPT и использовать приложения практически так же, как и вне чат-бота, но теперь с возможностью просить ChatGPT выполнять определенные действия, анализировать контент или выходить за рамки того, что каждое приложение могло предложить само по себе.

Вы можете поручить Canva создать слайды на основе текстового описания, попросить Zillow найти объявления о продаже недвижимости в определенном районе, отвечающие заданным требованиям, или расспросить Coursera о содержимом конкретного урока прямо во время его воспроизведения на видео — и все это внутри ChatGPT, причем многие другие приложения уже предлагают собственные интеграции (см. ниже).

«Это откроет новое поколение интерактивных, адаптивных и персонализированных приложений, с которыми можно общаться в чате», — заявил Альтман.

Хотя Apps SDK доступен уже сегодня в режиме предварительного просмотра, в OpenAI заявили, что начнут принимать новые приложения в ChatGPT и разрешат им взимать плату с пользователей только «позже в этом году».

Встроенный доступ к приложениям в ChatGPT уже внедряется для пользователей бесплатной версии, а также тарифов Plus, Go и Pro (пока только за пределами Европейского союза), а пользователи тарифных планов Business, Enterprise и Education получат доступ к приложениям позднее в этом году.

Создано на базе общего стандарта MCP

Созданный на основе открытого стандарта Model Context Protocol (MCP), представленного конкурентом Anthropic почти год назад, Apps SDK предоставляет сторонним разработчикам, работающим независимо или от имени крупных и малых предприятий, возможность подключать выбранные данные, «запускать действия и отображать полностью интерактивный пользовательский интерфейс (UI)», — пояснил Альтман во время своей вступительной презентации.

Apps SDK включает функцию «общения с приложениями», которая позволяет ChatGPT и лежащим в его основе моделям GPT-5 или другим «o-сериям» получать обновленный контекст от стороннего приложения или сервиса, благодаря чему модель «всегда точно знает, с чем взаимодействует ваш пользователь», — рассказал другой докладчик, инженер OpenAI Алекси Христакис.

Разработчики могут создавать приложения, которые:

• появляются внутри чата (inline) в виде легких карточек или каруселей

• разворачиваются на весь экран (fullscreen) для задач с эффектом присутствия, таких как карты, меню или слайды

• используют режим «картинка в картинке» (picture-in-picture) для интерактивных сеансов, таких как видео, игры или викторины

Каждый режим разработан с учетом сохранения минималистичного разговорного стиля ChatGPT при добавлении интерактивности и присутствия бренда.

Ранние интеграции с Coursera, Canva, Zillow и другими…

Христакис продемонстрировал ранние интеграции внешних приложений, созданных на базе Apps SDK, в том числе от компании в сфере электронного обучения Coursera, разработчика облачного ПО для дизайна Canva, а также поисковой системы по объявлениям о недвижимости и контактам агентов Zillow.

Альтман также анонсировал интеграции Apps SDK с дополнительными партнерами, которые не демонстрировались официально во время основного выступления, включая: Booking.com, Expedia, Figma и Spotify, а в документации сообщил о скором появлении других партнеров: AllTrails, Peloton, OpenTable, Target, theFork и Uber, представляющих категории стиля жизни, коммерции и производительности.

Демонстрация Coursera включала пример того, как пользователь подключается к внешнему приложению, включая новый экран входа для приложения (Coursera), который появляется прямо в интерфейсе чата ChatGPT, активируясь простой текстовой подсказкой от пользователя: «Coursera, можешь научить меня чему-нибудь машинному обучению?»

После входа в систему приложение запускалось внутри интерфейса чата, «внутри строки» (in line) и могло отображать любые элементы из интернета, включая интерактивные компоненты вроде видео.

Христакис пояснил и показал, что Apps SDK также поддерживает просмотр в режимах «картинка в картинке» и «на весь экран», позволяя пользователю выбирать удобный способ взаимодействия.

При воспроизведении появившегося видео Coursera он продемонстрировал, что видео автоматически закрепляется в верхней части экрана, так что пользователь может продолжать просмотр даже тогда, когда он ведет текстовый диалог с ChatGPT в виде стандартных запросов и ответов в нижней части экрана.

Затем пользователи могут задавать ChatGPT вопросы о контенте, появляющемся в видео, без необходимости точно указывать, что именно было сказано, поскольку Agents SDK передает информацию на серверной стороне (backend) от подключенного приложения к лежащей в основе модели ИИ ChatGPT. Таким образом, запрос вроде «можешь рассказать подробнее о том, о чем они говорят прямо сейчас?» автоматически найдет нужный фрагмент видео и передаст его базовой модели ИИ для анализа и текстового ответа.

В другом примере Христакис открыл старый, существовавший ранее разговор в ChatGPT, который у него был по поводу бизнеса его братьев и сестер по выгулу собак, и возобновил беседу, попросив другое стороннее приложение, Canva, создать плакат, используя одно из рекомендованных ChatGPT названий для бизнеса — «Walk This Wag», а также конкретные указания относительно выбора шрифта («без засечек») и общей цветовой гаммы и стиля («яркий и красочный»).

Вместо того чтобы пользователю вручную добавлять все эти специфические элементы в шаблон Canva, ChatGPT самостоятельно отдал команды и выполнил действия от имени пользователя в фоновом режиме.

Через несколько минут ChatGPT ответил несколькими вариантами дизайна плакатов, созданными прямо внутри приложения Canva, но вывел их все в сеансе чата ChatGPT пользователя, где тот мог их увидеть, оценить, увеличить, оставить отзыв или запросить доработки.

Затем Христакис попросил ChatGPT превратить один из слайдов в полноценную презентацию, чтобы основатели бизнеса по выгулу собак могли показать ее инвесторам. ChatGPT сделал это в фоновом режиме за несколько минут, пока разработчик представлял последнее интегрированное приложение — Zillow.

Он начал новую сессию чата и задал простой вопрос: «Исходя из наших бесед, какой город подойдет для расширения бизнеса по выгулу собак?»

Используя опциональную функцию памяти ChatGPT, система обратилась к разговору о выгуле собак и предложила Питтсбург. Христакис воспользовался этим, чтобы ввести «Zillow» и запрос «покажи мне там дома на продажу», после чего внутри ChatGPT прямо в строке чата открылась интерактивная карта от Zillow с доступными домами, указанием цен и анимацией при наведении курсора.

Клик по конкретному дому также открывал полноэкранный вид с «большей частью возможностей Zillow», совершенно не покидая ChatGPT, включая возможность запрашивать туры по домам, связываться с агентами и выполнять фильтрацию по спальням и другим параметрам, например наличию открытого пространства. ChatGPT отображает запрошенный отфильтрованный поиск Zillow, а также предоставляет текстовый ответ прямо в чате с объяснением того, что именно он сделал и почему.

Затем пользователь может задавать уточняющие вопросы о конкретном объекте недвижимости — например, «насколько близко он расположен к собачьей площадке?» — или сравнивать его с другими объектами, и все это внутри ChatGPT.

Кроме того, приложения можно использовать совместно с функцией поиска (Search), выполняя поиск в интернете для сравнения информации из приложения (в данном случае — Zillow) с другими источниками.

Безопасность, конфиденциальность и стандарты для разработчиков

OpenAI подчеркнула, что для размещения в каталоге ChatGPT приложения должны соответствовать строгим стандартам конфиденциальности, безопасности и контента стандартам. Приложения должны:

• служить четкой и ценной цели

• быть предсказуемыми и надежными в работе

• быть безопасными для широкой аудитории, включая подростков 13–17 лет

• уважать конфиденциальность пользователей и ограничивать сбор данных только необходимым минимумом

Каждое приложение также должно содержать четкую, опубликованную политику конфиденциальности, получать согласие пользователя перед подключением и четко указывать на любые действия, которые изменяют внешние данные (например, публикация, отправка, выгрузка).

Приложения, нарушающие правила использования OpenAI, часто дающие сбои или вводящие в заблуждение относительно своих возможностей, могут быть удалены в любой момент. Разработчики должны отправлять заявки с подтвержденных аккаунтов, предоставлять контакты службы поддержки и поддерживать свои приложения в стабильном и соответствующем требованиям состоянии.

OpenAI также опубликовала дизайнерские рекомендации для разработчиков, в которых описывается, как приложения должны выглядеть, звучать и вести себя. Они должны соответствовать визуальной системе ChatGPT, включая согласованные цветовые палитры, типографику, отступы и иконографику, а также поддерживать стандарты доступности, такие как альтернативный текст (alt text) и читаемые коэффициенты контрастности.

Партнеры могут демонстрировать логотипы брендов и акцентные цвета, но не могут изменять основной интерфейс ChatGPT или использовать рекламный язык. Согласно документации, приложения должны оставаться «разговорными, интеллектуальными, простыми, отзывчивыми и доступными».

Новая экосистема разговорных приложений

Открывая ChatGPT для сторонних приложений и платежей, OpenAI делает серьезный шаг к трансформации ChatGPT из чат-бота в полноценную осуществляющую поиск ИИ-операционную систему, которая объединяет разговорный интеллект, богатые интерфейсы и встроенную коммерцию.

Для разработчиков это означает прямой доступ к более чем 800 миллионам пользователей ChatGPT, которые могут находить приложения «в нужный момент» посредством естественного разговора — будь то планирование поездок, обучение или покупки.

Для пользователей это означает новое поколение приложений, с которыми можно общаться, где единый интерфейс помогает забронировать билет на самолет, разработать слайд-шоу или освоить новый навык, не покидая ChatGPT.

Как выразились в OpenAI: «Это только начало интеграции приложений в ChatGPT, открывающей новые возможности для пользователей и новые перспективы для разработчиков».

Остается несколько важных вопросов, а именно: 1. что происходит со всеми данными из этих сторонних приложений при их взаимодействии с ChatGPT и его пользователями… получает ли OpenAI доступ к ним и может ли использовать их для обучения моделей? 2. Что станет с некогда широко разрекламированным магазином GPT Store, который в прошлом продвигался как способ для сторонних создателей и разработчиков создавать кастомные, специализированные версии ChatGPT и зарабатывать на них с помощью модели разделения доходов на основе использования?

Мы задали оба этих вопроса компании и обновим информацию, как только получим ответ.