Новый стартап бывшего инженера Alibaba Octen предлагает ИИ-поиск за 10 миллисекунд и безлимитный тариф за 20 долларов

Стартап Octen, которому всего год, расширяет свой поисковый сервис для ИИ-агентов: он представил модель, находящую веб-страницы примерно за 10 миллисекунд, подписку за 20 долларов в месяц с неограниченным веб-поиском, а также поиск по изображениям.

Для компаний, создающих ассистентов, которые постоянно обращаются к внешней информации, предложение простое: сократить время и затраты на поиск, чтобы разработчики могли позволить своим системам проверять больше источников.

Анонс компании из Сан-Франциско объединяет Octen Pulse — специализированную модель для поиска страниц — с изменениями в более широком поисковом предложении. В техническом анонсе Pulse, опубликованном 28 октября, API описывается как общедоступный.

Однако громкие цифры требуют пояснений. 10 миллисекунд Pulse — это медианное время обработки на сервере, а не весь путь от корпоративного приложения до готового ответа.

Безлимитный тариф распространяется на Web Search, а запросы могут ставиться в очередь. Кроме того, загружаемая модель Pulse имеет ограничения на некоммерческое использование, что существенно отличает её от заявленного в релизе статуса open source.

Эти оговорки не отменяют открывающихся возможностей. Они определяют, какое место Octen может занять рядом с конкурентами, включая Exa, Parallel, Brave и Tavily, — и что покупателям стоит протестировать, прежде чем брать на себя обязательства.

Поиск становится частью операционного бюджета агента

По данным Octen, основатель и генеральный директор компании Куань Цзоу (Kuan Zou) ранее руководил направлением ИИ-поиска в Alibaba Cloud и корпоративным поиском в Baidu.

Компания называет среди инвесторов Square Peg и Argor, не раскрывая в анонсе объём финансирования, и сообщает, что с тех пор, как в конце июля её основной сервис стал общедоступным, в нём зарегистрировались более 5 000 разработчиков.

В интервью VentureBeat Цзоу назвал скорость и стоимость поиска факторами, ограничивающими объём информации, который может собрать агент. По его словам, машины способны параллельно исследовать несколько аспектов вопроса, поэтому экономика многократных поисковых запросов особенно важна.

«Мы должны снизить стоимость», — сказал Цзоу.

Он также выступает за то, чтобы давать агенту исходные материалы, которые тот может интерпретировать сам. «Если вы используете ИИ, чтобы сгенерировать сводку, а потом снова ИИ, чтобы свести эти сводки воедино, иногда возникают ошибки, верно?» — сказал он.

Это различие важно для корпоративных приложений. Ассистенту по закупкам, сравнивающему поставщиков, нужно достаточно первичных данных, чтобы отличить актуальную спецификацию от устаревшего описания. Агенту для написания кода нужна соответствующая документация, а не просто правдоподобная сводка. Практический вопрос в том, предоставляет ли поисковый сервис пригодные данные с такой стоимостью и скоростью, которые улучшают результат выполнения задачи.

Что Pulse находит за 10 миллисекунд

В научной статье Octen описан метод, называемый генеративным поиском. Вместо поиска по традиционному индексу и многократного ранжирования страниц-кандидатов обученная модель выдаёт идентификатор, соответствующий существующему URL.

Версия с 4 млрд параметров охватывает примерно 201 млн страниц. Её вывод ограничен идентификаторами из таблицы URL, что решает проблему выдумывания языковой моделью несуществующих веб-адресов.

Согласно опубликованным спецификациям API, режим lite работает примерно за 10 миллисекунд, а стандартный режим — примерно за 20 миллисекунд; оба значения — медианы на стороне сервера. Lite выдаёт URL и заголовок; стандартный режим поддерживает дополнительные метаданные и, по желанию, фрагменты или содержимое страницы.

Для разработчика самое очевидное применение — быстрый поиск нужного ресурса: страницы статуса поставщика, руководства по восстановлению аккаунта или страницы документации ПО. Передача данных по сети, загрузка дополнительного контента и работа отвечающей модели по-прежнему отдельно влияют на время ответа.

Исследование также выявляет компромисс в охвате. Octen сообщает о точности 59,6% при выдаче нужной страницы на первом месте по навигационному трафику по сравнению с 46,5% у базового плотного поиска, улучшенного данными о кликах. Согласно статье, поиск на основе эмбеддингов сохраняет преимущество на редко посещаемых страницах. Это результаты исследования, представленные самой компанией, а не доказательство превосходства на любой корпоративной нагрузке.

С точки зрения архитектуры Pulse стоит оценивать как быстрый путь к известным ресурсам, а более широкий поиск подключать, когда вопрос требует исследования. Инструменту, который быстро находит нужную главную страницу документации, ещё предстоит доказать, что он может выдать именно тот фрагмент, который нужен агенту.

Низкая ежемесячная цена, но иные условия для продакшена

На странице тарифов Octen указана подписка Standard за 20 долларов с неограниченным Web Search и 1 000 поисков по изображениям в месяц. Подписка Plus за 100 долларов увеличивает лимит изображений до 5 000 и получает приоритет перед Standard.

Оба тарифа предназначены для личных аккаунтов, а в периоды высокой нагрузки запросы могут ставиться в очередь. Дополнительные поиски по изображениям, получение полного содержимого и другие API оплачиваются отдельно сверх указанных лимитов. Поэтому компаниям следует отличать предсказуемые расходы от гарантированного времени ответа.

Ниже приведены опубликованные расценки на поисковые запросы, а не на выполнение исследовательских задач целиком:

Это разные продукты и режимы поиска, поэтому таблица не выявляет победителя при равном качестве. Однако она показывает, что Octen сталкивается с ценовой конкуренцией: быстрые режимы Parallel стоят столько же, сколько общий поиск Octen со скидкой.

Для гарантированной пропускной способности Octen отдельно продаёт тарифы с выделенными мощностями, продолжая взимать плату за использование API. Тариф Builder стоит 2 099 долларов в месяц (со скидкой с 2 999 долларов) и включает до 50 запросов в секунду и соглашение об уровне обслуживания. Это совсем иное решение о покупке, чем подписка за 20 долларов.

Покупателям стоит сравнивать коммерческие условия, сопутствующие каждой ставке: зарезервированные мощности, параллельность, лимиты на контент, поддержку и хранение данных. Exa, например, заявляет нулевое хранение данных для своего корпоративного предложения с индивидуальными договорными условиями и уровнями обслуживания.

Независимые результаты показывают компромисс между скоростью и стоимостью

Artificial Analysis Search Index с данными на 9 ноября оценивает 26 продуктов 14 поставщиков. Отвечающая модель и тестовая среда остаются неизменными, меняется только поисковый провайдер.

Конфигурация Octen highlights получает 77 баллов против 80 у Exa auto и Perplexity medium, 79 у Exa lite и 75 у Parallel advanced и конфигурации Brave LLM context.

Octen тратит 15,2 секунды на задачу против 19,0 секунды у Exa lite, 22,0 у Brave и 39,3 у Parallel advanced. Время складывается из измеренного времени поиска и расчётного времени работы модели.

Поисковая составляющая стоит 9,07 доллара за 1 000 задач, ещё 14,50 доллара приходится на модель, итого 23,57 доллара. У Exa lite итог составляет 42,15 доллара, у Parallel advanced — 58,60 доллара.

Эти результаты подкрепляют аргументы Octen в части скорости и общей стоимости задачи, но показывают, что некоторые конкуренты добиваются более высоких оценок качества. При этом оценивался Octen Search, а не заявленный 10-миллисекундный поиск Pulse.

Для корпоративного пилота полезным показателем будет стоимость одного приемлемого ответа. Более дешёвый запрос теряет преимущество, если вынуждает повторять поиск, упускает важные данные или даёт ответ, который сотрудникам приходится исправлять.

Изображения расширяют предложение, а лицензия ограничивает самостоятельное развёртывание

Octen также добавляет визуальный поиск. На сайте продукта описан поиск изображений по тексту или по образцу, а поиск видео пока находится в раннем доступе. Компания предлагает использовать найденные изображения для визуальной генерации или для сочетания картинок с текстом в ответе агента.

Это может пригодиться при сравнении товаров и работе с каталогами, но доступ к разным типам медиа — уже конкурентная территория. Brave документирует эндпоинты для изображений и видео, а Parallel публикует цены на поиск изображений: 1 доллар за 1 000 быстрых запросов или 5 долларов за расширенные. Имеющиеся данные не позволяют назвать Octen первым мультимодальным поисковым провайдером.

Самостоятельное развёртывание требует ещё одной оговорки. В карточке модели Octen-WebGR-4B для весов и таблицы соответствия идентификаторов URL указана лицензия CC BY-NC 4.0, ограничивающая коммерческое использование. Код инференса распространяется под Apache 2.0. Коммерческим пользователям карточка предлагает обращаться в Octen за лицензией.

Следовательно, компания не может считать, что загрузка модели даёт ей право запускать приносящий доход сервис. Закупка API и коммерческие права на локальное развёртывание — отдельные вопросы.

Возможность для бизнеса — более частая проверка информации

Самый сильный аргумент Octen — агенты должны иметь возможность чаще проверять информацию, не превращая каждую дополнительную проверку в дорогостоящее проектное решение.

«Мы строим поиск так, как коммунальные службы поставляют воду и электричество, чтобы разработчикам никогда не приходилось экономить его по мере роста», — сказал Цзоу в анонсе.

Имеющиеся данные подсказывают практический путь оценки: протестировать Pulse на задачах поиска нужных ресурсов, сравнить провайдеров общего поиска на типичных исследовательских вопросах и измерять качество готовых ответов наряду с задержкой и общими расходами.

Для технических руководителей решение в итоге зависит от того, меняет ли более быстрый поиск то, что их агенты способны надёжно выполнять. Найти страницу за миллисекунды — ценно. Но полезной инфраструктурой это делает способность находить нужные данные при подходящих коммерческих условиях и надёжной работе в продакшене.