Firecrawl запускает Alexandria для подключения ИИ-агентов к более чем 550 специализированным источникам данных

Firecrawl запускает Alexandria для подключения ИИ-агентов к более чем 550 специализированным источникам данных

ИИ-агент, изучающий компанию, может прочитать её сайт и всё равно упустить информацию, необходимую для принятия полезного решения: финансовую отчётность, недавние наймы, регуляторные документы или людей, отвечающих за закупку ПО. Firecrawl делает ставку на то, что прямое подключение агентов к этим источникам — и оплата труда поставщиков информации — сделает такое ПО полезнее в работе.

Сегодня компания запускает новый сервис Alexandria — названный в честь знаменитой древней греко-египетской «Великой библиотеки», уничтоженной войсками Юлия Цезаря. Он объединяет веб-поиск, специализированные индексы и внешних поставщиков данных в одно подключение, которое разработчики могут добавить в свои приложения, а пользователи — задействовать через ИИ-ассистентов. По словам компании, каталог уже включает более 550 поставщиков: финансовая информация, научные исследования, публичные реестры, документация к ПО и деловые контакты.

Firecrawl также публикует white paper, в котором утверждается, что предприятиям следует давать агентам законченные задания, доступ к авторитетным источникам и явные проверки их работы.

Отчёт обосновывает бизнес-модель Alexandria, о которой компания объявила вместе с раундом серии B на 75 млн долларов 22 сентября. Раунд возглавила Smash Capital при участии Altos Ventures, Nexus Venture Partners, Y Combinator, Freestyle и Offline Ventures.

Для корпоративных покупателей предложение вполне практично: сократить инженерную и закупочную работу по подключению множества источников информации и при этом дать агентам материалы, которые те не могут надёжно воссоздать из обучающих данных.

Клиенты получают доступ к Alexandria через хостинговый сервис Firecrawl, API или интеграцию по Model Context Protocol. Материалы, изученные для этой статьи, не подтверждают выпуск самой Alexandria в открытом исходном коде; каталог сочетает коммерческие источники с общедоступной информацией, подчиняющейся собственным условиям использования.

«Мы движемся в мир, где стоимость генерации лжи стремится к нулю, верно?» — сказал VentureBeat в интервью генеральный директор и сооснователь Firecrawl Калеб Пеффер.

«Но это также означает, что если вы владеете правдой, если у вас есть ценная проверенная информация, — это ценно».

Больше, чем парсинг

Изначально инструмент Firecrawl был ориентирован на превращение содержимого сайтов в материал, который ИИ-системы могут легко обрабатывать. Alexandria расширяет эту роль: агент может найти подходящий источник, изучить его возможности и получить информацию через Firecrawl — вместо того чтобы разработчику приходилось создавать и поддерживать каждое подключение отдельно.

Это различие важно, когда задача затрагивает несколько областей. Оценка потенциального клиента может потребовать сведений о компании, истории финансирования, данных о сотрудниках и трафике сайта. Найти эти источники — лишь первый шаг: у каждого могут быть свои способы аутентификации, биллинга и форматы ответов.

Пример с обогащением лидов от Firecrawl иллюстрирует задуманный рабочий процесс. Ассистент использует сервисы, в том числе FullEnrich, Apollo, Fireround и Similarweb, чтобы превратить адреса входящих писем в профили компаний и контактов, а затем оценить, соответствует ли каждый лид критериям бизнеса. Сами инструкции бесплатны, но вызовы данных списывают указанное количество кредитов. Некоторые поставщики требуют, чтобы администратор команды принял их условия перед использованием.

В интервью Пеффер подтвердил, что пользователи могут дать агенту доступ ко всей библиотеке и позволить ему самому выбирать подходящие источники и тратить кредиты, а не вручную подбирать отдельную интеграцию под каждый вопрос.

«Как я это вижу, наш конечный клиент — это агенты пользователя», — сказал он.

Такой подход ставит Firecrawl между моделью и информацией, которая нужна модели в ходе выполнения задачи. Пользователи по-прежнему полагаются на выбранного ассистента, чтобы интерпретировать полученный материал и выдать нужный результат.

Как агенты находят и запускают инструменты

Документация Alexandria описывает трёхэтапный процесс: найти подходящий инструмент, изучить его обязательные входные данные и ожидаемый ответ, затем выполнить его. Разработчики могут использовать этот процесс через SDK для JavaScript и Python, HTTP-запросы, интерфейс командной строки или MCP. Комбинированный поиск возвращает как результаты с сайтов, так и ранжированные инструменты, указывая поставщика и возможность каждого инструмента.

Разработчики используют findTools или find_tools, чтобы изучить входные данные инструмента, формат вывода и цену. Выполнение идёт через существующий интерфейс Firecrawl scrape: в запросе указываются поставщик, возможность и параметры в поле alexandria, без URL веб-страницы. Например, поиск подкастов может вызвать функцию поиска эпизодов Particle с указанием темы и лимита результатов. Приложения должны проверять результаты каждого инструмента на ошибки, прежде чем использовать полученные данные.

Собственный эндпоинт Agent Firecrawl требует отдельного включения. Запросы через API и SDK должны содержать exchange: { "enabled": true }, чтобы Agent мог использовать поставщиков Alexandria команды во время исследования; в противном случае такие запуски используют только веб. Разработчики также могут закрепить до пяти поставщиков через toolkits. Таким образом, подключение библиотеки не означает, что каждый запрос к Firecrawl Agent будет автоматически её использовать.

Что содержит новая «библиотека» Alexandria

Каталог Alexandria сочетает коммерческие информационные продукты, публичные базы данных и собственные индексы Firecrawl. Скриншоты сервиса, изученные VentureBeat, показывают как охват этих источников, так и различия в том, что именно покупают клиенты.

Benzinga предоставляет финансовые новости и аналитическую информацию. Fiscal.ai поставляет финансовую отчётность компаний и связанные данные. Particle предлагает поиск по подкастам, расшифровки с указанием говорящих и другую медиааналитику. Среди позиций для разработчиков — GitHub, Hugging Face, Artificial Analysis и Developer Index от Firecrawl.

Другие позиции опираются на публичные научные и государственные ресурсы. В каталоге есть ClinicalTrials.gov, ClinVar и база данных AlphaFold, а также реестры местных органов власти и публичная экономическая информация. Позиции для ритейла и потребительского сектора включают каталоги товаров Shopify, магазины приложений и информацию о ресторанах.

Таким образом, каталог шире, чем набор эксклюзивных датасетов по частным лицензиям. Существенная часть предложения упаковывает уже общедоступную информацию в функции, которые может вызвать агент. Потенциальная выгода — в единообразном доступе, поиске источников и сокращении работы по интеграции; само по себе присутствие в каталоге не означает эксклюзивного партнёрства с организацией, чья информация там представлена.

Собственные коллекции Firecrawl добавляют ещё один уровень. Её Government & Legal Index охватывает более 30 млн страниц из американских государственных источников, включая законы, судебные материалы, разрешения и разъяснения ведомств. Research Index включает научные метаданные, аннотации, связи цитирования и релевантные фрагменты полных текстов. Это описание не следует понимать как неограниченный доступ к полному тексту каждой проиндексированной статьи.

Позиции каталога также показывают полезные ограничения. В описании GitHub указано, что электронная почта и контактные данные исключены. Позиция Europe PMC разграничивает доступ к записям о статьях и доступ к полным текстам, разрешённым для коммерческого повторного использования. Такие различия важны для компаний, которые планируют встраивать полученную информацию в клиентские продукты.

Плата за знания

Стратегия Firecrawl сочетает сервис распространения для поставщиков информации с общим механизмом закупок для пользователей агентов.

Пеффер подтвердил в интервью, что клиенты тратят кредиты Firecrawl, а поставщики получают оплату. В качестве примера он привёл Benzinga; в сентябрьском анонсе компании также упоминается платное соглашение с Wikimedia Enterprise о прямом доступе к информации Википедии. Лора Франзезе, руководитель бренда Firecrawl, сообщила, что с крупными поставщиками заключены многолетние контракты, но отказалась раскрывать детали коммерческих договорённостей.

«Это зависит от ценности данных, и в конечном счёте это просто вопрос спроса и предложения», — сказал Пеффер на вопрос о том, как Firecrawl определяет цены.

Компания также рассказала о планах позволить большему числу людей и организаций зарабатывать на своих знаниях. В сентябрьском анонсе описывалась будущая система самостоятельного добавления контента. Эта амбиция выходит за рамки уже заключённых соглашений с поставщиками, и её не следует путать с работающим общедоступным маркетплейсом, где любой может сразу загрузить свою экспертизу и получать доход.

Экономический аргумент состоит в том, что агенты могут стать постоянными покупателями специализированной информации. Полезный датасет будет приносить доход всякий раз, когда ПО обращается к нему для выполнения заданий. Однако для покупателей та же автоматизация делает важным контроль расходов: одно задание может повлечь несколько платных запросов, прежде чем ассистент выдаст ответ.

Сколько стоит доступ

Опубликованные тарифы Firecrawl начинаются с 1 000 бесплатных кредитов в месяц. Ежемесячные подписки: Hobby — 19 долларов за 5 000 кредитов, Standard — 99 долларов за 100 000, Growth — 399 долларов за 500 000 и Scale — 749 долларов за миллион. При годовой оплате заявленные ежемесячные эквиваленты снижаются до 16, 83, 333 и 599 долларов соответственно. Цены для корпоративного тарифа обсуждаются индивидуально.

Документация разделяет поиск и выполнение: поиск инструментов Alexandria и изучение их входных данных и цен бесплатны; за запуск взимается указанная плата. Поиск только по инструментам бесплатен, а при объединении поиска инструментов с веб-результатами сохраняется обычная плата за веб-поиск. Подбор инструментов к сайту тоже бесплатен, но сам веб-поиск или парсинг страницы оплачивается.

Карточки поставщиков Alexandria показывают, почему баланс кредитов не превращается в фиксированное число выполненных заданий. На скриншотах от 19 ноября указаны следующие ставки:

Источник или возможность

Указанные кредиты

Wikipedia

0–1

GitHub

1–5

Benzinga

0–45

Fiscal.ai

0–30

Particle

5–50

Firecrawl Developer Index

2 за 10 результатов

Firecrawl Government & Legal Index

0

Firecrawl Research Index

0

Это указанные диапазоны поставщиков или ставки за возможности, а не обещание, что каждая операция возвращает одинаковый объём информации. На некоторых карточках также указаны пробные лимиты конкретных поставщиков. Чтобы надёжно рассчитать стоимость задачи, покупателям нужно знать единицу тарификации соответствующей операции и условия своего аккаунта.

У бесплатных инструментов Government и Research Index всё же есть лимиты использования. Вызовы через Alexandria расходуют те же поминутные и суточные лимиты, что и собственные эндпоинты индексов, поэтому обращение к индексу через Alexandria не создаёт отдельной квоты. Суточные лимиты зависят от тарифного плана; в Scale и Enterprise суточные ограничения сняты, но поминутные сохраняются, согласно руководству по лимитам запросов для индексов, на которое ссылается документация.

Выполнение ограничивают и разрешения поставщиков. Если поставщик требует принятия дополнительных условий, Alexandria возвращает ошибку, предлагающую администратору организации изучить и принять их. Документация требует явного разрешения пользователя, прежде чем агент примет условия. Запуски Firecrawl Agent пропускают поставщиков с непринятыми условиями и указывают их в exchange.skippedProviders, давая разработчикам способ обнаружить недостающие источники, а не предполагать, что был доступен весь каталог.

Firecrawl предлагает пополнение кредитов на платных тарифах с настраиваемым месячным лимитом. В корпоративном тарифе указаны единый вход (SSO), обязательства по уровню обслуживания и нулевое хранение собранного контента для одобренных сценариев. Эти функции стоит проверить применительно к конкретным источникам и нагрузкам, которые планирует использовать компания; страница тарифов не гарантирует одинаковых условий хранения у всех внешних поставщиков.

Что показывают бенчмарки

Новый white paper Firecrawl связывает лучший доступ к информации с лучшими результатами агентов. Документ, предоставленный VentureBeat, озаглавлен From Asking to Assigning, тогда как в сопроводительном релизе он продвигается как AI’s Search-Bar Problem.

Самые весомые числовые данные в нём касаются качества поиска и ответов, а не измеренной финансовой отдачи.

Во внутренней оценке на 581 запросе к официальным правовым источникам США агент, полагавшийся на свою память, ставил официальный документ на первое место в 47,8% случаев. Government & Legal Index от Firecrawl достиг 76,2% — рост на 28,4 процентного пункта, или примерно в 1,6 раза относительно базового уровня. Согласно white paper, индекс помещал официальный документ в первую десятку результатов в 96,6% случаев.

Эти результаты показывают, находит ли система релевантный источник. Они не доказывают, что она правильно толкует закон, выполняет правовое задание целиком или превосходит все конкурирующие поисковые сервисы.

Отдельная оценка в анонсе Alexandria сообщает о показателях качества ответов на 21% выше на 845 задачах по сравнению с агентами, использующими встроенные веб-инструменты. По словам Firecrawl, использовались одна и та же модель и промпты, а ответы оценивались слепым ИИ-судейством.

Различие между тестами важно: в правовом сравнении базой служит работа по памяти, а в более широкой оценке — веб-инструменты. Ни одна из цифр не означает доказанного роста производительности сотрудников на 21%, и обе получены от продавца сервиса.

White paper рекомендует провести аудит того, как команды используют ИИ, определить законченные задания, выявить необходимые источники, требовать подтверждающих ссылок и измерять время выполнения и объём переделок. Это даёт компаниям способ проверить предложение на собственных процессах, а не считать результаты бенчмарков заменой реальным итогам внедрения.

Exa — более близкий конкурент

Alexandria работает на расширяющемся рынке сервисов, поставляющих информацию ИИ-системам. Сравнение с конкурентами зависит от того, когда и как используется эта информация.

Mercor описывает свою работу как организацию отраслевых экспертов для оценки моделей, выявления их слабых мест и создания данных для дальнейшего обучения. Предложение Realm от micro1 также сосредоточено на датасетах, созданных экспертами, оценках и средах для обучения с подкреплением. Обе компании конкурируют за ценные человеческие знания и внимание корпоративных клиентов, но их продукты отвечают на иную потребность, чем получение источника в ходе выполнения задания агентом. Ни на одной из упомянутых страниц нет напрямую сопоставимой цены за запрос.

Пеффер провёл это разграничение, отвечая на вопрос об этих компаниях: «Наши основные клиенты — не крупные лаборатории, которые закупают данные оптом и обучают на них модели».

Более близкое сравнение — Exa Connect, который тоже связывает агентов с внешними поставщиками информации. Среди его источников с самостоятельным подключением — Particle, Similarweb, Financial Datasets и другие; дополнительные сервисы, такие как Crunchbase и ZoomInfo, доступны по запросу. Exa заявляет плату за вызов поставщика от 0,005 до 0,03 доллара сверх тарифов на Agent.

Это пересечение опровергает любые предположения, что лишь Firecrawl разглядела возможность сочетать поиск с платными данными. Exa также позволяет клиентам использовать уже имеющиеся учётные данные поставщиков — вариант, актуальный для предприятий, у которых уже есть контракты на данные.

Тарифы на поиск Exa отдельно указывают Lite, Auto и Deep search по 4, 7 и 12 долларов за 1 000 запросов соответственно, с включёнными до 10 результатами. Эти цены на поиск не следует напрямую сравнивать с карточкой поставщика Alexandria, не сопоставив саму операцию и объём результатов.

Tavily предлагает ещё одну альтернативу для получения и подготовки веб-информации — с API для поиска, извлечения, построения карт сайтов, обхода и исследований. Её ставка при оплате по факту — 0,008 доллара за кредит: базовый поиск расходует один кредит, расширенный — два, что эквивалентно 8 и 16 долларам за 1 000 поисков до скидок. Опубликованные тарифы делают упор на эти поисковые операции, а не на каталог поставщиков с отдельными ценами, как у Alexandria.

Поэтому стратегическое сравнение касается охвата источников, усилий на интеграцию и общей стоимости задачи не меньше, чем цены поиска. Широта Alexandria и сочетание публичных и платных источников дают покупателям повод её оценить. Пересекающаяся сеть поставщиков Exa означает, что один лишь размер каталога не обеспечивает устойчивого преимущества. Изученные данные не позволяют назвать безусловного победителя по точности, задержкам или стоимости.

Доступ для агентов в песочницах

Firecrawl также работает над доступом из ограниченных сред выполнения. Её интеграция с Docker Sandboxes от 18 ноября позволяет агентам для программирования получать веб-информацию через Firecrawl, держа API-ключ Firecrawl вне песочницы.

Интеграция устанавливает Python SDK зафиксированной версии и добавляет разрешение на обращение к api.firecrawl.dev. Прокси на стороне хоста подменяет учётные данные-заглушку настоящим ключом при отправке авторизованных запросов. Запрошенные страницы получают серверы Firecrawl, поэтому агенту не нужно прямое сетевое разрешение для каждого целевого сайта.

Это может помочь агенту для программирования сверяться с актуальной документацией или примечаниями к выпускам изнутри контролируемой среды. Однако интеграция дополняет существующую сетевую политику, а не ограничивает автоматически весь прочий трафик только Firecrawl. Наборы Docker остаются в раннем доступе, а Firecrawl помечает свой набор как экспериментальный.

В посте о Docker указано, что доступ к Alexandria требует ключей с включённой бета-версией, тогда как предоставленная для этой статьи документация Alexandria описывает доступ через API, SDK, CLI и MCP без общего требования бета-ключа. Материалы не разрешают это противоречие, поэтому покупателям стоит уточнить право на использование интеграции с Docker, а не предполагать, что весь сервис Alexandria требует одобрения для беты.

Проверка для бизнеса

Firecrawl сообщает о более чем 1,5 млн пользователей и 150 000 компаний, использующих её сервисы, включая команды в 67 компаниях из Fortune 100.

Эти общекорпоративные цифры дают потенциальную базу для распространения Alexandria, но не показывают, сколько организаций внедрили новый сервис и насколько активно им пользуются.

Остающиеся вопросы о внедрении вполне конкретны. Насколько свеж каждый источник? Какие права передаются вместе с полученной информацией? Как команде ограничить расходы агента? Могут ли проверяющие проследить ответ до конкретной записи, которую использовал агент? Пеффер не привёл в интервью подробного графика обновления данных, а разнообразие источников в каталоге делает единую общую гарантию недостаточной.

Возможность Firecrawl — сделать получение полезной информации рутинной частью работы агента. Её задача — показать, что совокупные затраты на поиск, использование модели и проверку человеком окупаются лучше выполненным заданием. Для предприятий именно этот результат и стоит измерять.

Данные

Смотреть все

Подпишитесь на свежие новости!

Глубокая аналитика для руководителей в области корпоративного ИИ, данных и безопасности

Подписаться по RSS

RSS-ленты обновляются каждые 15 минут.