TrustedRouter запускает три новые зашифрованные «фьюжн»-модели, объединяющие несколько LLM, включая одну исключительно с американскими поставщиками моделей

Выбрать ИИ-модель для компании и так непросто. Решить, какую из них использовать для каждой конкретной задачи, — ещё сложнее. Отправить ли запутанное ревью кода в Claude Fable 5.2 от Anthropic, попробовать модель с открытыми весами вроде LongCat-2.5 от Meituan или выбрать что-то другое? Ответ может меняться от задачи к задаче — даже в рамках одного приложения.

К счастью, появился ряд компаний, которые пытаются ответить на этот вопрос автоматически, интеллектуально распределяя задачи или их части между моделями, наиболее подходящими для их экономически эффективного выполнения.

Один из новейших игроков — стартап TrustedRouter, который дополнительно предлагает компаниям и разработчикам сохранять конфиденциальность данных с помощью подходящих конфиденциальных маршрутов: пользовательские промпты остаются зашифрованными, пока не достигнут проверенного оборудования у провайдера, на котором работает модель. Вместо того чтобы отправлять каждый запрос напрямую в OpenAI, Anthropic или другому разработчику моделей, компании могут через TrustedRouter направлять рабочие нагрузки разным провайдерам с учётом стоимости, доступности, возможностей моделей и требований к конфиденциальности.

Промпт расшифровывается внутри этой защищённой среды, которая призвана не допустить доступа к нему со стороны операторов провайдера. Уровень защиты зависит от маршрута и настроек конфиденциальности вызывающей стороны.

Теперь TrustedRouter запускает через свой существующий API три зашифрованные «комбо»-модели, построенные на этой идее. Разработчики могут получить к ним доступ через New York Token Exchange, используя идентификаторы моделей, начинающиеся с nyte/.

• Prometheus 4.0 объединяет независимые ответы группы из шести моделей с открытыми весами в один ответ.

• Liberty 4.0 также объединяет несколько ответов, используя модели NVIDIA, Reflection AI и Meta — трёх американских разработчиков ИИ-моделей.

• Polyphemus 1.0 выбирает одну модель для ответа на каждый запрос. TrustedRouter указывает для неё стандартный уровень конфиденциальности

Все три используют зашифрованное соединение со шлюзом TrustedRouter. Конфиденциальная обработка на стороне провайдера для Liberty 4.0 и Prometheus 4.0 включается по желанию. Polyphemus 1.0 использует стандартный уровень конфиденциальности.

В эксклюзивном видеоинтервью VentureBeat основатель и генеральный директор Джозеф Перла рассказал, как работают модели и почему компания хочет дать разработчикам больше способов подбирать модели под выполняемую работу.

«Каждому стоит использовать маршрутизатор, потому что ни один провайдер не надёжен на 100%, — сказал Перла. — Даже Claude иногда падает, так что маршрутизатор необходим».

Каждая из трёх новых моделей сама решает, куда и как направлять запросы к базовым моделям. Сложному исследовательскому вопросу может пойти на пользу несколько независимых ответов, а для рутинной классификации может хватить одной модели. У каждого пресета свои характеристики маршрутизации и конфиденциальности.

По словам Перлы, система использует технологию конфиденциальных вычислений, поддерживаемую GPU NVIDIA, чтобы шифровать ИИ-запросы во время их обработки, не позволяя ни инфраструктурным провайдерам, ни самой бирже читать конфиденциальную информацию клиентов.

Кроме того, она призвана проверять, какая именно ИИ-модель обрабатывает каждый запрос, снижая риск того, что клиент заплатит за дорогую модель, а на деле незаметно получит результаты более дешёвой альтернативы. Эти возможности — ключевой аргумент Перлы в пользу того, что компании могут безопасно покупать ИИ-услуги у незнакомых инфраструктурных провайдеров через общую торговую площадку.

По словам Перлы, три новых продукта вписываются в более масштабный план для New York Token Exchange, или NYTE. Оба сервиса управляются компанией Lore Hex Corp.

TrustedRouter — это шлюз, связывающий приложения с моделями и хостинг-провайдерами. NYTE использует этот шлюз, чтобы продавать ИИ-обработку по требованию и предлагать предварительное резервирование мощностей.

Два адреса API используют общие ключи, балансы счетов и логику маршрутизации, и разработчики могут вызывать один и тот же пресет с префиксом nyte/ или trustedrouter/.

Что происходит после отправки промпта?

Prometheus и Liberty просят несколько моделей ответить на промпт независимо и параллельно. По данным TrustedRouter, отдельный вызов-судья оценивает их ответы, а вызов-синтезатор формирует итоговый ответ. Полный запрос к Prometheus требует восьми вызовов моделей, к Liberty — пяти.

Модель, пропустившую источник или ошибившуюся в расчётах, можно проверить по остальным. Синтезатор должен распознать, какой ответ лучше обоснован.

Если несколько участников группы повторяют одну и ту же ошибку, их согласие само по себе даёт мало оснований её исправить. Стоимость работы группы и время на синтез — часть компромисса.

Prometheus 4.0 — это группа моделей с открытыми весами. В опубликованный состав входят MiMo-V2.6-Pro от Xiaomi, GLM 5.3 от Z.ai, Kimi K3 от Moonshot AI, DeepSeek V4.1 Flash, MiniMax M3 и Qwen 3.8 от Alibaba. TrustedRouter указывает для пресета контекстное окно в один миллион токенов. Плавающий псевдоним nyte/prometheus следует за последней версией, а nyte/prometheus-4.0 выбирает именно этот релиз.

TrustedRouter пока не уточнила, какая модель синтезирует рабочие ответы, сколько участников группы должны завершить работу до начала синтеза и как заявленный лимит контекста применяется, если у составляющих моделей разные лимиты.

Liberty 4.0 объединяет модели NVIDIA, Reflection AI и Meta — трёх американских разработчиков. В каталоге компонентов указаны Nemotron 3 Ultra от NVIDIA, Beam от Reflection и Muse Spark Open от Meta.

По словам TrustedRouter, каждый участник группы отвечает независимо, а модель Meta объединяет ответы. Если модель Meta недоступна, синтез берёт на себя Beam. Если кто-то из участников не ответил, Liberty может работать с полученными ответами.

Polyphemus 1.0 делает выбор до генерации ответа. Селектор анализирует запрос и выбирает модель, которая отвечает за один вызов. В документации модели указаны Responses API и контекстное окно в 65 536 токенов.

Плата составляет 0,05 доллара за миллион расчётных входных токенов селектора плюс обычная стоимость выбранной модели. Если селектор даёт сбой, запрос обрабатывает общий автоматический маршрут TrustedRouter, а плата за селектор не взимается. Разработчики могут повторно использовать идентификатор сессии и отправлять историю диалога на каждом шаге, чтобы повысить шансы на повторное использование кэшированных входных данных.

Сессия истекает после часа бездействия. В документации для этого пресета указан стандартный уровень конфиденциальности. Пул доступных селектору моделей, критерии выбора и его эффективность по сравнению с базовым вариантом на фиксированной модели остаются открытыми вопросами.

Сколько стоит ответ?

В каталоге моделей TrustedRouter для Prometheus 4.0 указаны тарифы компонентных маршрутов примерно от 0,01 до 1,48 доллара за миллион входных токенов и от 0,13 до 7,39 доллара за миллион выходных. Для Liberty 4.0 указано примерно от 0,42 до 1,32 доллара за вход и от 1,27 до 4,48 доллара за выход — также за миллион токенов. Эти тарифы описывают отдельные части запроса.

Покупателю, оценивающему группу, нужен итоговый счёт, включающий работу каждой модели, а также судьи и синтезатора. Стандартная наценка TrustedRouter на предоплаченный текст составляет 5,5% без подписки. Компания указывает общую сервисную комиссию 12% для управляемых предоплаченных запросов с подписанной квитанцией об инференсе.

TrustedRouter оценивает стоимость каждого пресета в расчёте на запрос по сравнению с Claude Fable 5.1. Оценки для групп охватывают все вызовы полного запроса. Расчётная экономия Polyphemus зависит от выбранной модели.

• Liberty 4.0: по оценке TrustedRouter, Fable 5.1 обходится в 2,3–2,9 раза дороже Liberty в расчёте на запрос, то есть Liberty экономит примерно 60%. Полный прогон включает пять вызовов: три американские модели с открытыми весами отвечают, один вызов оценивает их ответы и один объединяет их.

• Prometheus 4.0: по оценке TrustedRouter, Fable 5.1 обходится в 2,5–3 раза дороже Prometheus в расчёте на запрос, то есть Prometheus экономит примерно 60–65%. Полный прогон включает восемь вызовов: шесть моделей с открытыми весами отвечают, ещё два вызова уходят на оценку и синтез.

• Polyphemus 1.0: TrustedRouter оценивает снижение затрат примерно на 60%, когда маршрутизатор выбирает Claude Opus 5.5, и примерно на 80%, когда выбирает GPT-6.1 Sol.

TrustedRouter предоставила относительные показатели экономии. Базовые затраты в долларах, задачи, измерения качества и задержки, а также то, учитывают ли цифры для Polyphemus плату за селектор, остаются неизвестными.

Самый конкретный результат бенчмарка, опубликованный TrustedRouter для линейки Prometheus, относится к более ранней версии.

В июльских результатах тестов TrustedRouter сообщает, что Prometheus 2.0 набрала 77,4 балла по всем 100 задачам бенчмарка глубоких исследований DRACO от Perplexity. В качестве эталонных результатов отдельных моделей в отчёте приводятся 65,3 у Claude Fable 5, 63,3 у GPT-5.5 и 60,3 у Claude Opus 4.8.

Перла сослался на эти исследовательские тесты, объясняя, почему ожидает, что группы будут превосходить отдельные модели на сложных запросах. Результат относится к более ранней конфигурации и исследовательскому бенчмарку. Сравнение на одинаковых задачах с одновременным указанием стоимости, качества и задержки показало бы, сохраняется ли экономия на рабочих нагрузках покупателей.

В тесте VentureBeat Claude Code вызвал DeepSeek Flash через TrustedRouter. Модель правильно назвала Париж столицей Франции. Затем Claude Code подсчитал, что Fable 5.1 за тот же вопрос обошлась бы примерно в 70 раз дороже. Эта оценка иллюстрирует разницу в цене для одного простого запроса.

Более серьёзный тест измерил бы, как часто группа даёт пригодный ответ, который упускает более дешёвая одиночная модель, и во что обходится дополнительная работа.

Как TrustedRouter выглядит на фоне GitHub, Sakana, OpenRouter и Arcade

GitHub Copilot Fusion делает выбор внутри агента для программирования. В зависимости от задачи и настройки усилий он может использовать одну модель, начать с экономичной модели и переключиться на более мощную после проверки качества или поручить одной модели проверить черновик другой. GitHub даёт корпоративным администраторам контроль над допустимыми моделями.

В независимом тесте Artificial Analysis Fusion Max обходился в среднем в 5,59 доллара за задачу программирования против 11,42 доллара у Claude Code с Claude Opus 5.5 на максимальной настройке, при разрыве в два пункта по Coding Agent Index.

Как ранее сообщал VentureBeat, это сравнение оценивает полноценных агентов для программирования на одном и том же тесте. Опубликованные TrustedRouter результаты DRACO измеряют глубокие исследования, то есть отвечают на другой вопрос.

Fugu Max и Fugu Ultra v2 от Sakana AI ближе к TrustedRouter по способу использования разработчиками. Они предлагают API, скрывающий работу по координации нескольких моделей. Fugu Max выбирает комбинации из пула, балансируя качество и стоимость. Ultra использует более глубокую группу агентов для более сложных задач.

OpenRouter Fusion ближе всего по архитектуре группы. Описанный в документации конвейер может отправлять промпт нескольким моделям параллельно, поручать судье сравнить их работу и передавать этот анализ модели, которая пишет ответ.

Разработчики могут настраивать группу и судью. TrustedRouter же предлагает именованные пресеты с определённым назначением и версионированным идентификатором.

Обнаружение инструментов Arcade борется с другим источником расходов. Агент, подключённый к нескольким бизнес-системам, может расходовать токены на чтение описаний инструментов, которыми редко пользуется. Arcade извлекает короткий список, когда он нужен агенту.

Компания может использовать обнаружение инструментов вместе с маршрутизацией моделей в одном приложении: одно определяет доступные действия, другое решает, какая модель должна обработать запрос.

Вопрос конфиденциальности усложняется, когда промпт видят несколько моделей

По словам TrustedRouter, её шлюз работает в изолированной вычислительной среде, или анклаве, и логика, координирующая вызовы моделей, выполняется внутри него. Клиенты могут сверить аппаратную аттестацию шлюза с опубликованным исходным кодом. TrustedRouter утверждает, что шлюз не ведёт журналов промптов и ответов.

Как сообщили VentureBeat в TrustedRouter, клиенты могут требовать конфиденциального оборудования для каждого вызова модели в запросе к Liberty или Prometheus. Конфиденциальная конечная точка требует сквозного шифрования, конфиденциальных вычислений на стороне провайдера и нулевого хранения данных. Требование распространяется на участников группы, судей, синтезаторов и резервные маршруты. Если шлюз не может найти подходящий маршрут для обязательного вызова, запрос завершается ошибкой.

По данным TrustedRouter, Liberty 4.0 направляет запросы только провайдерам со штаб-квартирой в США и завершается ошибкой, если иначе пришлось бы обратиться к провайдеру со штаб-квартирой в другой стране. Что касается физического местоположения дата-центра, TrustedRouter полагается на сведения своих провайдеров.

Подписанная квитанция может указывать модель и провайдера и фиксировать уровень вышестоящей проверки.

«На выходе просто слова», — сказал Перла о попытках определить модель только по её ответу.

К другим важным для развёртывания деталям относятся отображение резервных вызовов в счёте, измеренная задержка, а также поддержка потоковой передачи, вызовов инструментов и структурированного вывода во всех трёх пресетах.

Истоки TrustedRouter

До запуска TrustedRouter Перла провёл большую часть карьеры на стыке ИИ, облачных вычислений и крупномасштабной технологической инфраструктуры.

Изучив информатику и машинное обучение в Принстоне, он работал в Bridgewater Associates, основал музыкальный стартап Turntable.fm и перешёл в Facebook, где был техническим руководителем мобильной ленты новостей.

Затем он начал работу над докторской диссертацией по искусственному интеллекту, но покинул академическую среду и в 2013 году стал сооснователем Terminal.com — одной из первых облачных GPU-платформ, позволявшей разработчикам и специалистам по данным запускать рабочие нагрузки в контейнерах, а не в традиционных виртуальных машинах.

В итоге Terminal.com приобрела Udacity, после чего Перла пришёл в Lyft в числе первых 50 инженеров и помогал развивать программу беспилотных автомобилей. Позднее он работал над ещё одним музыкальным стартапом, который, по его словам, был приобретён в 2025 году.

Возвращение Перлы к ИИ-инфраструктуре стало следствием бесед с контактами в крупных ИИ-лабораториях и облачных компаниях, включая OpenAI и Anthropic. По его словам, эти разговоры убедили его, что компании раскрывают ИИ-провайдерам конфиденциальную деловую информацию, не до конца понимая, как их данные могут храниться или повторно использоваться, — даже если они оговорили меры защиты конфиденциальности.

Перла начал изучать конфиденциальные вычисления — технологию, способную защищать информацию во время её обработки на удалённом оборудовании, — и увидел возможность объединить её с сервисом маршрутизации ИИ-моделей.

«Почти никто не знает, что ИИ-чаты на самом деле можно шифровать, — сказал Перла VentureBeat. — Думаю, это лучшее, что я понял».

По словам Перлы, он начал разрабатывать TrustedRouter около года назад, с самого начала задумывая его как основу для более крупной ИИ-площадки. Вместо того чтобы управлять собственной GPU-инфраструктурой, он создал сервис маршрутизации, связывающий клиентов со сторонними провайдерами, способными запускать ИИ-модели с использованием технологии конфиденциальных вычислений.

«По сути, мы построили биржу, на которой собраны все провайдеры с GPU с шифрованием, вроде Private Mode, а их всего горстка, — объяснил он. — Есть ещё несколько, к которым мы направляем запросы, и мы прокладываем к ним маршрут. Мы хотим их продвигать и хотим рассказать миру, что так можно».

Как сообщает Axios, TrustedRouter начала публичное бета-тестирование в мае и официально запустилась 31 августа, одновременно привлекая 1,25 млн долларов посевного финансирования.

Среди первых инвесторов — Сэм Лессин из Slow Ventures, Билл Тай, Линда Эйви и Джордж Син. Перла объявил о бирже 15 октября. На следующий день Semafor сообщил, что TrustedRouter закрыла посевной раунд на 6 млн долларов под руководством Sierra Ventures.

Концепция переросла в более широкую попытку бросить вызов доминированию крупных ИИ-провайдеров, упростив доступ к конкурирующим моделям, размещённым в частном порядке, и их сравнение по цене. Компания утверждает, что в обычный день проводит через себя более трёх миллиардов зашифрованных токенов. В её каталоге — более 600 моделей более чем от 100 провайдеров. Эти цифры относятся ко всему каталогу; пригодность для конфиденциальных маршрутов оценивается отдельно.

Долгосрочная цель TrustedRouter — превратить ИИ-инференс в конкурентный товарный рынок и сделать зашифрованную обработку стандартом. Как выразился Перла: «Наша цель — к следующему году добиться того, чтобы большинство GPU были зашифрованы подобным образом».

Как будет работать New York Token Exchange (NYTE)

New York Token Exchange (NYTE) — это проектируемая площадка для покупки, продажи и торговли токенами ИИ-инференса — единицами текста и другой информации, которые обрабатывают и генерируют модели искусственного интеллекта. Её цель — превратить доступ к ИИ-моделям и обслуживающей их вычислительной инфраструктуре в товар, который компании могут покупать у конкурирующих провайдеров, вместо того чтобы заключать отдельные контракты с каждой ИИ-компанией.

Биржа строится на базе существующего сервиса Перлы — TrustedRouter, который связывает клиентов с сотнями ИИ-моделей и инфраструктурных провайдеров через единый интерфейс.

Компания публикует ценовой индекс по возможностям моделей и предлагает резервирование по фиксированной цене блоками по миллиарду токенов для использования в 2027 году.

Такие резервы можно перепродавать только через собственную программу NYTE и на её условиях. Со стороны предложения NYTE предлагает раннюю версию стека программного обеспечения с открытым исходным кодом для операторов, которые хотят пройти квалификацию оборудования и продавать инференс.

TrustedRouter планирует запустить инициативу по фьючерсам в январе. В публичных материалах компании фьючерсы и деривативы значатся в дорожной карте.

NYTE намерена работать через два взаимодополняющих рынка:

1. Спотовый рынок ИИ-токенов: компании смогут покупать мощности ИИ-инференса для немедленного использования у участвующих провайдеров. Вместо того чтобы выстраивать отношения с многочисленными ИИ-компаниями и облачными операторами по отдельности, клиенты будут получать доступ к конкурирующим моделям и инфраструктуре через биржу. Провайдеры со свободными GPU-мощностями смогут продавать свои услуги на той же площадке.

2. Фьючерсный и форвардный рынок ИИ-токенов: компании смогут заранее договариваться о покупке определённого количества ИИ-токенов с поставкой в будущем по заранее установленной цене. Это позволит предприятиям зафиксировать предсказуемые операционные расходы на ИИ, а инфраструктурным провайдерам — обеспечить будущую выручку и, возможно, профинансировать покупку дополнительных GPU и дата-центров.

Например, компания, рассчитывающая потребить миллиард ИИ-токенов в следующем году, сможет через NYTE заключить контракт на покупку этих мощностей по цене, согласованной сегодня.

Инфраструктурный провайдер сможет использовать полученную выручку или финансирование для покупки дополнительных GPU, а затем исполнить контракт, предоставив услуги инференса, когда токены понадобятся.

Если клиент позже обнаружит, что ему нужно меньше токенов, чем ожидалось, Перла предполагает дать ему возможность перепродать неиспользованные контрактные мощности через биржу, вместо того чтобы терять стоимость предоплаченного обязательства.

Площадка также рассчитана на компании, у которых есть собственные GPU-кластеры. Крупное предприятие с простаивающими по ночам или в выходные вычислительными мощностями сможет продавать услуги инференса через NYTE, выступая одновременно покупателем и продавцом.

Перла надеется стимулировать такую модель, распространяя ПО с открытым исходным кодом, которое упрощает компаниям создание собственной ИИ-инфраструктуры и участие в рынке.

Более широкая цель — отделить разработку ИИ-моделей от инфраструктуры для их запуска, подобно тому как производство и распределение электроэнергии превратились в рынки с множеством конкурирующих поставщиков.

Разработчики моделей смогут сосредоточиться на создании более совершенных ИИ-систем, инфраструктурные компании — конкурировать за эффективное обслуживание этих моделей, а предприятия — покупать итоговые вычислительные услуги по рыночным ценам, не привязываясь к одному провайдеру.

Перла считает, что это сделает ИИ-инференс дешевле, надёжнее и предсказуемее с точки зрения бюджета, а также создаст альтернативу вертикально интегрированным бизнес-моделям, которые предпочитают сегодняшние ведущие ИИ-компании.

Запуск fusion-моделей даёт компаниям возможность проверить тезис Перлы о торговой площадке на тех задачах, которые они уже выполняют. Они могут сравнить группу моделей, маршрутизатор задач и свою текущую модель на одном и том же наборе промптов. Значение будут иметь стоимость пригодного ответа, время его получения и доказательства того, что каждый провайдер, обрабатывавший запрос, соблюдал правила компании.