Вице-президент Cohere заявил, что корпоративный ИИ-суверенитет требует контроля над всем стеком агентов
Источник: VentureBeat · Carl Franzen
Собираясь на этой неделе на конференцию VB Transform 2026 — главную площадку года, посвященную использованию генеративных ИИ-агентов для достижения бизнес-результатов, — сотни руководителей предприятий и технических экспертов заполнили главный бальный зал роскошного отеля Hotel Nia в Менло-Парке.
Рачад Алао (Rachad Alao), вице-президент по разработке продуктов в набирающем обороты канадском корпоративном ИИ-стартапе Cohere, присоединился к генеральному директору и главному редактору VentureBeat Мэтту Маршаллу (Matt Marshall) для беседы у камина, посвященной созданию агентных систем без ущерба для конфиденциальности данных, контроля над инфраструктурой или возможности смены поставщиков.
Алао, ранее руководивший командами по ответственному искусственному интеллекту, а также обеспечению доверия и безопасности (trust and safety engineering) в Google и Meta, заявил, что суверенитет в сфере ИИ — это гораздо больше, чем просто загрузка открытой модели или запуск приложения за корпоративным брандмауэром.
Отвечая на вопрос о том, как в Cohere определяют суверенитет, Алао указал на организации, управляющие критически важными системами, включая банки, больницы и государственные структуры.
«Важно иметь жесткий контроль над тем, где хранятся данные, и жесткий контроль над ИИ», — отметил он, добавив, что операции с ИИ должны осуществляться в юрисдикциях, понятных организации или находящихся под ее прямым контролем.
Это распространяется на графические процессоры (GPU) и инфраструктуру частного облака, системы управления, которые направляют запросы между моделями, а также на коннекторы, инструменты поиска и фреймворки агентов, работающие с корпоративными данными.
«Вам нужен контроль над всем стеком», — подчеркнул Алао.
Нагрузка от агентов может обогнать падение цен на токен
Маршалл поставил под сомнение один из главных экономических аргументов в пользу более мелких локально развертываемых моделей: цены на инференс продолжают стремительно падать, что потенциально снижает обоснованность оптимизации каждого токена.
Алао возразил, что совокупное потребление растет еще быстрее по мере того, как предприятия переходят от относительно простых чат-ботов к агентам, которые рассуждают над проблемами, вызывают инструменты, ищут информацию во внутренних системах и выполняют множество шагов перед выдачей ответа.
«Использование токенов растет по экспоненте, потому что вы имеете дело со все более сложными агентными сценариями использования», — сказал он. По его словам, такие рабочие процессы требуют «большого объема обработки, мышления, взаимодействия с инструментами» для достижения поставленных целей.
Алао также провел различие между провайдерами, которые выставляют счета клиентам в зависимости от потребления токенов, и подходом Cohere.
«Если весь ваш способ тарификации клиентов завязан на потребление токенов, вы хотите максимизировать это потребление, — отметил он. — Мы продаем наши модели и нашу платформу не так».
Вместо этого, по словам Алао, Cohere стремится помочь предприятиям решать их самые сложные задачи конфиденциально и безопасно, сокращая при этом избыточное использование моделей. Его рецепт прост: «Используйте правильную модель для конкретной задачи».
Вместо того чтобы отправлять каждый запрос к крупнейшей доступной пограничной (frontier) модели, предприятия должны распределять работу в зависимости от требуемого уровня интеллектуальных возможностей, а также чувствительности данных или регуляторной нагрузки, связанной с задачей.
Алао сослался на неназванный канадский банк, который использует локальные (on-premises) модели Cohere для рабочих нагрузок с жестким регулированием, в то время как менее конфиденциальные задачи, требующие более высокого интеллекта, направляются через платформу Cohere North к более крупным пограничным моделям.
«Таким образом, маршрутизация моделей может оказаться чрезвычайно полезной», — сказал он.
Небольшие модели для большинства корпоративных задач
Отвечая на вопрос одного из участников из зала о том, как открытая разработка Cohere — North Mini Code, выпущенная в прошлом месяце, — сможет конкурировать с проприетарными моделями для написания кода, Алао признал, что более крупные пограничные модели могут работать несколько лучше при решении самых сложных задач.
Но это преимущество может не оправдывать их неизбирательное использование.
«Для 80% необходимых им сценариев использования это оказалось намного эффективнее и намного дешевле», — сказал Алао о разработчиках, перешедших на эту модель.
North Mini Code от Cohere работает на одном графическом процессоре Nvidia H100 и ориентирован на разработку программного обеспечения с помощью агентов, включая работу с терминалом, проверку кода и использование инструментов.
Компания также выпустила Command A+ — модель со смешением экспертов (MoE) на 218 миллиардов параметров, из которых во время каждого шага генерации активны только 25 миллиардов.
Ее сжатая четырехбитная версия снижает требования к оборудованию для частного развертывания, а лицензия Apache 2.0 предоставляет предприятиям широкую свободу в ее эксплуатации и модификации.
Поиск становится частью агента
Говоря о многолетней работе Cohere в области вложений (эмбеддингов) и корпоративного поиска, Алао отметил, что эта сфера выходит за рамки простого извлечения текста и вставки его в контекстное окно модели.
«Сегодня передовым технологическим уровнем является мультимодальный поиск, — заявил он. — Это уже не просто текстовая модальность».
Поиск по документам, изображениям и другим видам информации становится «неотъемлемым компонентом вашего агентного рабочего процесса», добавил Алао: модель сама решает, когда и как использовать извлечение данных, подобно любому другому инструменту.
Отвечая на вопрос о том, что может заставить предприятия отказаться от комплексных ИИ-услуг со стороны существующих облачных провайдеров, Алао вернулся к вопросам контроля данных и их переносимости.
«Если вы заинтересованы в суверенитете, вы хотите иметь больше контроля над своими данными», — сказал он. По его словам, уровень управления от Cohere позволяет клиентам направлять трафик к подходящим моделям, «устраняя проблему привязки к определенному поставщику (vendor lock-in), которая беспокоит многих наших клиентов».
