Почему экономика корпоративного ИИ благоприятствует динамической маршрутизации моделей

При поддержке Snowflake

По мере того как искусственный интеллект внедряется в основные бизнес-процессы, руководящие команды переносят фокус внимания с численности пользователей и потребления токенов на более важный вопрос: насколько эффективно вычислительные мощности, данные и контекст преобразуются в бизнес-результаты?

Эффективное измерение окупаемости инвестиций (ROI) в ИИ требует строгой операционной дисциплины, сосредоточенной на том, что мы называем эффективностью интеллекта — подхода, который связывает используемые организациями модели и ресурсы с создаваемой ими в конечном итоге ценностью.

Почему привязка к конкретной модели — это неверная ставка

В дискуссиях об архитектуре корпоративного ИИ руководителям часто приходится выбирать между стандартизацией на проприетарных моделях или переходом на открытый исходный код.

Стандартизация может упростить архитектуру и масштабирование, но на столь быстро развивающемся рынке лучшая модель для определенного сценария использования сегодня может перестать быть таковой через три месяца. Такой подход рассматривает выбор модели как бинарное решение, упуская из виду всю гибкость современной экосистемы. С ростом популярности инноваций с открытым исходным кодом возможности больше не ограничиваются единственным поставщиком моделей.

По мере роста расходов на инференс для руководства естественно стремиться к прогнозируемости за счет консолидации. Однако жесткое требование использовать только одну модель превращает ИИ в статичное программное обеспечение, а не в динамичный инструмент инноваций.

Вспомните, как организации формируют высокоэффективные команды. Ни один руководитель не пытается укомплектовать каждую роль самым дорогим специалистом из доступных, но и не нанимает кандидата с наименьшей стоимостью только ради минимизации расходов. Они подбирают нужную экспертизу под конкретную задачу. Корпоративный ИИ требует такой же операционной дисциплины. Точно так же, как мы не стали бы использовать одну и ту же базу данных или вычислительную инфраструктуру для каждой рабочей нагрузки, мы не должны применять единый подход к каждой задаче ИИ.

Современные архитектуры данных должны рассматривать выбор модели как проблему динамического сопоставления в зависимости от сложности задачи, требуемой скорости, стоимости и уровня конфиденциальности данных.

Разумеется, динамическое сопоставление надежно настолько, насколько надежны руководящие им оценки. Общие академические бенчмарки дают очень мало информации о том, как модель справляется с реальными корпоративными нагрузками. Чтобы уверенно маршрутизировать запросы, организациям необходимы специализированные предметно-ориентированные системы оценки — такие как агентские бенчмарки с открытым исходным кодом для инженерии данных (например, Data-Eng-Bench) или адаптированные внутренние наборы тестов — для количественной оценки истинного владения задачами перед внедрением политик маршрутизации.

Именно поэтому интеллектуальный слой маршрутизации становится важнейшей плоскостью управления корпоративным ИИ. Опираясь на корпоративный контекст, он в режиме реального времени оценивает поступающие задачи и направляет их к оптимальной модели с учетом возможностей, задержки, стоимости и требований политик. Отвязка приложений от конкретных API моделей предотвращает появление технического долга, позволяет беспрепятственно обновлять модели и направляет более простые задачи к недорогим моделям, резервируя топ-модели для сложной работы.

Но снижение затрат на инференс — это лишь один из аспектов эффективности интеллекта. Более масштабная цель состоит в том, чтобы связать эти технические решения с тем, как ИИ меняет саму работу, и, в конечном итоге, с теми результатами, которые важны для бизнеса.

Измерение эффективности интеллекта

Руководители, ищущие одну универсальную метрику ROI для ИИ, не найдут ее. ИИ не создает ценность одинаковым образом во всех подразделениях бизнеса, и попытка свести все к единому числу скрывает больше, чем открывает. Лучший подход отслеживает три уровня, каждый из которых показывает, как инвестиции в технологии превращаются в результаты.

1. Внедрение: Этот уровень отвечает на базовый вопрос: действительно ли команды внедряют ИИ в свою работу и насколько глубоко? Ежедневные активные пользователи и объем токенов демонстрируют эксперименты, но не показывают глубину. Глубина проявляется в том, что взаимодействия переходят от простых промптов к многоэтапным рассуждениям, ИИ внедряется в повседневные инструменты и рабочие процессы, а не используется разово, а команды обращаются к специализированным инструментам и структурированным выводам вместо стандартных интерфейсов чата. Эта глубина указывает на пробелы в обучении и скорость наращивания потенциала организации. Однако сама по себе она не говорит об окупаемости инвестиций, поскольку высокая вовлеченность не равна влиянию на бизнес.

2. Трансформация рабочих процессов: Здесь вопрос заключается в том, как ИИ меняет саму работу, и метрики будут различаться в зависимости от бизнес-функции. В разработке это скорость релизов, пропускная способность код-ревью и плотность дефектов. В операциях с доходами — время, сэкономленное на вводе данных, скорость воронки продаж и время отклика. В поддержке — решение при первом обращении и время обработки. В финансах и юридическом отделе — скорость закрытия циклов планирования и проверки контрактов. По сути, все эти метрики измеряют, требуется ли меньше вмешательства человека для получения того же или лучшего качества результатов, двигаясь к рабочим процессам, которые ИИ может выполнять от начала до конца.

3. Влияние на бизнес: Это главный тест на эффективность интеллекта. Улучшения в рабочих процессах имеют значение только тогда, когда они складываются в нечто важное для бизнеса. Более быстрая разработка должна быстрее выводить продукты на рынок. Время, сэкономленное отделом продаж, должно трансформироваться в увеличение воронки и большее количество закрытых сделок. Операционная эффективность должна отражаться на марже, удержании клиентов или потребительском опыте. Задача состоит в том, чтобы связать то, что ИИ улучшает изо дня в день, с результатами, которые действительно отслеживает руководство.

В совокупности эти уровни связывают экономику стека ИИ с экономикой бизнеса. Цель состоит не просто в том, чтобы минимизировать стоимость отдельных запросов или максимизировать использование ИИ, а в том, чтобы понять, приносят ли инвестиции в ИИ более качественную работу и, в конечном итоге, лучшие бизнес-результаты.

Куда это движется дальше

Компании, которые выиграют на следующем этапе развития ИИ, — это не те, которые гонятся за объемом токенов, и не те, которые ограничивают расходы настолько жестко, что не могут экспериментировать. Это те, кто строит гибкие архитектуры с интеллектуальной маршрутизацией моделей, использует весь спектр доступных моделей вместо того, чтобы ставить на одну, и напрямую связывает расходы на вычисления с бизнес-результатами. Именно в этом заключается суть эффективности интеллекта: рассматривать ИИ не как ресурс для потребления, а как возможность, которую нужно непрерывно оптимизировать для достижения максимального эффекта.

Анахита Тафвизи — директор по данным и искусственному интеллекту в Snowflake.

Спонсорские статьи — это контент, подготовленный компанией, которая либо платит за публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко промаркированы. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.