Главное препятствие для ИИ — стоимость: компании втрое чаще объясняют пробуксовку проектов перерасходом бюджета, чем нехваткой вычислительных мощностей
Среди респондентов октябрьского опроса VentureBeat перерасход бюджета тормозил ИИ-проекты более чем в три раза чаще, чем нехватка вычислительных мощностей.
За последние 12 месяцев 38% опрошенных сообщили, что их организация отложила, сократила или отменила запланированный ИИ-проект, потому что он обошелся дороже ожидаемого; на недостаток вычислительных мощностей сослались 12%. Октябрьский опрос VB Pulse об ИИ-инфраструктуре и вычислениях охватывает 156 отобранных респондентов, которые занимаются ИИ в организациях численностью не менее 100 сотрудников или консультируют такие организации.
Инвесторов тем временем беспокоят темпы будущего строительства дата-центров. 5 ноября, как сообщил Fortune, акции технологических компаний резко упали на фоне опасений, что итоги промежуточных выборов могут замедлить строительство дата-центров для ИИ. Опрос VentureBeat проводился в октябре и касался задержек проектов за предыдущий год, а не ожиданий относительно будущих мощностей.
Несмотря на перерасход средств, 79% респондентов ожидают, что ИИ-бюджет их организации в следующем году вырастет. При этом лишь 26% всех опрошенных говорят, что их организация оценивает расходы на ИИ по измеримой финансовой отдаче, которую можно обосновать перед финансовым отделом. Среди тех, кто ожидает роста бюджета, этот показатель составляет 27%.
Компаниям нужна возможность менять свои ИИ-системы по мере того, как они узнают, во что обходится каждая рабочая нагрузка. Модель, выбранная для прототипа, при масштабировании может оказаться слишком дорогой, а многократные запросы агентов способны раздуть расходы на поиск данных. Открытый исходный код и открытые интерфейсы помогают менять модели и поставщиков, не перестраивая каждую интеграцию, а коммерческие вендоры могут поддерживать такие системы в продакшене. Критерий один: улучшают ли эти решения стоимость и качество выполненной работы.
Как Uber сократил стоимость очистки feature-флагов на 90%
Вице-президент и почетный инженер Uber Удай Киран Медисетти привел практический пример на Agentic Infrastructure Stack Summit от VentureBeat в октябре. Компания тестирует управляемых агентов на реальных задачах и проверяет такие показатели качества, как откаты и инциденты. По его словам, в задаче очистки feature-флагов после бенчмаркинга и выбора подходящей модели стоимость одной очистки снизилась на 90%.
В опубликованном материале Uber также описывает измерение стоимости по результатам — например, по завершенному ревью или очистке. Результат, о котором сообщил Медисетти, относится именно к задаче Uber. Но другие компании могут применить тот же подход: оценивать выбор модели на реальной работе, а затем измерять стоимость вместе с качеством.
Финансовые обоснования расходов на ИИ
В опросе также спрашивали об отдаче от ИИ-инфраструктуры. Среди 91 респондента, чьи организации отслеживают эту отдачу строго или частично, 34% сообщили, что их финансовый отдел проверил и утвердил показатель доходности. Это около 20% от всех 156 участников опроса.
Отраслевые объединения пытаются устранить этот пробел в измерениях. Дж. Р. Сторман, исполнительный директор Tokenomics Foundation — группы при Linux Foundation, разрабатывающей открытые стандарты измерения затрат и отдачи от ИИ, — рассказал о необходимости единого учета, связывающего технологическую активность с ценностью для бизнеса. «Мы — что-то вроде бухгалтерской книги», — сказал он мне, отделяя эту работу от проектов, соединяющих агентов с инструментами и моделями.
FinOps Foundation, которую также возглавляет Сторман, уже публикует FOCUS — FinOps Open Cost and Usage Specification, общий формат данных о биллинге. Сторман рассказал о работе по увязке затрат и использования с телеметрией, результатами и классификацией ценности. Такая связь помогла бы объяснить, чего добился рабочий процесс за потраченные деньги.
Для смены ИИ-моделей открытых весов недостаточно
Более точные измерения важны, потому что многие компании все еще меняют свою инфраструктуру. В октябрьском опросе 56% респондентов сообщили, что их организации планируют в ближайшие 12 месяцев внедрить новую, дополнительную или замещающую вычислительную платформу для ИИ. Решение о платформе, принятое на этапе экспериментов, может потребовать пересмотра по мере расширения внедрения.
Модели с открытыми весами — часть этого выбора. 17% респондентов говорят, что их организация использует такие модели для продакшен-нагрузок, а 33% — только для внутренних или экспериментальных задач. Публично выпущенные веса не обязательно означают лицензию open source, и эти цифры не доказывают, что модель с открытыми весами окажется дешевле для конкретной задачи.
Самостоятельно управляемая open-source-инфраструктура встречается реже: 7% респондентов, назвавших одну из перечисленных платформ, говорят, что их организация использует в продакшене самоуправляемый open-source-стек. Лишь 2% всех опрошенных назвали такой стек своей основной вычислительной платформой для ИИ. Эти ответы на уровне платформ не учитывают open-source-зависимости внутри управляемых сервисов или готового ПО.
Открытый интерфейс, открытая реализация и публично выпущенные веса модели дают разные виды гибкости. Покупателям стоит проверять лицензирование, совместимость и поддержку по отдельности, а не считать открытость единым свойством.
Один из способов переключаться между моделями — ИИ-шлюз. Варун Талвар, сооснователь и технический директор Tetrate, описал его как ПО, которое маршрутизирует запросы и применяет политики к внешним API моделей, внутренне размещенным моделям, инструментам и сервисам безопасности. Tetrate строит свои продукты на базе Agent Router, ранее Envoy AI Gateway, который в сентябре вошел в Agentic AI Foundation. Этот слой трафика выполняет иную функцию, чем управление нагрузками в Kubernetes и проекты для инференса вроде vLLM и llm-d.
По словам Талвара, обработка трафика остается открытой, а Tetrate продает функции управления, включая мультитенантность, администрирование и аудит. Покупателям стоит изучить эту границу, усилия, необходимые для смены поставщика, и то, дает ли автоматическая маршрутизация экономию без потери качества. Талвар рекомендует оценить телеметрию нагрузок, стоимость и качество — включая расходы на повторные попытки и проверку людьми, — прежде чем делать автоматический выбор модели вариантом по умолчанию.
Мазин Гилберт, исполнительный директор Agentic AI Foundation, рассказал о том, как конкурирующие компании работают над протоколами, шлюзами, навыками и изолированными средами выполнения. Агенты разных команд могут иметь разные идентификаторы и права доступа; протокол для обращения к инструменту не решает вопрос о том, кому разрешено им пользоваться.
Гилберт предостерег от того, чтобы считать каждый новый проект фонда устоявшимся стандартом. Он объяснил, на что обращает внимание: «Я слежу не за вашими загрузками. Я слежу за разнообразием». Для покупателей это означает, что наряду с демонстрацией продукта вендора нужно оценивать независимых контрибьюторов, работающие интеграции и зрелость проекта.
Затраты на ИИ не ограничиваются инференсом модели
Выбор модели оставляет открытым еще один экономический вопрос: сколько работы должна проделать система, чтобы получить нужную информацию? Агенты могут многократно обращаться к корпоративным данным, сохранять контекст и генерировать записи мониторинга. Каждое из этих действий потребляет ресурсы, даже если сам вызов модели недорог.
Бьянка Льюис, исполнительный директор OpenSearch Software Foundation, подчеркнула риски, когда компания делает ставку на платформу данных, а затем обнаруживает, что цены, функциональность или модель эксплуатации требуют дорогостоящей перестройки архитектуры. На сентябрьской конференции OpenSearchCon в Сан-Хосе обсуждались сборка контекста из разных систем и защита от доступа агентов к информации, которую их пользователям видеть не разрешено.
Тиа Уайт из AWS, генеральный менеджер Amazon OpenSearch Service, рассказала об экосистеме разработчиков и сервис-провайдеров вокруг OpenSearch, а Intel продемонстрировала аппаратные оптимизации, переданные в основной проект, а не в проприетарный дистрибутив. Для команд платформ и данных оценка открытых платформ означает смотреть не только на задержку поиска, но и на повторные запросы, затраты на хранение и мониторинг, управление и долгосрочную гибкость.
OpenShift 5 приносит ИИ в эксплуатацию кластеров
Затраты на инфраструктуру включают и работу по эксплуатации платформы. Red Hat анонсировала OpenShift 5 с ИИ-инструментами для управления кластерами Kubernetes. На брифинге перед мероприятием директор по продуктам Ашеш Бадани рассказал об ИИ-анализе перед обновлением кластеров, рекомендациях по устранению проблем и дашбордах, создаваемых командами на естественном языке.
Бадани также рассказал об интеграции MCP и поддержке внешней оркестрации и агентных рабочих процессов. Это расширит способы управления платформой в дополнение к ее консоли и существующей автоматизации. Для покупателей главный вопрос — сокращает ли интеграция усилия по эксплуатации именно их среды.
Red Hat сообщает, что поддержка конфиденциальных GPU общедоступна на поддерживаемых bare-metal-системах, а песочница для агентов пока остается в статусе технологического превью. Компания также объявила о трехлетнем цикле крупных релизов, призванном сделать жизненный цикл платформы более предсказуемым для клиентов.
Когда агент запрашивает изменение, платформа должна установить его личность, ограничить то, к чему он может прикасаться, и дать оператору возможность вмешаться.
В пилотном проекте по эксплуатации прежде, чем расширять доступ, измерьте время подготовки к обновлению, объем ручного вмешательства и исключения из политик. Даже более автономный процесс должен оставлять свидетельства того, какие действия были выполнены, какие завершились неудачей и во что обошлось восстановление.
Стивен Уотт, почетный инженер Red Hat и вице-президент офиса технического директора, рассказал о внутреннем пилоте, сочетающем самостоятельно размещенный инференс моделей с открытыми весами, шлюз и бюджеты для разработчиков. Команде пришлось обслуживать сервис инференса и побуждать инженеров использовать альтернативу, когда ее хватало для задачи. В опубликованном материале Red Hat сообщает, что в зависимости от кэширования и маршрутизации развертывание снизило эффективные расходы на токены на 40–70% по сравнению с прежними ценами коммерческих моделей.
Однако эта экономия повлекла за собой новую эксплуатационную работу. Покупателям стоит спросить, кто будет обслуживать сервис, как будут применяться политики и как пользователи будут его осваивать. Ответ должен учитываться в расчете затрат наряду с расходами на оборудование и инференс.
Стратегический вывод: как понять, экономит ли открытая инфраструктура деньги
Октябрьский опрос не доказывает, что open source повышает ROI: это бизнес-обоснование, которое должно подтвердить каждое развертывание.
Командам платформ стоит начать с одного конкретного ИИ-процесса и вместе с ответственным за него определить, что считается успехом и какой объем человеческого вмешательства допустим. Попросите команду данных определить авторитетные источники информации и правила доступа. Поручите платформенной инженерии оснастить процесс инструментами и измерить эксплуатационные затраты, задержки и повторную работу, а финансовый отдел привлеките к согласованию базового уровня и подтверждению выгоды.
Затем меняйте по одному компоненту за раз. Протестируйте другую модель, конфигурацию обслуживания или подход к поиску, сохраняя требования к качеству неизменными. Включите в сравнение усилия по интеграции, поддержку и проверку людьми. Более низкая цена запросов не сэкономит деньги, если результаты потребуют больше проверок или доработок.
На проходящей на этой неделе в Солт-Лейк-Сити KubeCon + CloudNativeCon North America, где секция AI Inference + Agentic посвящена обслуживанию моделей и эксплуатации ИИ, просите вендоров и мейнтейнеров показать, какие интерфейсы стабильны, какие улучшения уходят в основной проект и где начинается коммерческая поддержка. Соотносите эти ответы с экономикой процесса. Следующая платформа должна заслужить свое место, делая полезную работу надежнее или экономичнее.
VentureBeat был и, возможно, в будущем будет платным медиапартнером упомянутых вендоров. Ни эти вендоры, ни другие спонсоры не осуществляют редакционного контроля над материалами VentureBeat, VentureBeat Intelligence или VentureBeat Research. Взгляды и мнения принадлежат VB Intelligence.
