По данным Gartner, к 2028 году расходы на агентов вырастут в пять раз, несмотря на удешевление токенов. Как держать их под контролем

Снижение цен на токены заставило многие компании предположить, что вместе с ними снизятся и расходы на ИИ. Но агенты опровергают это предположение.

По прогнозу Gartner, к 2028 году расходы на инференс для каждого агентного рабочего процесса вырастут более чем в пять раз, несмотря на улучшение экономики токенов. Компания отмечает, что передача задачи модели рассуждения для агентных систем повышает расходы провайдера на инференс как минимум в 5 раз по сравнению с обычным взаимодействием с чат-ботом, а с ростом сложности задачи — нередко намного сильнее. Это явление назвали парадоксом инференса. Улучшение удельной экономики повышает общие расходы на ИИ, но не даёт ясного пути к соразмерной и предсказуемой отдаче.

По словам Gartner, повышение эффективности направляют на разработку более мощных и дорогих моделей.

«Таким образом, токены не дешевеют — их расход растёт», — рассказал VentureBeat Уилл Соммер, старший директор-аналитик Gartner.

Почему более дешёвые токены всё равно оборачиваются большими счетами

За парадоксом инференса стоят две основные причины.

Первая связана с разработчиками моделей. Соммер отметил, что генерировать токены становится экономичнее.

«Однако вместо того, чтобы воспользоваться этой экономией, ведущие лаборатории ИИ инвестируют в модели следующего поколения, которым требуется больше вычислительных мощностей и которые поэтому обходятся дороже в пересчёте на токен», — сказал он.

Использование прежних возможностей обходится намного дешевле, тогда как передовые модели дорожают. В качестве примера этого расхождения Соммер указал, что Anthropic берёт за токен Fable больше, чем Opus.

Вторая причина — потребление. Повышение эффективности использования токенов делает практичными более сложные рабочие нагрузки, которые расходуют гораздо больше токенов.

«Для выполнения той же задачи ИИ-агентам требуется в 5–30 раз больше токенов и запросов, чем обычным ИИ-чат-ботам», — сказал Соммер.

Обе причины усиливаются конкурентным давлением. Компании, стремящиеся не отставать от конкурентов, внедряют более продвинутые сценарии использования, для которых нужны более мощные и дорогие модели, а также значительно больше токенов, чем системам ИИ предыдущего поколения.

Расходы будут расти скачками, а не по прямой

Gartner не ожидает, что расходы будут стабильно расти вплоть до 2028 года. Стремление сдерживать затраты и одновременно не отставать от конкурентов приводит к колебаниям расходов, которые менялись с выходом новых моделей.

«Первая волна агентных возможностей привела к резкому росту расходов весной — отчасти из-за повального увлечения максимальным расходом токенов», — сказал Соммер. «Сейчас мы затягиваем пояса».

По прогнозу Gartner, последуют ещё несколько волн роста по мере развития более мощных агентов рассуждения, моделей мира и других технологий ИИ.

Компании сдерживают расходы неравномерно. В сентябрьском опросе VB Pulse среди 109 квалифицированных респондентов выяснилось, что у 21% компаний, использующих платформу оркестрации, нет средств для автоматической остановки расходования токенов агентами. Ещё 31% направляют типовые агентные задачи с большим объёмом операций более дешёвым моделям, чтобы сдерживать затраты.

По словам Соммера, оценка пятикратного роста основана на прогнозе экономики токенов Gartner — эконометрической модели, которая предсказывает динамику стоимости токенов с учётом более чем 300 параметров. Она учитывает как повышение эффективности затрат на токены, так и резкий рост их потребления по мере применения ИИ для решения более сложных задач. Соммер отметил, что решения на основе ИИ, которые обучаются или работают во всей компании либо сразу в нескольких областях, требуют значительно больше токенов для автоматизации рабочих процессов.

Пять архитектурных изменений, которые помогут опередить парадокс инференса

Чтобы подготовиться к этому, организациям следует рассмотреть пять ключевых изменений.

Инвестируйте в наблюдаемость. Финансовое управление ИИ критически важно для любой работы по оптимизации затрат. «Компании не могут оптимизировать то, за чем не могут наблюдать», — сказал Соммер.

Учитывайте ценность результата при внедрении ИИ. Требуйте, чтобы для каждой функции ИИ строились прогнозы с учётом широкого диапазона неопределённости, а расходы отслеживались по чёткому показателю результата. Например, по числу автоматизированных задач или успешно закрытых обращений. Быстро улучшайте неэффективные рабочие процессы или отказывайтесь от них, чтобы защитить маржу.

Внедрите многоуровневую маршрутизацию запросов для инференса. Настройте автоматическую отправку запросов к наиболее экономичным моделям и запретите использовать передовые модели по умолчанию для типовых задач. «Инвестируйте в агентные среды, которые определяют, где, когда и как модели используются в автономных системах», — сказал Соммер.

Установите минимальные стандарты выполнения задач с помощью ИИ. Принцип «настроил и забыл» не сработает. Организациям необходимо заранее определить пороговые показатели успеха, накладные расходы на обеспечение соответствия требованиям и затраты на снижение рисков — и не одобрять внедрение, пока сценарии не будут проверены на устойчивость к колебаниям цен на токены и расходам на соблюдение требований.

Используйте собственные данные. Внедряйте дообучение на собственных данных и циклы обратной связи для самообучения, чтобы со временем сохранять конкурентные преимущества и маржу. «Эффективные модели, адаптированные к конкретной предметной области, обычно надёжнее универсальных передовых моделей и лучше справляются с задачами определённых типов», — сказал Соммер.