Расходы на вывод ИИ растут на фоне всплеска популярности токенов

По мере того как передовые модели искусственного интеллекта переходят в стадию промышленной эксплуатации, они сталкиваются с серьезными препятствиями, такими как ограничения по мощности, задержки при инференсе и рост стоимости на уровне токенов, что обнажает пределы традиционных архитектур, ориентированных исключительно на масштабирование. В рамках очередного мероприятия из серии VB AI Impact Series в Сан-Франциско генеральный директор VentureBeat Мэтт Маршалл побеседовал с Вэлом Берковичи, директором по искусственному интеллекту компании WEKA, чтобы обсудить кризис инференса и ключевые архитектурные решения, которые отличают прибыльные внедрения ИИ от дорогостоящих провалов.

Свидетельства этого кризиса кроются в разрыве между валовыми и чистыми показателями ведущих провайдеров ИИ, отметил Берковичи. Если судить по валовым цифрам, за последние два года стоимость инференса упала почти в тысячу раз, и вполне естественно полагать, что в наши дни инференс должен быть дешевым, верно? Но это далеко не вся картина.

Реальность проявляется тогда, когда вы учитываете колоссальное потребление и объем токенов. По мере того как цена токенов снижается в одном измерении, спрос на них стремительно растет. Чистый итог заключается в том, что стоимость ИИ растет, а экономика приложений на базе ИИ и всего обслуживающего их технологического стека перевернута с ног на голову.

«Если взглянуть на чистую удельную стоимость, то в настоящее время она отрицательная», — заявил Берковичи. «Мы возвращаемся к этой классической игре Uber, когда инвесторы субсидируют реальную стоимость продукта».

Взрывной рост токенов рассуждения

Ситуация достигла апогея в конце прошлого года, пояснил Берковичи, когда OpenAI стала одной из первых компаний, публично представивших концепцию модели рассуждений (reasoning model). Во время последнего отчета Nvidia о доходах генеральный директор Дженсен Хуанг отметил, что количество токенов рассуждений, генерируемых на уровне базовой модели, выросло на два порядка по сравнению с любыми токенами, созданными ранее с помощью предыдущего поколения предобученных моделей.

Прошлым летом ажиотаж вокруг агентного ИИ перерос в волну массового внедрения, поскольку реальная бизнес-ценность агентов ИИ стала очевидной. Чтобы добиться успеха, агенты действуют роями, выполняя задачи и подзадачи параллельно. Итоговая выгода носит поистине трансформационный характер.

Профессиональные разработчики, использующие сегодня рои агентов, не пишут код; вместо этого они мыслят как продакт-менеджеры, составляя детальные спецификации для агентных роев, которые превращают эти требования в протестированные, документированные приложения с автоматическим сканированием безопасности и уязвимостей, а также с оптимизацией производительности. Однако платой за это стало увеличение количества генерируемых токенов еще в 10 раз.

«Даже если цена инференса снизилась — оптимистично говоря — примерно в 1000 раз, фактический спрос на токены вырост как минимум в 10 000 раз», — пояснил он. «Мы имеем дело с разницей в порядке величины в 10 раз».

ОИИ (AGI) и архитектура будущего

Такие решения, как Claude Code и Cursor, инструменты командной строки для агентного программирования, кажутся находящимися на волосок от общего искусственного интеллекта (AGI), способными повысить производительность разработчиков на 30% и более. Разработчики видят реальную пользу: проекты завершаются за часы вместо недель и месяцев.

«Агенты для генерации качественного кода перешли тот рубеж, когда, по моим наблюдениям, масштабирование смещается от вычислений и данных в мире предобучения к моделям рассуждений и вычислениям во время тестирования, а теперь и к агентам — [именно они] представляют собой новые законы масштабирования», — сказал Берковичи. «Теперь я вижу, как мы приближаемся к AGI, когда все эти уровни объединяются и суммируются в истинную форму интеллекта».

Чтобы гарантировать возможность извлечения выгоды из производительности этих агентов, лидерам необходимо пересмотреть процессы уже сейчас. Рои и модели работают принципиально иначе, чем человеческие программисты. Людям необходимо разбивать всё на различные функции, вызовы и файлы, чтобы информацию было легко воспринимать при человеческом уровне внимания и контекста. Для агентного роя весь ваш исходный код должен быть помещен в один гигантский файл, чтобы обеспечить агентов необходимым контекстом.

«Контекст — это всё. В результате генерируются более качественные токены, рассуждения и выходные данные», — отметил Берковичи. «Но тогда критически важной становится ваша инфраструктура. Объем токенов здесь настолько огромен, что если вы не можете позволить себе эти токены, вы ничего не сможете сделать. Изучение вашего инференса, понимание его, сотрудничество с экспертами, которые в нем разбираются, и его оптимизация для перехода от отрицательной юнит-экономики к положительной имеют важнейшее значение».

Еще один важнейший способ проектирования архитектуры для работы с большим объемом токенов — это пересмотр некоторых базовых принципов и устаревших лучших практик. Например, превращение существующих твердотельных накопителей NVMe (Non-Volatile Memory Express) или модулей flash-памяти в хранилище.

«Если вы можете перепрофилировать недорогие устройства NVMe высокой емкости в качестве полноценной оперативной памяти DRAM (Dynamic Random-Access Memory) и получить необходимую пропускную способность памяти во время инференса, вы сможете радикально изменить экономику инференса, переосмыслив базовые принципы вашей инфраструктуры», — пояснил он.

Путь к прибыльному искусственному интеллекту

Преимущества эффективной архитектуры ИИ заключаются не только в более быстрой обработке токенов. Проектирование с учетом эффективности также раскрывает потенциал и экономию средств, которые делают ИИ прибыльным и обеспечивают быстрые циклы инноваций.

«Суровая реальность современных ИИ-фабрик заключается в том, что в них нет конвейеров. Сегодня это одни из самых неэффективных и запутанных систем в сфере инференса, которые взвинчивают стоимость токенов», — сказал Берковичи. «По мере внедрения конвейеров и повышения эффективности в инференсе мы увидим радикальное снижение затрат. Те ведущие провайдеры инференса, которые примут это на вооружение, станут перпроходцами и, возможно, получат непреодолимое преимущество на рынке».