Nvidia продвигает идею ИИ-фабрик, но 81% компаний говорят, что их графические процессоры загружены не более чем наполовину

В сентябрьском опросе VB Pulse от VentureBeat Intelligence большинство компаний, использующих ИИ в промышленной эксплуатации, сообщили, что задействуют не более половины мощности своих GPU. При этом большинство из них по-прежнему планируют внедрить новую инфраструктуру для ИИ.

Из 102 квалифицированных респондентов 68 использовали ИИ в промышленной эксплуатации и предоставили данные об утилизации GPU. Пятьдесят пять из них (81%) сообщили, что средняя утилизация составляет 50% или меньше, а 71% представителей этой группы планировали в течение 12 месяцев внедрить новую, дополнительную или заменяющую платформу для инфраструктуры ИИ.

Эти результаты поднимают важный вопрос: каких проблем покупатели ожидают решить с помощью следующей платформы? Замена может улучшить планирование, интеграцию или экономическую эффективность существующей рабочей нагрузки. Новая платформа может поддержать задачи, с которыми нынешняя среда справляется плохо.

Этот вопрос возникает на фоне призывов генерального директора Nvidia Дженсена Хуанга к компаниям создавать собственные ИИ-фабрики. В своей программной речи на GTC Berlin 21 октября он заявил: «Чтобы стать частью экономики ИИ, недостаточно просто потреблять ИИ — нужно его производить».

Концепция ИИ-фабрик выходит за рамки вычислительных мощностей. HPE делает акцент на управляемых API и интеграции с Model Context Protocol (MCP), а VAST объявила о создании вместе с Nvidia Agent Sandbox Foundation Stack — решения, призванного сохранять состояние агента, доступ к данным и журналы аудита при увеличении и уменьшении доступных вычислительных мощностей. В разговоре с Nebius накануне мероприятия команда компании, отвечающая за безопасность, рассказала о конфиденциальных вычислениях на GPU как о способе защиты данных и весов модели во время обработки, а также о возможности для клиентов проверить среду до передачи ключей шифрования.

На мой взгляд, интеграция и безопасность приобретают всё большее значение при принятии решений об инфраструктуре. Получить вычислительные мощности — это одно решение. Чтобы превратить возможности модели в полезную работу, требуется выстроить архитектуру, а для этого нужно принять ещё несколько решений.

По мере того как агенты будут выполнять всё более продолжительные задания, компаниям придётся решать, как агенты получают доступ к корпоративным знаниям, сохраняют ход выполнения задачи, используют разные модели и восстанавливаются после сбоев. Память — важная часть этой архитектуры. Один из способов оценить, насколько хорошо работают все её компоненты, — стоимость успешно выполненной задачи.

Пробелы в данных перед следующей покупкой

Среди всех 102 квалифицированных респондентов сентябрьского опроса 63% планировали в течение года внедрить новую, дополнительную или заменяющую платформу. Лишь 10% сообщили о показателе окупаемости инфраструктуры, который проверили и утвердили в финансовом отделе. Среди планировавших внедрение новой платформы у 91% такого показателя не было. Среди респондентов, не планировавших менять платформы, его также не было у 89% — статистически значимого различия между группами нет.

Компании принимают решения о следующей платформе, прежде чем финансовый отдел подтвердит отдачу от уже имеющейся инфраструктуры ИИ.

Среди респондентов, чья основная платформа использовалась в промышленной эксплуатации, средний уровень общей удовлетворённости составил 4,0 из 5,0, простоты внедрения — 3,9, а соотношения цены и качества — 3,6.

Платформа может работать достаточно хорошо, чтобы получить высокую оценку с операционной точки зрения, но оставить без ответа более сложный вопрос: стоит ли работа, которую она позволяет выполнять, всех связанных с ней затрат?

Для агентных приложений я бы сделал стоимость успешно выполненной задачи одним из ключевых операционных показателей. В расчёт следует включить инференс, поиск, хранение данных, повторные попытки и проверку человеком. Затем финансовому отделу нужно сопоставить эти затраты с полученной ценностью, используя согласованную исходную базу для сравнения.

Для выполненной задачи необходимо установить критерии качества. Случай поддержки, закрытый с ошибкой, не должен считаться успешно решённым, а затраты на исправление изменения в коде следует включать в стоимость его выполнения.

От архитектуры зависит, какие ресурсы потребует задача

Респонденты сентябрьского опроса назвали несколько факторов, влияющих на выбор инфраструктуры. Интеграцию с существующим облачным стеком и стеком данных отметили 48%, производительность — 42%, доступность GPU — 35%. Разница между интеграцией и производительностью статистически незначима. 

При выборе архитектуры нужно понять, на каком этапе конкретный рабочий процесс теряет время, повторяет работу или расходует ресурсы без улучшения результата. Может помочь более мощная модель. Не исключено, что лучше сработает усовершенствованный путь передачи информации или слой контекста, другая конфигурация обслуживания запросов либо более чёткое распределение задач между моделями и инструментами.

Память — это три взаимосвязанных архитектурных решения

Понятие «память» может обозначать разные вещи, и если рассматривать их как одну проблему, принимать решения об инфраструктуре становится сложнее.

Корпоративная память — это долговременные знания организации: политики, документы, рабочие процедуры и прошлые решения. Память агента о задаче — это состояние, необходимое для продолжения работы: что уже произошло, что ещё предстоит сделать и к чему привели предыдущие действия. Память инференса — это ресурсы и закэшированные вычисления, используемые при обслуживании моделей.

Корпоративные знания должны быть актуальными и релевантными, а доступ к ним — соответствовать правам на выполнение задачи. Память о задаче должна сохранять полезный прогресс, не позволяя случайно превратить временный вывод в авторитетный корпоративный факт. Методы работы с памятью инференса необходимо оценивать с учётом рабочей нагрузки, которую они призваны оптимизировать.

Рекомендации Anthropic по проектированию контекста описывают структурированные заметки, хранящиеся за пределами окна контекста, как один из способов сохранять информацию в ходе длительной работы. Автоматическое кэширование префиксов в vLLM работает на другом уровне: позволяет повторно использовать кэшированные вычисления, если у запросов совпадают префиксы промптов. В документации отмечается, что этот подход сокращает объём работы по обработке промпта, но не время генерации новых токенов.

В сентябрьском опросе оценивался уровень памяти инференса. Nvidia и Dell чаще всего выбирали для использования или оценки — 41% и 39% соответственно; статистически значимого различия нет. Инструменты работы с KV-кэшем с открытым исходным кодом и методы повышения эффективности на уровне моделей выбрали для использования или оценки по 21% респондентов. Ещё 16% не принимали мер для решения проблемы ограничений памяти инференса или не знали о них. 

Полагаю, связь между этими видами памяти станет более важным архитектурным вопросом. Командам нужно будет определить, что агент сохраняет, к чему обращается повторно, чем может делиться и в какой момент результат становится частью долговременной корпоративной записи.

Когда небольшие модели экономически оправданы

Я уже высказывал мнение, что малые языковые модели займут свою нишу в корпоративном ИИ. Их ценность будет зависеть от того, где они работают, какие задачи выполняют и как взаимодействуют с корпоративным контекстом, другими моделями и людьми.

Практический критерий — способна ли небольшая модель, правильно встроенная в рабочий процесс, обеспечить требуемое качество при меньших совокупных затратах.

Для ограниченной по масштабу задачи может быть достаточно небольшой модели. Более сложный этап может потребовать другой модели или решения человека. Система должна иметь критерии выбора подходящего варианта, а также подтверждённые данные о том, что получившаяся конфигурация отвечает требованиям к качеству и затратам.

Такую оценку следует проводить в рамках жизненного цикла разработки программного обеспечения. Командам нужно совместно тестировать выбор модели, поиск информации, обработку состояния задачи и передачу на эскалацию на примере типичных рабочих процессов. Эти проверки следует повторять при каждом изменении компонента.

Цена токенов — один из факторов. Согласно сентябрьскому отчёту, 23% респондентов отметили стоимость миллиона токенов как фактор выбора — по сравнению с 11% в августе; различие между двумя месячными выборками статистически значимо.

Итоговая стоимость выполнения задачи также зависит от количества токенов, повторных попыток, использования инструментов и участия человека. Поэтому выбор модели следует оценивать на уровне рабочего процесса, считая успешно выполненные задачи знаменателем при расчёте стоимости.

Руководителям и разработчикам нужен общий показатель

Результаты в разрезе должностей показывают, что участники обсуждений об инфраструктуре исходят из разных приоритетов.

Среди вице-президентов и директоров совокупную стоимость владения в качестве фактора выбора отметили 52%, тогда как среди рядовых сотрудников — 4%. Согласно тесту, использованному в отчёте для малых независимых групп, это статистически значимое различие. Рядовые сотрудники чаще всего отмечали интеграцию — 58%.

Руководителям и разработчикам нужно связать экономические цели с техническими решениями, которые определяют затраты. Руководителям важно понимать экономические последствия архитектурных решений. Разработчикам нужен показатель затрат, связанный с теми техническими решениями, на которые они могут влиять, чтобы сопоставлять производительность с расходами.

Связующим звеном может стать стоимость успешно выполненной задачи. Она позволяет командам оценить, достаточно ли улучшает результат изменение поиска, выбора модели, кэширования или управления состоянием задачи, чтобы оправдать связанные с ним расходы.

Прежде чем покупать больше инфраструктуры ИИ, найдите узкое место

Принимать решение о следующем шаге в развитии инфраструктуры нужно, отталкиваясь от конкретного рабочего процесса агента и чёткого понимания того, что ограничивает его производительность.

Руководителям корпоративных ИИ-проектов следует рассматривать память, интеграцию и измерение результатов как архитектурные решения в области инфраструктуры. Начать стоит с таких шагов:

• Попросите владельца приложения или продукта определить критерии успешного выполнения и допустимый уровень участия человека.

• Попросите команду по работе с данными определить авторитетные источники информации и правила доступа к ним.

• Используйте наблюдаемость так же, как и для любого другого приложения: поручите команде платформенной инженерии измерять задержки, утилизацию, поведение кэша и общую стоимость эксплуатации.

• Привлеките финансовый отдел, согласуйте исходную базу для сравнения и проверьте полученную выгоду.

• Затем изменяйте по одному компоненту архитектуры за раз и измеряйте, как это повлияло на стоимость успешно выполненной задачи.

Более совершенные модели расширяют круг задач, за которые могут взяться агенты. Более совершенная инфраструктура, если оценивать её по результатам задач, делает эту работу надёжной и экономически обоснованной. 

Экономику инференса, в том числе то, как командам делать больше, используя меньше памяти и токенов, мы обсудим на саммите Agentic Infrastructure Stack Summit VentureBeat, который состоится 28 октября в Сан-Франциско. Заявки на участие принимаются.

Примечание об исследовании: Данные опроса взяты из отчёта VB Pulse об инфраструктуре и вычислениях для ИИ за сентябрь, опубликованного VentureBeat Intelligence. В опросе участвовали 102 квалифицированных респондента из организаций со штатом не менее 100 человек, в том числе консультанты, отвечавшие от имени своих основных клиентов. Результаты основаны на самоотчётах самостоятельно сформированной группы участников. Данные об утилизации охватывают 68 респондентов, использовавших ИИ в промышленной эксплуатации и предоставивших соответствующие цифры; 55 из них сообщили, что средняя утилизация GPU составляет 50% или меньше. Компаний, сообщивших о более высокой утилизации, — 13. Сравнение по должностям основано на данных 23 вице-президентов и директоров и 26 рядовых сотрудников.

Данные о цене токенов за август и сентябрь получены от разных групп респондентов; различие между ними статистически значимо. Вопрос о памяти инференса объединял варианты «используем» и «оцениваем». Выводы о корпоративной памяти, памяти агента о задаче и малых моделях — это интерпретации аналитика, а не результаты, непосредственно проверенные в ходе опроса.