Почему выбор ИИ-модели теперь стал решением на уровне инфраструктуры

При поддержке Microsoft

По мере расширения портфелей ИИ директорам по информационным технологиям всё чаще приходится подбирать для каждой ИИ-нагрузки оптимальное сочетание модели, мощностей и инфраструктуры, соблюдая баланс между загрузкой, производительностью, предсказуемостью и стоимостью.

Корпоративный ИИ стремительно превращается в задачу управления портфелем. По мере расширения портфелей ИИ директорам по ИТ всё чаще приходится подбирать для каждой нагрузки оптимальное сочетание модели, мощностей и инфраструктуры. Подход «одна модель — одно развёртывание» становится всё менее реалистичным, когда нагрузки различаются требованиями к производительности, загрузке, предсказуемости и стоимости.

Открытые модели расширяют выбор, но и добавляют решений — касательно мощностей GPU, инфраструктуры и сред обслуживания. Поэтому задача директоров по ИТ — сопоставить нагрузки с правильным сочетанием модели, подхода к развёртыванию и инфраструктуры, не создавая лишней сложности.

Разным нагрузкам — разные модели развёртывания

По мере расширения портфелей ИИ ни одна модель развёртывания не подойдёт для всех нагрузок. Инференс с оплатой за токены остаётся полезным там, где важна гибкость потребления, тогда как выделенные мощности могут быть разумнее для нагрузок с устойчивым спросом или более жёсткими требованиями к мощностям, задержкам, пропускной способности и предсказуемости затрат.

Один из способов найти этот компромисс — Managed Compute в Microsoft Foundry. Как управляемый вариант развёртывания, он позволяет клиентам сохранять контроль над решениями, определяющими производительность и экономику инференса, — включая модель, ускоритель, мощности и рабочую точку, — а Microsoft берёт на себя управление значительной частью базовой среды обслуживания.

Клиенты также могут использовать управляемые вычисления в Foundry наряду с другими подходами к развёртыванию по мере изменения требований к нагрузкам.

Выделенные мощности меняют уравнение затрат

Перевод инференса открытых моделей в продакшн меняет как экономику, так и технологический выбор.

Выделенные мощности означают резервирование ресурсов под ожидаемые требования нагрузки, а не опору исключительно на гибкое потребление с оплатой по факту использования. Это даёт командам более чёткую основу для планирования с учётом доступных мощностей, задержек и пропускной способности. Владельцы бюджетов также получают лучшее представление о потреблении инфраструктуры и о связи между мощностями, загрузкой, производительностью и стоимостью.

По мере роста использования ИИ такая прозрачность даёт организациям более прочную основу для сравнения нагрузок по загрузке, производительности, предсказуемости и стоимости, а не просто по заявленной цене токенов или инфраструктуры.

При выделенных мощностях экономика зависит от того, насколько эффективно используются зарезервированные ресурсы GPU: стоимость GPU-часа, загрузка, пропускная способность и объём выполненной работы — всё это влияет на фактическую стоимость токена или запроса на инференс. Поэтому характеристики нагрузки и ожидаемый спрос становятся центральными для расчёта TCO.

Меньше времени на эксплуатацию — больше внимания разработке

Запуск открытых моделей на выделенной инфраструктуре может повлечь значительную операционную работу — от настройки и оптимизации сред выполнения до сопровождения ПО, устранения уязвимостей и установки обновлений безопасности. Управляемая среда обслуживания снимает значительную часть этой нагрузки, позволяя командам сохранять контроль над решениями, влияющими на производительность и экономику, и тратить меньше времени на управление базовой инфраструктурой.

Правильной модели нужна правильная инфраструктура

Разные модели предъявляют к инфраструктуре разные требования, и эти различия напрямую влияют на производительность, потребность в GPU и экономику нагрузки, поскольку память GPU расходуется как на саму модель, так и на обслуживание её пользователей.

AMD Instinct MI300X — вариант ускорителя с большим объёмом памяти в рамках управляемых вычислений в Foundry: 192 ГБ высокоскоростной памяти HBM3 на GPU, или около 1,5 ТБ в конфигурации из восьми GPU. Именно этот объём позволяет обслуживать в Foundry модель Z.ai GLM 5.3 Flash с 320 млрд параметров всего на четырёх GPU MI300X с контекстным окном 512K. А меньшее число GPU для той же модели означает меньше инфраструктуры для резервирования и более низкие затраты. Всё это работает на базе ROCm — программного стека AMD для GPU с открытым исходным кодом, который позволяет запускать открытые модели и инструменты для их обслуживания на Instinct в Foundry.

Таким образом, выбор ускорителя критически важен для согласования требований к инфраструктуре, производительности и экономики с конкретной нагрузкой.

Портфельные решения в масштабах продакшна

Показательный практический пример — AT&T. В рамках ИИ-инициативы OTel2.0, ориентированной на телеком, компания использовала управляемые вычисления в Foundry для обработки огромных объёмов отраслевых данных и поддержки разных открытых моделей на разных этапах рабочего процесса.

«Foundry Managed Compute дал нам доступ к мощностям GPU в нужном масштабе, чтобы наши команды могли сосредоточиться на развитии OTel2.0, а не на управлении инфраструктурой». — Марк Остин, вице-президент по науке о данных и ИИ в AT&T

Вместо того чтобы стандартизировать свои ИИ-нагрузки на одной модели или конфигурации инфраструктуры, AT&T использовала несколько открытых моделей и архитектур GPU на 530 GPU. Около 430 из них — GPU AMD Instinct MI300X, обработавшие через управляемые вычисления примерно 1 трлн токенов для генерации синтетических обучающих данных. По данным AT&T, использование открытых моделей для генерации данных вместо передовых моделей позволило сэкономить десятки миллионов долларов.

Важен не только масштаб развёртывания, но и то, что для разных частей нагрузки применялись разные модели и архитектуры GPU. Это иллюстрирует портфельные решения, с которыми сегодня сталкиваются директора по ИТ: как разные сочетания модели, инфраструктуры и мощностей могут обеспечить нужную производительность при наиболее подходящих затратах.

Управление ИИ-инфраструктурой как портфелем

По мере того как корпоративный ИИ всё глубже переходит в продакшн, стратегический вопрос всё чаще звучит так: как сопоставить каждую нагрузку с сочетанием модели, подхода к развёртыванию и инфраструктуры, обеспечивающим правильный баланс производительности, предсказуемости, загрузки и стоимости.

Для нагрузок, которым выгоден выделенный инференс открытых моделей, управляемые вычисления в Foundry сочетают выделенные мощности с контролем клиента над решениями по нагрузкам в управляемой среде обслуживания. AMD Instinct MI300X добавляет вариант инфраструктуры с большим объёмом памяти для требовательных моделей и нагрузок, включая оптимизированные конфигурации для таких моделей, как Z.ai GLM 5.3 Flash.

Для директоров по ИТ это создаёт более чёткую основу для управления расходами на инфраструктуру, повышения предсказуемости затрат и мощностей, а также оценки TCO и ROI по мере роста использования ИИ.

Узнайте, как управляемые вычисления в Foundry помогут подобрать открытые модели и выделенные мощности для ваших ИИ-нагрузок в продакшне.

Спонсорские статьи — это материалы, подготовленные компанией, которая либо оплачивает публикацию, либо имеет деловые отношения с VentureBeat; такие материалы всегда имеют соответствующую пометку. За дополнительной информацией обращайтесь по адресу sales@venturebeat.com.