Nvidia и Oracle расширяют облачную инфраструктуру Vera Rubin, обещая более эффективное использование ресурсов на фоне жалоб компаний на простаивающие GPU

Nvidia и Oracle расширяют партнерство в области ИИ-инфраструктуры: в Oracle Cloud Infrastructure стали общедоступны системы Vera Rubin NVL72 и отдельные процессоры Vera, а также объявлено о планах нарастить Superclusters до мощности в несколько гигаватт.

Анонс от 27 октября отвечает на два разных запроса: на вычислительную мощность, необходимую для обучения и работы передовых моделей, и на ресурсы CPU, которые нужны агентам для выполнения кода, поиска информации и использования программных инструментов между вызовами модели.

По мнению компаний, возможность масштабировать ресурсы CPU и GPU по отдельности поможет сократить простаивающие мощности.

Для корпоративных покупателей анонс означает не только доступ к новейшему оборудованию Nvidia: он ставит вопрос о том, может ли иной баланс инфраструктуры дать больше полезной работы от мощностей, за которые они платят.

Этот вопрос особенно актуален в свете последних данных VentureBeat Intelligence, собственного исследовательского подразделения VentureBeat, свидетельствующих о низкой загрузке GPU в компаниях.

Загрузка в компаниях — проверка для аргумента об эффективности

Ежемесячные опросы Pulse от VentureBeat Intelligence за июль, август и сентябрь показали, что 79% из 218 респондентов сообщают о загрузке GPU на уровне 50% или ниже; при этом 70% из этой группы все равно планируют смену платформы.

В исследовании опрашиваются организации численностью не менее 100 сотрудников, включая консультантов, отвечающих от имени клиентов. Это данные самоотчетов, а не аудит оборудования.

Для покупателей, оценивающих анонс Nvidia и Oracle, вывод таков: доступ к более мощным чипам должен сопровождаться диагностикой того, что мешает существующим ресурсам выполнять полезную работу.

GPU, ожидающий, пока CPU завершит выполнение кода агента, — это иная проблема закупок, чем GPU, у которого просто нет задач в очереди. В первом случае могут помочь более быстрые CPU.

Во втором они не создадут спроса. Аналогично, если ограничение кроется в удаленном сервисе, доступе к базе данных или архитектуре приложения, одна лишь замена процессора может оставить исходную проблему нерешенной.

Это возможные объяснения, которые компании следует проверить, а не причины, установленные данными о загрузке.

Это различие также разделяет бизнес-обоснования для разработчика базовых моделей и команды корпоративных приложений. Разработчику моделей с устойчивым спросом на обучение и инференс могут понадобиться дополнительные мощности и более быстрая вспомогательная инфраструктура. Компании со слабо загруженными GPU сначала следует определить, какие рабочие нагрузки перейдут на предлагаемую систему и почему там они будут выполняться экономичнее.

Поэтому правильный критерий — не просто то, быстрее ли новый чип. А то, снижает ли предлагаемая конфигурация общую стоимость выполнения задачи приемлемого качества при требуемых бизнесу времени отклика и надежности.

Почему CPU важны для ИИ-агента

Nvidia описывает Vera как процессор для работы, сопутствующей выполнению моделей: координации агентов, запуска кода в изолированных средах, обработки данных и поддержки обучения с подкреплением.

Модель может решить, какое действие предпринять, но выполнить его и вернуть результат должно другое ПО. Когда эта работа становится узким местом, повышение производительности одной лишь модели не обязательно ускоряет работу агента в целом.

В техническом анонсе Oracle говорится, что Vera доступны в виде bare-metal-серверов и гибких виртуальных машин. Отдельное предложение позволяет клиентам развертывать CPU-сервисы независимо от GPU-инфраструктуры.

Oracle ссылается на заявление Nvidia о производительности до 80% выше на связанных с агентами CPU-нагрузках по сравнению с ведущими процессорами x86. При этом компания прямо указывает, что эти результаты получены в бенчмарках платформы Nvidia, а не в тестах самих инстансов OCI. Покупателям стоит воспринимать эту цифру как бенчмарк производителя, а не как доказанное улучшение для их приложений.

Для компании, рассматривающей миграцию, репрезентативный тест предполагает запуск одного и того же агентного процесса на существующей инфраструктуре и на предлагаемой конфигурации Vera. Следует измерить долю успешно выполненных задач, задержки по всему процессу, потребление CPU и GPU и общую стоимость — включая плату за API моделей.

Клиенты — и ИИ-лаборатории, и компании, с разными потребностями

Самый весомый из названных клиентов — OpenAI.

«Мы внедряем Vera в продакшн на OCI для поддержки этих нагрузок в масштабе», — говорит Удай Руддараджу, технический директор OpenAI по вычислениям, в совместном анонсе, имея в виду нагрузки агентных песочниц компании.

Этот пример подтверждает очевидную роль для разработчиков базовых моделей. Но потенциальная клиентская база шире организаций, обучающих собственные передовые модели.

Oracle называет поиск, аналитику, координацию агентов и управление парком GPU среди сценариев использования CPU-платформы. Такие нагрузки встречаются и в корпоративных ИИ-развертываниях.

По нашему мнению, характеристики рабочих нагрузок — лучший ориентир, чем один лишь размер компании. У предприятия, выполняющего значительные объемы агентного кода или поисковых операций, может быть повод оценить Vera и без обучения базовой модели. И наоборот, крупной компании, чье использование ИИ сводится в основном к вызовам внешних моделей, вряд ли нужен собственный крупный пул GPU.

Таким образом, анонс обращен к обоим рынкам, но его составляющие отвечают разным потребностям. Расширение Supercluster напрямую ориентировано на исключительно требовательные модельные нагрузки. Отдельные CPU — более точечный вариант для организаций, стремящихся ускорить ПО вокруг этих моделей.

Компактная конфигурация Rubin пока в планах

Помимо доступных систем NVL72, Oracle планирует восьмипроцессорную конфигурацию Rubin NVL8 на базе процессоров Intel Xeon. Она предназначена для обучения, дообучения и инференса с сохранением совместимости с приложениями x86.

Это более компактный вариант развертывания, чем стоечная конфигурация на 72 GPU, хотя в анонсе NVL8 описана как запланированная, а не общедоступная.

Oracle также заявляет, что ее инфраструктура может переключаться между нагрузками обучения и инференса и поддерживать последующие платформы Nvidia. Это часть ее аргументации о том, что клиенты смогут использовать мощности и при изменении своих требований.

Для отделов закупок важно различать доступные продукты и запланированное расширение. Многогигаваттное строительство отражает инфраструктурные амбиции провайдеров; это не минимальное требование к развертыванию для отдельной компании.

Что покупателям еще предстоит выяснить

Рассмотренные анонсы не содержат достаточных данных о ценах и производительности для конкретных нагрузок, чтобы рассчитать ожидаемую экономию клиента.

Региональную доступность также нужно проверять. Хотя компании объявляют об общей доступности, в публикации Oracle о Vera CPU говорится, что в этом квартале доступность распространится на отдельные регионы. Покупателям следует уточнить, какие типы инстансов, локации и мощности они реально могут получить.

Для команды, чьи GPU регулярно ждут завершения работы CPU, Vera — конкретное предложение для проверки. Для команды, у которой недостаточно спроса, чтобы загрузить существующие GPU, первая задача иная: найти полезные нагрузки, пересмотреть обязательства по мощностям и выяснить, улучшит ли новая платформа экономику.

Nvidia и Oracle предлагают дополнительную инфраструктуру и способ более независимо балансировать компоненты ИИ-системы. Решение о закупке для компании зависит от того, удастся ли показать, где эта гибкость превращается в выполненную работу.