Vertex AI от Google Cloud нацелен на обучение корпоративных моделей

Некоторым компаниям проще всего адаптировать крупные модели под свои нужды, однако целый ряд организаций планирует создать собственные модели — проект, который потребует доступа к графическим процессорам (GPU). 

Google Cloud стремится занять более значительное место в процессе разработки моделей для бизнеса с помощью своего нового сервиса Vertex AI Training. Этот сервис предоставляет компаниям, желающим обучать собственные модели, доступ к управляемой среде Slurm, инструментам для работы с данными и любым чипам, способным осуществлять масштабное обучение моделей. 

С помощью этой новой службы Google Cloud надеется переманить больше корпоративных клиентов у других провайдеров и стимулировать создание большего числа специализированных ИИ-моделей. 

Хотя Google Cloud всегда предоставляла возможность настраивать свои модели Gemini, новый сервис позволяет клиентам использовать собственные модели или кастомизировать любые поддерживаемые Google Cloud модели с открытым исходным кодом. 

Vertex AI Training ставит Google Cloud в прямой ряд конкурентов с такими компаниями, как CoreWeave и Lambda Labs, а также с облачными гигантами AWS и Microsoft Azure.  

Хайме де Герре (Jaime de Guerre), старший директор по управлению продуктами в Google Cloud, рассказал VentureBeat, что компания получает множество запросов от организаций самого разного масштаба, которым необходим способ более эффективной оптимизации вычислительных ресурсов в более надежной среде.

«Мы видим, что растет число компаний, которые создают или настраивают крупные генеративные ИИ-модели для запуска продуктов на их основе или для поддержки своего бизнеса каким-либо иным образом», — отметил де Герре. «Сюда относятся ИИ-стартапы, технологические компании, государственные организации, создающие модель для конкретного региона, культуры или языка, а также крупные предприятия, внедряющие их в свои внутренние процессы».

Де Герре подчеркнул, что, хотя формально сервисом может воспользоваться любой желающий, Google ориентируется на компании, планирующие масштабное обучение моделей, а не простую тонкую настройку (fine-tuning) или внедрение адаптеров LoRA. Службы Vertex AI будут ориентированы на ресурсоемкие задачи обучения, задействующие сотни или даже тысячи чипов. Ценообразование будет зависеть от объема вычислительных мощностей, необходимых предприятию. 

«Vertex AI Training предназначен не для добавления дополнительной информации в контекст или использования RAG (генерации с дополненным поиском); он создан для обучения модели, когда вы можете начать с абсолютно случайных весов», — пояснил он.

Рост популярности кастомизации моделей

Предприятия осознают ценность создания кастомизированных моделей, которая выходит за рамки простой донастройки языковых моделей (LLM) с помощью генерации с дополненным поиском (RAG). Кастомные модели обладают более глубокими знаниями о компании и выдают ответы, специфичные именно для данной организации. Такие компании, как Arcee.ai, начали предлагать клиентам свои модели для кастомизации. Компания Adobe недавно анонсировала новый сервис, позволяющий предприятиям переобучить Firefly под свои конкретные задачи. Такие организации, как FICO, создающие небольшие языковые модели специально для финансового сектора, часто закупают графические процессоры для их обучения со значительными затратами. 

В Google Cloud заявили, что Vertex AI Training отличается тем, что предоставляет доступ к более широкому спектру чипов, службам мониторинга и управления процессом обучения, а также к опыту, накопленному при создании моделей Gemini. 

Среди первых пользователей Vertex AI Training — консорциум сингапурских исследовательских институтов и стартапов AI Singapore, создавший модель SEA-LION v4 с 27 миллиардами параметров, а также команда исследователей искусственного интеллекта компании Salesforce. 

Предприятиям часто приходится выбирать между донастройкой уже существующей LLM и созданием собственной модели с нуля. Однако создание LLM с нуля зачастую оказывается недоступным для небольших компаний или просто нецелесообразно для определенных сценариев использования. Тем не менее, для организаций, которым действительно необходима полностью кастомная модель или модель с нуля, главной проблемой остается получение доступа к GPU, необходимых для запуска процесса обучения.

Обучение моделей может быть дорогим удовольствием

По словам де Герре, обучение модели может оказаться сложным и дорогостоящим процессом, особенно когда организациям приходится конкурировать с другими игроками за дефицитные мощности GPU.

Облачные гиганты вроде AWS, Microsoft и, конечно же, Google заявляют, что их масштабные дата-центры и стойки с передовыми чипами приносят компаниям максимальную пользу. Помимо доступа к дорогим графическим процессорам, облачные провайдеры часто предлагают полный спектр услуг, помогающих предприятиям запустить продукт в продакшн.

Такие сервисы, как CoreWeave, получили известность благодаря предоставлению по требованию доступа к ускорителям Nvidia H100, обеспечивая клиентам гибкость в выборе вычислительной мощности при создании моделей или приложений. Это также способствовало развитию бизнес-модели, при которой компании, обладающие GPU, сдают в аренду серверные пространства.

Де Герре отметил, что Vertex AI Training — это не просто предоставление «голых» вычислительных мощностей для обучения моделей, когда предприятие арендует сервер с GPU; клиентам также приходится самостоятельно привозить ПО для обучения, управлять расписанием и устранять сбои. 

«Это управляемая среда Slurm, которая поможет с планированием задач и автоматическим восстановлением при их сбое», — рассказал де Герре. «Таким образом, если процесс обучения замедлится или остановится из-за аппаратного сбоя, он возобновится автоматически и очень быстро благодаря механизму контрольных точек (checkpointing), управление которыми мы берем на себя, обеспечивая минимальное время простоя».

Он добавил, что это обеспечивает более высокую пропускную способность и эффективное обучение для кластеров с большим объемом вычислительных ресурсов. 

Такие сервисы, как Vertex AI Training, могут упростить для бизнеса создание нишевых моделей или глубокую кастомизацию существующих. Тем не менее, само наличие такой возможности не означает, что она подойдет абсолютно каждой компании.