Solidigm представляет СХД с жидкостным охлаждением
При поддержке Solidigm
Жидкостное охлаждение меняет правила игры в сфере инфраструктуры искусственного интеллекта, однако большинство развернутых систем еще не перешли этот рубеж полностью. Графические (GPU) и центральные (CPU) процессоры уже переведены на жидкостное охлаждение, в то время как системы хранения данных по-прежнему зависят от воздушного потока, что создает операционно неэффективную гибридную архитектуру.
То, что кажется прагматичной переходной стратегией, на практике является структурной уязвимостью.
«Гибридный подход к охлаждению — это операционно неэффективное решение, — объясняет Хардип Сингх (Hardeep Singh), менеджер команды термомеханического аппаратного обеспечения в Solidigm. — Вы платите за две совершенно разные и дорогие системы охлаждения и обслуживаете их обе, при этом рискуете столкнуться с худшими проблемами обоих подходов».
В то время как жидкостное охлаждение требует насосов, гидравлических коллекторов и блоков распределения охлаждающей жидкости (CDU), компоненты с воздушным охлаждением нуждаются в кондиционерах для серверных помещений (CRAC), холодных коридорах и испарительных градирнях. Организации, переходящие на гибридное решение путем простого добавления элементов жидкостного охлаждения, несут дополнительные финансовые затраты без получения полной выгоды от совокупной стоимости владения (TCO).
Ситуацию усугубляет термодинамика. Объемные теплообменные пластины жидкостного охлаждения, толстые шланги и коллекторы физически препятствуют циркуляции воздуха внутри шасси GPU-сервера. Это концентрирует тепловую нагрузку на оставшихся компонентах с воздушным охлаждением, включая накопители данных, оперативную память и сетевые карты, поскольку вентиляторы сервера не могут обеспечить достаточный воздушный поток в условиях водяных коммуникаций. Компоненты, которые больше всего зависят от вентиляторов, в итоге оказываются в худшей из возможных тепловых сред.
Расход воды — это практически игнорируемая, но не менее серьезная проблема. Традиционные компоненты с воздушным охлаждением полагаются на серверные вентиляторы для отвода тепла в окружающий воздух, который затем поглощается водяным контуром и откачивается в испарительные градирни. Эти системы со временем могут потреблять миллионы галлонов воды. Поскольку плотность энергопотребления в стойках продолжает расти для поддержки современных рабочих нагрузок ИИ, избыточный расход воды на испарение становится, по выражении Сингха, «экологически и экономически неоправданным».
Поскольку инфраструктура ИИ эволюционирует в сторону систем с жидкостным охлаждением и без вентиляторов на базе GPU, истинными ограничениями масштабирования становятся не производительность вычислений, а термодинамическое проектирование на уровне системы. Современные платформы ИИ больше не строятся сервер за сервером; они проектируются как тесно интегрированные системы на уровне стоек и модулей (pod), где подача питания, распределение охлаждения и размещение компонентов неразрывно связаны.
В таких условиях архитектуры хранения данных, разработанные для дата-центров с воздушным охлаждением, становятся ограничивающим фактором. По мере того как платформы GPU полностью переходят в зоны общего жидкостного охлаждения, опираясь на CDU стоечного уровня, каждый компонент системы должен работать в рамках единого теплового и механического проекта. Хранилища данных больше не могут полагаться на изолированные пути охлаждения или специальные тепловые допущения без создания неэффективности, сложности или компромиссов по плотности размещения на системном уровне.
Почему хранилище данных перестало быть пассивной подсистемой
Для руководителей инфраструктуры это знаменует собой фундаментальный переход. Хранилище данных больше не является пассивной подсистемой, привязанной к вычислениям, а становится активным участником системного охлаждения, ремонтопригодности и эффективности использования GPU. Способность масштабировать ИИ теперь зависит от того, смогут ли СХД органично интегрироваться в GPU-системы с жидкостным охлаждением, не фрагментируя архитектуры охлаждения и не ограничивая конструкцию стоек.
И гонка за масштабированием ИИ теперь заключается не только в том, у кого больше GPU, а в том, кто сможет удерживать их в охлажденном состоянии, говорит Скотт Шадли (Scott Shadley), директор по развитию лидерских нарративов и евангелист компании Solidigm.
«Поиск способа реализовать жидкостное охлаждение для хранилищ данных и одновременно обеспечить их пригодность для обслуживания пользователями стал одной из величайших проблем при разработке безвентиляторных системных решений, — говорит Шадли. — По мере развития рабочих нагрузок ИИ давление на системы хранения будет только усиливаться».
Такие методы, как выгрузка кэша KV (KV cache offload), которая перемещает данные между памятью GPU и высокоскоростным хранилищем во время инференса, делают задержки (латентность) и тепловые характеристики накопителей напрямую влияющими на эффективность обслуживания моделей. В таких архитектурах подсистема хранения, которая начинает снижать производительность (троттлить) из-за плохого традиционного воздушного потока в условиях тепловой нагрузки, замедляет как операции чтения, так и саму модель.
Переход на интегрированное жидкостное охлаждение
Переход от традиционных GPU-серверов с воздушным охлаждением к интегрированным стойкам с жидкостным охлаждением улучшает коэффициент эффективности энергопотребления (PUE) и снижает эксплуатационные расходы дата-центра. Он также заменяет шумные центральные кондиционеры (CRAH) и представляет современный, эффективный жидкостный CDU с потенциальной возможностью исключить чиллеры, если стойки можно охлаждать до температуры жидкости 45° по Цельсию.
Когда хранилище охлаждается с помощью жидкости при отсутствии вентиляторов, оно также должно обеспечивать ремонтопригодность без утечек жидкости. Это порождает новое требование, с которым инфраструктурные команды только начинают бороться: каждый компонент в стойке должен нативно работать в рамках одной и той же архитектуры охлаждения.
Хранилище как активный участник системного проектирования
Проектирование систем хранения больше не является изолированной инженерной задачей. Это прямая переменная, влияющая на коэффициент использования GPU, надежность системы и операционную эффективность. Решение заключается в том, чтобы перепроектировать системы хранения с нуля для сред с жидкостным охлаждением без вентиляторов. Это сложнее, чем кажется. Традиционный дизайн SSD предполагает наличие воздушного потока для терморегуляции и размещает компоненты на обеих сторонах термоизолированной печатной платы (PCB). Ни одно из этих допущений не работает в архитектуре на базе CDU.
«Твердотельные накопители должны быть спроектированы с использованием лучшего в своем классе терморешения, чтобы эффективно отводить тепло от внутренних компонентов и передавать его жидкости, — говорит Сингх. — Конструкция должна включать путь с низким сопротивлением для передачи тепла на единственную пластину холода, прикрепленную с одной стороны».
В то же время накопители должны обеспечивать ремонтопригодность без утечек жидкости во время установки и извлечения, а также без ухудшения теплового интерфейса между накопителем и охлаждающей пластиной.
Компания Solidigm сотрудничает с NVIDIA для решения проблем жидкостного охлаждения SSD, таких как возможность «горячей» замены (hot-swap) и одностороннее охлаждение, сокращение теплового следа систем хранения в общем контуре жидкости и обеспечение получения графическими процессорами их пропорциональной доли охлаждающей жидкости.
«Если хранилище спроектировано для среды с жидкостным охлаждением неэффективно, оно либо снизит производительность из-за троттлинга, либо потребует большего объема жидкости, — говорит он. — Что прямо или косвенно ведет к недоиспользованию возможностей GPU».
Согласование стандартов и путь к функциональной совместимости
Solidigm работает над этим не в изоляции. Внутренняя индустрия в целом объединяется вокруг стандартов, чтобы гарантировать совместимость систем ИИ с жидкостным охлаждением, а не превращать их в лоскутное одеяло из кастомных решений. SNIA (Ассоциация по стандартизации индустрии хранения данных) и проект Open Compute Project (OCP) являются основными организациями, продвигающими эту работу.
Solidigm возглавила разработку отраслевого стандарта жидкостного охлаждения SFF-TA-1006 для форм-фактора E1.S и принимает активное участие в рабочих потоках OCP, охватывающих проектирование стоек, терморегулирование и экологичность. Кастомные, заказные решения для охлаждения систем хранения уступают место стандартизированным, готовым к производству конструкциям, которые аккуратно интегрируются в платформы GPU с жидкостным охлаждением.
«В этой работе участвует несколько организаций, — говорит Шадли, который также входит в совет директоров SNIA. — Они начали с решений на уровне компонентов, чему в значительной степени способствовали SNIA и SFF TA TWG. Следующий уровень — это решения на уровне систем, которые в настоящее время активно продвигаются OCP».
Дорожная карта Solidigm прокладывает путь
Правила проектирования системных архитектур изменились благодаря появлению технологий жидкостного и погружного охлаждения, которые позволяют использовать более уникальные правила проектирования и устранять некоторые барьеры. По словам Шадли, способность систем работать на платформах исключительно с NVMe SSD также позволяет избавиться от ограничений традиционных корпусов на базе жестких дисков (HDD), существовавших ранее.
«Клиенты Solidigm играют активную и ведущую роль в принятии решений по дорожной карте наших продуктов благодаря их глубокому техническому взаимодействию с экосистемой, — говорит он. — Мы не просто производим и продаем продукты; мы интегрируем, совместно проектируем, разрабатываем и внедряем инновации вместе и наряду с нашими партнерами, клиентами и их заказчиками».
Сингх добавляет: «Ключевая сила Solidigm заключается в инновациях и системном проектировании, вдохновленном клиентами. Это позволит нам и дальше уверенно лидировать в деле внедрения жидкостного охлаждения для систем хранения данных».
Спонсорские статьи — это контент, создаваемый компанией, которая либо платит за публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко маркируются. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.
