SSD-накопители Solidigm сокращают энергопотребление систем хранения для ИИ на 77%

При поддержке Solidigm

По мере лавинообразного внедрения искусственного интеллекта дата-центры сталкиваются с критическим узким местом в системах хранения данных — и традиционные жесткие диски (HDD) оказываются в самом его центре. Данные, которые раньше бездействовали в качестве холодных архивов, теперь активно используются для создания более точных моделей и выдачи лучших результатов логического вывода (инференса). Этот переход от холодных данных к теплым требует хранения с низкими задержками и высокой пропускной способностью, способного справляться с параллельными вычислениями. Жесткие диски останутся рабочей лошадкой для недорогого холодного хранения, но без переосмысления их роли уровень емких хранилищ рискует стать самым слабым звеном на «фабрике ИИ».

«Современные рабочие нагрузки ИИ в сочетании с ограничениями дата-центров создали новые проблемы для жестких дисков», — говорит Джефф Янукович (Jeff Janukowicz), вице-президент по исследованиям в IDC. — Хотя поставщики HDD борются с ростом объемов данных, предлагая накопители большей емкости, это часто происходит в ущерб производительности. В результате концепция «nearline SSD» становится все более актуальной для обсуждения в индустрии».

Сегодня операторам систем ИИ необходимо максимизировать загрузку графических процессоров (GPU), эффективно управлять сетевыми хранилищами (NAS) и масштабировать вычисления — и всё это в условиях сокращения расходов на всё более дефицитные ресурсы электроэнергии и пространства. В среде, где на счету каждый ватт и каждый квадратный дюйм, говорит Роджер Корелл (Roger Corell), старший директор по маркетингу ИИ и лидерских решений в Solidigm, успех требует не просто технического обновления. Он требует глубокой перестройки.

«Это говорит о кардинальном изменении ценности данных для ИИ, — отмечает Корелл. — Именно здесь в игру вступают SSD большой емкости. Помимо емкости, они обеспечивают производительность и эффективность, позволяя конвейерам хранения эксабайтного масштаба не отставать от неуклонного роста размеров наборов данных. Всё это потребляет энергию и пространство, поэтому нам нужно делать это максимально эффективно, чтобы обеспечить более масштабное задействование GPU в этих стесненных условиях».

SSD большой емкости не просто вытесняют жесткие диски — они устраняют одно из главных узких мест на «фабрике ИИ». Обеспечивая огромный прирост производительности, эффективности и плотности размещения, твердотельные накопители высвобождают мощность и пространство, необходимые для дальнейшего масштабирования GPU. Это скорее не обновление хранилища, а структурный сдвиг в том, как проектируется инфраструктура данных для эпохи ИИ.

HDD против SSD: больше, чем просто обновление «железа»

HDD имеют впечатляющую механическую конструкцию, но они состоят из множества движущихся частей, которые в масштабе потребляют больше энергии, занимают больше места и выходят из строя чаще, чем твердотельные накопители. Зависимость от вращающихся пластин и механических головок чтения/записи неизбежно ограничивает количество операций ввода-вывода в секунду (IOPS), создавая узкие места для рабочих нагрузок ИИ, требующих низких задержек, высокой степени параллелизма и стабильной пропускной способности.

HDD также испытывают трудности с задачами, чувствительными к задержкам, поскольку сам физический процесс поиска данных приводит к механическим задержкам, непригодным для работы в реальном времени при инференсе и обучении ИИ. Более того, их требования к питанию и охлаждению значительно возрастают при частых и интенсивных обращениях к данным, что снижает эффективность по мере роста и «потепления» данных.

В то же время, построенное на базе SSD решение для хранения данных VAST снижает энергопотребление примерно на 1 млн долларов в год, и в среде ИИ, где важен каждый ватт, это огромное преимущество для SSD. Чтобы продемонстрировать это, компании Solidigm и VAST Data провели исследование, изучив экономику хранения данных в эксабайтном масштабе (квадриллион байт, или миллиард гигабайт), проанализировав энергопотребление систем хранения по сравнению с HDD за 10-летний период.

В качестве отправной точки: вам потребуется четыре жестких диска по 30 ТБ, чтобы сравняться по емкости с одним твердотельным накопителем Solidigm емкостью 122 ТБ. С учетом методов сокращения объема данных VAST, ставших возможными благодаря превосходной производительности SSD, эксабайтное решение включает в себя 3738 твердотельных накопителей Solidigm против более чем 40 000 емких жестких дисков. Исследование показало, что решение VAST на базе SSD потребляет на 77% меньше энергии для хранения данных.

Минимизация площади дата-центров

«Мы поставляем накопители емкостью 122 терабайта некоторым из ведущих OEM-производителей и ведущих облачных ИИ-провайдеров в мире, — говорит Корелл. — Если вы сравните конфигурацию исключительно на SSD по 122 ТБ с гибридной конфигурацией HDD + TLC SSD, они получают девятикратную экономию занимаемой площади в дата-центре. И да, это важно в тех массивных дата-центрах, которые строят собственные ядерные реакторы и подписывают крупные соглашения о покупке электроэнергии с поставщиками возобновляемых источников энергии, но это становится всё более важным по мере перехода к региональным дата-центрам, локальным дата-центрам и вплоть до развертывания на периферии (edge), где пространство может быть на вес золота».

Эта девятикратная экономия выходит за рамки пространства и питания: она позволяет организациям размещать инфраструктуру в ранее недоступных местах, расширять возможности GPU или создавать более компактные объекты.

«Если вам выделено X количество земли и Y количество энергии, вы собираетесь их использовать. Вы занимаетесь ИИ, — поясняет Корелл, — где на счету каждый ватт и каждый квадратный дюйм, так почему бы не использовать их наиболее эффективным способом? Получите самое эффективное хранилище на планете и обеспечьте более масштабное задействование GPU в рамках имеющихся у вас ограничений. В долгосрочной перспективе это также сэкономит вам эксплуатационные расходы. У вас на 90 процентов меньше отсеков для хранения, требующих обслуживания, и связанные с этим затраты исчезают».

Еще один часто упускаемый из виду фактор: гораздо (намного) больший физический объем данных, хранящихся на механических HDD, приводит к большему расходу строительных материалов. Совместное производство бетона и стали составляет более 15% от общемировых выбросов парниковых газов. За счет уменьшения физических размеров хранилища SSD высокой емкости могут помочь сократить выбросы, связанные с производством бетона и стали, более чем на 80% по сравнению с HDD. А на последнем этапе жизненного цикла устойчивого развития — утилизации накопителей — дисков, подлежащих утилизации, окажется на 90% меньше.

Переосмысление стратегий холодного и архивного хранения

Переход на SSD — это не просто модернизация хранилища; это фундаментальная перестройка стратегии инфраструктуры данных в эпоху ИИ, и она набирает обороты.

«Крупные гиперскейлеры стремятся выжать максимум из существующей инфраструктуры, совершая, если хотите, противоестественные действия с жесткими дисками — например, переподписывая их почти до 90%, чтобы выжать как можно больше IOPS на терабайт, но они начинают меняться, — говорит Корелл. — Как только они перейдут на современную инфраструктуру хранения данных высокой емкости, вся индустрия в целом пойдет по этой траектории. К тому же мы начинаем видеть, как уроки, извлеченные из ценности современного хранения данных в сфере ИИ, применяются и в других сегментах, таких как анализ больших данных, высокопроизводительные вычисления (HPC) и многие другие».

Хотя решения на базе флеш-памяти находят практически всеобщее признание, для HDD всегда найдется свое место, добавляет он. Жесткие диски сохранятся в таких сферах применения, как архивирование, холодное хранение и сценарии, где чистая стоимость одного гигабайта перевешивает потребность в доступе в реальном времени. Но по мере того как экономика токенов набирает обороты, а предприятия осознают ценность монетизации данных, сегменты теплеющих и теплых данных будут продолжать расти.

Решение энергетических проблем будущего

Использующая технологию QLC (Quad-Level Cell) уже в 4-м поколении и поставившая к настоящему моменту в общей сложности более 122 эксабайт, компания Solidigm лидирует в отрасли по балансировке между увеличением емкости накопителей и экономической эффективностью.

«Мы не рассматриваем хранилище просто как хранение бит и байтов. Мы думаем о том, как мы можем разработать эти потрясающие накопители, способные приносить пользу на уровне решений, — говорит Корелл. — Ярким примером этого является наш недавно выпущенный E1.S, разработанный специально для плотного и эффективного хранения в конфигурациях с прямо подключенным хранилищем (direct attach storage) для серверных стоек с GPU нового поколения без вентиляторов».

Solidigm D7-PS1010 E1.S — это прорыв, первый в отрасли твердотельный накопитель (eSSD) с технологией одностороннего жидкостного охлаждения непосредственно на кристалле (direct-to-chip). Компания Solidigm работала совместно с NVIDIA над решением двойной задачи: управлением тепловыделением и экономической эффективностью при обеспечении высокой производительности, необходимой для требовательных рабочих нагрузок ИИ.

«Мы стремительно движемся к среде, где все критически важные ИТ-компоненты на стороне прямого подключения будут иметь жидкостное охлаждение непосредственно на кристалле, — говорит он. — Я думаю, рынку необходимо пересмотреть свой подход к охлаждению, потому что ограничения и проблемы с электроэнергией не уменьшатся — по крайней мере, при моей жизни. Им нужно применять мышление неооблака к тому, как они проектируют наиболее эффективную инфраструктуру».

Всё более сложный инференс упирается в «стену памяти», что делает архитектуру хранения данных первоочередной задачей проектирования, а не второстепенной мыслью. SSD высокой емкости в сочетании с жидкостным охлаждением и эффективным дизайном становятся единственным путем удовлетворения растущих потребностей ИИ. Задача на сегодня заключается в создании инфраструктуры не просто для эффективности, а для хранения, способного эффективно масштабироваться по мере роста данных. Организации, которые проведут реорганизацию систем хранения данных сейчас, смогут масштабировать ИИ в будущем.

Спонсорские статьи — это контент, созданный компанией, которая либо платит за публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко промаркированы. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.