Даже самые быстрые кластеры ИИ могут тормозить из-за конвейеров выпуска
Развёртывание прошивки, которое я проводил, шло по зонам уже шесть дней, когда остановилось само. Сначала сообщение всегда приходит в виде беззвучной вибрации, но в 1:14 ночи она ощущается как пожарная тревога. В одной из зон доля хостов, некорректно перезагрузившихся во время обновления, превысила безопасный порог, поэтому автоматизация заморозила развёртывание и передала ситуацию человеку.
В такой момент первая мысль — что-то сломали мы. Но это было не так. Хосты, на которых произошёл сбой, зависли за несколько часов до того, как до них дошло обновление, из-за аппаратной неисправности, о которой мы уже знали. Перезагрузка в ходе обновления лишь сделала проблему заметной. Мы изменили проверку, чтобы она не учитывала хосты, которые были неисправны ещё до обновления, возобновили развёртывание и завершили его девять дней спустя.
Этот случай научил меня тому, что я применяю до сих пор: показатель состояния нужно сопоставлять с состоянием хоста до внесения изменений. Иначе выпуску припишут ущерб, который уже был нанесён.
Причиной не были ни неудачная конструкция чипа, ни плохая модель, ни ошибка в коде в привычном смысле. Всё произошло на уровне, о котором большинство людей не задумывается, покупая вычислительные мощности для ИИ: в процессе выпуска, который обеспечивает обновление прошивок, драйверов и сред выполнения на десятках тысяч машин, пока на них продолжают выполняться задачи.
Я пришёл к выводу, что именно этот уровень теперь определяет, сколько полезной работы выполняет кластер ИИ. На таком масштабе оборудование постоянно выходит из строя. Большинство исправлений и способов смягчить последствия таких отказов поставляются в виде прошивок и программного обеспечения. Исправление известной проблемы с зависанием помогает, только когда оно установлено на каждом затронутом хосте, а быстро и без побочных сбоев доставить его туда — задача процесса выпуска.
Оборудование выходит из строя регулярно
В статье Meta об обучении Llama 3 об этом говорится с необычной откровенностью. За 54 дня предварительного обучения примерно на 16 000 графических процессорах H100 команда зафиксировала 466 прерываний задач. 419 из них были неожиданными — примерно одно каждые три часа; около 78% этих случаев связали с подтверждёнными или предполагаемыми проблемами оборудования. Meta также сообщила, что синхронное обучение вызывало колебания энергопотребления дата-центра на десятки мегаватт.
Небольшая вероятность отказа отдельного компонента, умноженная на десятки тысяч ускорителей, огромное количество высокоскоростных соединений и стойки, потребляющие более 100 киловатт каждая, превращается в непрерывный поток инцидентов. Это не инженерный просчёт, а арифметика. Если умножить небольшую вероятность отказа компонента на десятки тысяч ускорителей, огромное число высокоскоростных соединений и стойки, которые за миллисекунды переходят от простоя к пиковой мощности, «редкие» сбои становятся обычным делом.
Показатель, отражающий связанные с этим потери, — полезная производительность (goodput): доля оплаченных вычислительных ресурсов, которая действительно продвигает обучение модели. Google Cloud использует этот термин именно в таком значении. Грубая оценка: если задача завершается сбоем каждые три часа, а контрольные точки создаются каждые 30 минут, каждый сбой в среднем приводит к потере примерно 15 минут работы. Если добавить около 15 минут на обнаружение неисправности, замену узла и перезапуск, задача теряет полчаса каждые три часа — примерно одну шестую времени.
Исправления поставляются в виде выпусков
Когда я начинал работать в сфере инженерии выпусков, выпуск означал отправку нового кода на серверы, аппаратная часть которых в основном оставалась неизменной. Сегодня стек, на котором работает одна задача обучения, состоит из нескольких компонентов с независимым управлением версиями: прошивки ускорителей и контроллеров управления, ПО сетевых карт, драйверов, сред выполнения и средств диагностики, а также других компонентов. Каждый обновляется по собственному графику, и все они должны работать вместе на каждой машине, участвующей в задаче. Типичный выпуск в моей команде затрагивает большинство из них одновременно.
Развёртывание на парке специализированных ускорителей для ИИ требует полностью переосмыслить дата-центр — простой замены карт недостаточно. Кластер работает как единый суперкомпьютер с разобщённой архитектурой: чипы соединены плотными сетями «точка — точка», из-за чего целостность сигнала становится критически важной; стойки потребляют значительно больше 100 киловатт, поэтому жидкостное охлаждение становится нормой; тысячи ASIC за миллисекунды переходят от простоя к пиковой нагрузке.
Поскольку чипы, межсоединения, стойки, системы охлаждения и компиляторы проектируются совместно как единая система, неисправность на любом уровне проявляется повсюду: ненадёжный кабель маскируется под зависание ПО, а просадка напряжения выглядит как отказавший чип. Поэтому работа на площадке требует строгих стресс-тестов перед вводом в эксплуатацию, согласованного с планировщиками кластера технического обслуживания и специализированных способов обращения с плотными корпусами.
Поэтому инженерия выпусков отчасти становится областью инженерии аппаратного обеспечения. Здесь иначе устроены три вещи.
Большинство ошибок нужно обнаружить до запуска канареечного развёртывания. Мы по-прежнему развёртываем обновления волнами, начиная с небольшой пилотной зоны, и описанный выше инцидент показывает, что такой подход работает. Но проверки состояния в рабочей среде обнаруживают лишь явные сбои — например, когда хосты не возвращаются в сеть или экземпляры не запускаются. Многие важные неисправности проявляются только тогда, когда сотни чипов обмениваются данными под полной нагрузкой или после нескольких часов непрерывной работы. Пилотная стойка может пройти проверку без замечаний и не выявить их. Поэтому каждый выпуск сначала несколько дней работает на выделенных тестовых парках, проходя стресс-тесты коллективного обмена данными, тесты памяти и длительные тесты обучения.
Откат проверяют так же тщательно, как и обновление. В обычном ПО откат обычно выполняется одним щелчком. Здесь одни обновления устанавливаются без остановки работы, а другие требуют перезагрузки; некоторые меняют состояние, которое нельзя просто отменить; старая версия одного компонента может оказаться несовместимой с более новой версией другого, уже установленной на хосте. За четыре дня наши тестовые парки 20 раз переводят хосты на новый выпуск и обратно, и выпуск допускается к развёртыванию, только если оба направления проходят без сбоев.
Развёртывание — это задача планирования. Выпуск для всего парка развёртывается в течение двух недель, регион за регионом. В один день не обновляются две зоны одного региона, крупнейшие зоны идут последними, а план учитывает праздничные заморозки и другие выпуски, которые ещё находятся в процессе развёртывания. Сигналы о состоянии могут остановить процесс в любой момент — как это и произошло в описанном выше случае.
Незаметные ошибки, прошедшие все тесты компонентов
Вот несколько примеров ошибок, которые прошли тестирование отдельных компонентов. Каждое из этих изменений само по себе было корректным. Но в сочетании с чем-то ещё каждое привело к сбою.
Ограничение мощности, замедлившее обучение: обновление прошивки снизило мощность по умолчанию для каждого ускорителя, чтобы полная стойка не выходила за пределы бюджета энергопотребления. Все тесты компонентов были пройдены. Но при системном тестировании время шага стандартного теста обучения увеличилось на 5%, и проверка производительности не была пройдена. Команда прошивки ожидала замедления и считала его приемлемым. Однако никто не сообщил об этом специалистам, отвечавшим за пороговые значения производительности, а пороги в ранних тестах отдельных компонентов были достаточно свободными, чтобы не заметить проблему. Мы вернулись к предыдущей версии, потеряв три дня. Ошибка возникла из-за недостатка координации: команда, отвечавшая за пороговые значения, не узнала о предусмотренном компромиссе.
Буфер, переполнявшийся на самых больших хостах: Агент управления хостом собирал данные об инвентаризации каждой карты ускорителя в буфер фиксированного размера и не очищал его между картами. В новой версии данных с каждой карты стало примерно втрое больше. На хостах с максимальным количеством карт буфер переполнялся на последней карте, агент терял представление обо всём хосте, и запустить на нём экземпляры было невозможно. Сами карты были исправны. Ошибка воспроизводилась только на одной конфигурации хоста, поэтому её выявило системное тестирование, а не проверка кода.
Общее у этих случаев — сбой возникал не внутри самого изменения. Он происходил на стыке изменения с чем-то ещё: бюджетом энергопотребления, самой крупной конфигурацией оборудования, остальной частью чипа. Обнаружить ошибки такого класса можно только одним способом — тестировать систему целиком так, как ею будут пользоваться клиенты.
Сбой, останавливающий задачу, в некотором смысле представляет собой простой случай. Инфраструктурные команды больше беспокоят менее заметные проблемы. Одна из них — «отстающий» узел: машина не сломана, а просто работает чуть медленнее. Поскольку при обучении каждый шаг синхронизируется, один медленный узел задерживает все остальные чипы, но тревога не срабатывает, ведь формально ничего не вышло из строя. Вопрос поиска таких узлов регулярно поднимается в статьях о крупномасштабном обучении.
Чтобы обнаружить такие проблемы, нужно непрерывно анализировать низкоуровневую телеметрию — частоту ошибок соединений, количество ошибок памяти, температурные показатели и энергопотребление — и выводить оборудование из эксплуатации до отказа, а не после него.
Как ИИ-агенты помогают управлять выпуском
ИИ начинает помогать управлять ИИ. Все эти тесты генерируют больше сигналов, чем люди способны прочитать. За последний год моя команда начала использовать ИИ-агентов для программирования в операциях по выпуску. Мы не поручаем им самостоятельно управлять парком. Они выполняют три более узкие задачи.
Первичный анализ: Тестирование выпусков создаёт непрерывный поток сообщений об ошибках. Теперь агенты читают их, группируют и недавно в одном случае свели примерно 40 сообщений к семи первопричинам; несколько сообщений многократно описывали одну и ту же аппаратную проблему.
Очистка: Если тестовый запуск прерывается, в нескольких системах могут остаться десятки хостов, застрявших на полпути к повторной сборке: запрос на подготовку в одной системе, процесс проверки оборудования в другой, незакрытая резервация в третьей. Агент может найти все оставшиеся элементы и предложить точный порядок их отмены. Порядок важен, поскольку некоторые системы отказываются отменять операции, пока другая система удерживает хост.
Подготовка черновиков: Сводки о выпусках, записи об изменениях и обоснования того, «блокирует ли эта ошибка выпуск», теперь сначала готовятся агентами, а затем проверяются и редактируются человеком.
Но ограничения столь же реальны. Для любого действия, затрагивающего парк, по-прежнему требуется решение человека — и так и должно быть. Агенты могут уверенно ошибаться, например неверно прочитать поле или «проверить» изменение по результату, в котором вообще не было подтверждающих данных.
Недавно агент сообщил мне, что все 10 хостов из прерванного тестового запуска вернулись в общий парк, и подтвердил это цитатой из вывода команды отмены. Но в этом выводе было сказано лишь, что запросы на отмену приняты; когда я проверил сами хосты, три из них всё ещё находились в процессе повторной сборки. Преимущество достигается за счёт того, что люди быстрее проверяют результаты, а не за счёт того, что люди устраняются от работы.
Что это означает для инфраструктурных команд
Если вы управляете инфраструктурой ИИ, из этого следует несколько выводов:
-
Измеряйте полезную производительность для каждой задачи и отслеживайте, сколько времени проходит от слияния исправления до его установки на каждом затронутом хосте. Именно этот второй показатель отсутствует у большинства команд.
-
Оценивайте состояние относительно исходного уровня. Проверка развёртывания, которая не знает, в каком состоянии находился хост до изменений, будет останавливать удачные выпуски и пропускать неудачные.
-
Закладывайте тестовые парки в бюджет кластера. Выпуск, проверенный лишь на нескольких хостах, по сути, не тестировался.
-
Организуйте инженерную работу над выпусками как функцию, связанную с аппаратным обеспечением. Специалисты, занимающиеся ею, должны разбираться не только в конвейерах, но и в журналах прошивок и телеметрии соединений.
-
Начните применять агентов для первичного анализа и очистки, а решения, затрагивающие парк, оставьте за людьми.
Стойки становятся всё плотнее, а с каждым поколением оборудования появляются компоненты с собственными графиками выпуска. Производители чипов задают верхний предел производительности. А насколько близко к нему подберётся кластер, зависит от того, насколько быстро и безопасно операторы могут менять его — каждую неделю.
Винаяк Вашиштха — руководитель в области инфраструктуры и инженерии выпусков.
Добро пожаловать в сообщество VentureBeat!
В рамках нашей программы гостевых публикаций технические эксперты делятся мнениями и предлагают беспристрастные подробные материалы об ИИ, инфраструктуре данных, кибербезопасности и других передовых технологиях, формирующих будущее бизнеса.
Читайте другие материалы нашей программы гостевых публикаций и ознакомьтесь с правилами , если хотите предложить собственную статью!



