CDU для центров обработки данных ИИ: что операторам майнинга следует знать перед расширением деятельности в сфере высокопроизводительных вычислений (HPC)

Наличие мощности в 5 МВт еще не означает, что майнинговая площадка готова к внедрению ИИ. Обычно недостающим звеном является не трансформатор, а обеспечение теплового и эксплуатационного режима между стойкой с графическими процессорами мощностью 120 кВт и наружной системой отвода тепла.

Операторы майнинговых предприятий уже хорошо разбираются в мегаваттах, круглосуточном режиме работы, модульном развертывании и стоимости простоев. Это дает им значительное преимущество при оценке инфраструктуры искусственного интеллекта или высокопроизводительных вычислений. Однако это не означает, что контейнер для гидромайнинга можно просто переименовать в центр обработки данных для ИИ.

Проблема охлаждения приобретает иной характер.

Майнинговая ферма с жидкостным охлаждением обычно распределяет относительно стабильную нагрузку между сотнями одинаковых ASIC-майнеров. Кластер искусственного интеллекта концентрирует мощность десятков майнеров в одной стойке, сочетает процессоры с жидкостным охлаждением с сетевыми и хранилищными компонентами с воздушным охлаждением, а также увязывает время безотказной работы с дорогостоящими задачами на GPU, соглашениями об уровне обслуживания клиентов и строго контролируемыми техническими характеристиками серверов.

ХДС занимает центральное место в этом переходном процессе.

Стойка мощностью 120 кВт — это не просто уменьшенный вариант майнингового контейнера

В документации по системе NVIDIA DGX GB, рассчитанной на установку в стойку, указано, что полная стойка потребляет примерно 120 кВт. В вычислительных лотках используются холодные пластины с жидкостным охлаждением, соединенные через коллекторы стойки, в то время как такие компоненты, как сетевое оборудование и системы хранения данных, по-прежнему используют воздушное охлаждение. Компания NVIDIA также рассматривает обнаружение утечек как системное требование, поскольку своевременное обнаружение способствует защите оборудования, обеспечению бесперебойной работы и сохранности данных.

Именно эта комбинация объясняет, почему эффективность охлаждения системы AI нельзя свести к одному числу, указанному на паспортной табличке CDU.

Жидкостный контур должен отводить тепло, поглощенное холодными пластинами. Система вентиляции помещения или стойки должна отводить оставшееся тепло. Затем система водоснабжения объекта должна отводить тепловую нагрузку CDU наружу с помощью сухих охладителей, градирен или чиллеров. Система управления должна координировать работу всех трех уровней, не допуская, чтобы конденсация, избыточное давление, низкий расход или отказ одного насоса привели к отключению кластера.

Компания Google уже обрисовала план развития от современных ИТ-стоек мощностью 100 кВт до систем, способных обеспечивать мощность до 1 МВт на стойку. Это не означает, что уже сегодня каждому проекту в области искусственного интеллекта требуется стойка мощностью 1 МВт. Это означает, что операторам следует избегать создания фиксированной инфраструктуры, которая устаревает уже через одно поколение серверов.

Совет от профессионала:

Не приобретайте CDU до того, как выберете платформу графического процессора. Рабочая точка CDU должна определяться требованиями поставщика сервера к температуре, расходу, давлению, химическому составу охлаждающей жидкости и эффективности отвода тепла, а не наоборот.

Чем на самом деле занимается CDU в центре обработки данных ИИ

Блок распределения охлаждающей жидкости представляет собой тепловой и гидравлический мост между системой охлаждения объекта и технологической системой охлаждения, обслуживающей ИТ-оборудование.

В архитектуре «жидкость-жидкость» CDU обычно обеспечивает:

– пластинчатый теплообменник, который отделяет технологическую воду от контура охлаждения ИТ-оборудования
– насосы, обеспечивающие поддержание расхода и давления во вторичном контуре
– регулирование температуры, давления и расхода
– фильтрация и контроль качества охлаждающей жидкости
– функции расширения, наполнения, слива и удаления воздуха по мере необходимости
– сигнализация утечки, низкого расхода, высокой температуры и ненормального давления
– Управление с помощью ПЛК и взаимодействие с системами управления зданием (BMS) или платформами DCIM
– точки изоляции для проведения технического обслуживания и локализации неисправностей

Это разделение имеет большое значение. В руководстве ASHRAE по серверам с водяным охлаждением отмечается, что использование блока кондиционирования (CDU) упрощает контроль качества воды на участке между ИТ-оборудованием и самим CDU по сравнению с ситуацией, когда контур сервера напрямую подключен к системе водоснабжения объекта.

Представьте себе CDU как контролируемую границу. Тепло может её пересекать. Загрязнения, нестабильное давление и неочищенная вода из системы не должны.

В руководстве компании Schneider Electric по жидкостному охлаждению описаны различные архитектурные решения, сочетающие стоечные или напольные блоки CDU с отводом тепла по принципу «жидкость-жидкость» или «жидкость-воздух». Выбор подходящей архитектуры зависит от существующих инженерных систем здания, масштаба внедрения, графика работ, целевых показателей эффективности и доступных возможностей отвода тепла наружу.

Прибегайте к схеме «жидкость-воздух» в рамках ограниченной модернизации только в том случае, если система воздушного охлаждения помещения способна поглотить отводимое тепло. Выбирайте схему «жидкость-жидкость», если проекту требуется масштабируемое охлаждение высокой плотности, подключенное к реальному контуру отвода тепла, использующему воду объекта или наружный контур.

«Mining Cooling» и «AI Cooling» — это разные бизнес-направления

Операторам горнодобывающих предприятий следует рассматривать расширение высокопроизводительных вычислений (HPC) как новый вид сервисного бизнеса, а не просто как новый тип оборудования. Заказчик приобретает доступность вычислительных ресурсов, доступ к данным, безопасность и предсказуемую производительность. Охлаждение — это лишь одна из составляющих данного контракта, но именно она может вывести из строя весь стойку за считанные секунды.

Размер CDU следует определять исходя из количества улавливаемого тепла, а не из мощности объекта в мегаваттах

Основное уравнение жидкостного охлаждения имеет следующий вид:

Теплоотдача, кВт = массовый расход, кг/с × удельная теплоемкость, кДж/кг·К × повышение температуры теплоносителя, К

Что касается воды, то полезной предварительной оценкой является:

Расход, м³/ч = тепловая нагрузка, кВт × 3,6 / [4,186 × ΔT, °C]

При повышении температуры охлаждающей жидкости на 10 °C:

– Для мощности 120 кВт требуется примерно 10,3 м³/ч
– Для мощности 600 кВт требуется примерно 51,6 м³/ч
– Для мощности 1 МВт требуется примерно 86 м³/ч

Это теоретические значения теплового баланса. При расчете реальных параметров необходимо учитывать состав охлаждающей смеси, перепад давления в сервере, потери в коллекторе, загрузку фильтра, температуру на входе в теплообменник, рабочую точку насоса, запас по регулированию и стратегию резервирования.

Рассмотрим «AI-под» из шести стоек:

– 6 стоек × 120 кВт = 720 кВт — общая мощность стоек
– если поставщик сервера подтвердит, что 90% охлаждается жидкостью, мощность CDU составит примерно 648 кВт
– для оставшихся 72 кВт по-прежнему требуется система воздушного охлаждения
– затем в рамках проекта необходимо предусмотреть проектный запас прочности и определить режим работы в случае выхода из строя одного насоса или одной установки CDU

В результате таких расчетов может быть выбрана CDU мощностью 800 кВт, агрегат мощностью 1 МВт или несколько CDU меньшей мощности, скомпонованных с учетом резервирования. Правильный ответ зависит от требуемого режима отказа. Наличие номинальной мощности, превышающей нормальную нагрузку, не означает автоматического резервирования.

Типовые конфигурации CDU DroLinBox охватывают теплообменную мощность 200 кВт, 400 кВт, 600 кВт, 800 кВт и 1 МВт с соответствующими типовыми расходами от 20 м³/ч до 100 м³/ч как в контурах объекта, так и в технологических контурах. Данные приведены в качестве ориентировочных значений. Окончательная производительность должна быть проверена с учётом фактических для данного проекта температур, хладагента, потерь давления и требований к резервированию.

Совет от профессионала:

Уточните производительность теплообменника при фактических температурах первичного и вторичного контуров. Номинальная мощность в 1 МВт при одном перепаде температур может обеспечивать существенно меньшую производительность при другом перепаде.

Температура на входе может определить, нужен ли вам чиллер

Производительность CDU зависит не только от расхода, но и от перепада температур.

Для работы теплообменника необходим температурный разрыв между горячим обратным потоком ИТ и более холодным подающим потоком системы. Этот показатель обычно называют разницей температур. Меньшая разница температур повышает эффективность системы охлаждения с использованием горячей воды, но, как правило, требует применения более крупного теплообменника, увеличения площади поверхности или изменения условий эксплуатации.

В эталонных данных CDU компании DroLinBox используются контур со стороны объекта с температурой 35/45 °C и контур со стороны технологического оборудования с температурой 40/50 °C. В данном примере разница температур на стороне подачи составляет примерно 5 °C. Такое соотношение температур позволяет обеспечить работу сухого охладителя в подходящих климатических условиях, однако не везде обеспечивает возможность естественного охлаждения.

При высоких летних температурах окружающей среды сухой охладитель может перестать обеспечивать требуемую температуру воды, подаваемой в объект. В рамках проекта может потребоваться установка охладителя большей мощности, использование испарительного охлаждения, установка градирни, чиллера или гибридной системы. На фактическую производительность также влияют концентрация антифриза, высота над уровнем моря, загрязнение теплообменных змеевиков и наличие резервных вентиляторов.

Устройство CDU переносит тепло. Оно не устраняет тепло.

Утвердить CDU и оборудование для отвода тепла в качестве единой системы при температуре, соответствующей расчетному дню для данной местности.

Качество воды — это вопрос гарантии и бесперебойной работы

На горнодобывающих предприятиях качество воды иногда рассматривается как второстепенный аспект технического обслуживания. В системе охлаждения искусственного интеллекта с прямым охлаждением микросхем это является частью технических характеристик ИТ-оборудования.

Вторичная система охлаждения может включать охлаждающие пластины, быстроразъемные соединения, гибкие шланги, коллекторы, уплотнения и различные металлы. Несоответствующий химический состав воды может привести к коррозии, гальваническим реакциям, размножению микроорганизмов, засорению частицами или повреждению уплотнений. Ни в коем случае нельзя направлять необработанную воду из градирни непосредственно через дорогостоящие охлаждающие пластины серверов.

В рамках проекта необходимо определить:

– разрешенный тип охлаждающей жидкости и концентрация гликоля или ингибитора
– pH, проводимость и пределы коррозии
– содержание растворенного кислорода и биологические методы борьбы (в соответствующих случаях)
– размер частиц и требования к фильтрации
– совместимость материалов труб, коллекторов, охлаждающих пластин и быстроразъемных соединений
– процедуры промывки, пассивации и обеспечения чистоты перед подключением сервера
– точки отбора проб и периодичность лабораторных исследований
– процедуры по дозаправке и ликвидации последствий загрязнения

В эталонной конструкции DroLinBox используются внутренние трубопроводы из нержавеющей стали, фильтрация с точностью около 300 микрон со стороны объекта и 100 микрон со стороны технологического оборудования. Указанные значения являются ориентировочными для данного продукта, а не универсальными требованиями к серверам искусственного интеллекта. Приоритет имеют технические характеристики производителя графического процессора (GPU) или сервера, которые могут предусматривать иной уровень фильтрации, охлаждающую жидкость или перечень материалов.

Совет от профессионала:

Включите проверку соответствия качества воды в процедуру ввода в эксплуатацию. Внешне чистый контур не является доказательством приемлемых показателей проводимости, количества частиц или защиты от коррозии.

Резервирование должно выдержать реальный сбой

Для предложения по искусственному интеллекту одного лишь выражения “двойной насос” недостаточно.

Убедитесь, что каждый насос способен обеспечить полный расчетный расход при требуемом напоре в системе. Убедитесь, как система управления распределяет нагрузку, как обратные клапаны предотвращают обратный поток и можно ли отключить неисправный насос и заменить его без остановки системы. Затем обратите внимание не только на насосы.

Стратегия по внедрению CDU с поддержкой искусственного интеллекта может потребовать:

– рабочие и резервные насосы, рассчитанные на полную нагрузку
– автономные источники питания или защищенные источники питания для систем управления
– резервные датчики для критически важных измерений
– изоляция фильтров в режиме онлайн или параллельные пути фильтров
– перепускные и уравнительные клапаны
– обнаружение утечек на блоке кондиционирования воздуха (CDU), коллекторе и стойке
– несколько блоков CDU или участков контура для ограничения зоны отказа
– запасные насосы, уплотнения, фильтры и элементы системы управления на объекте
– протестирована логика действий при потере связи и выходе из строя датчиков

Компания Google сообщает, что использует встроенные в стойку блоки CDU с резервными компонентами и поддержкой ИБП для изоляции жидкостных контуров стойки от общеобъектного контура. Опубликованный ею опыт служит полезным уроком: обеспечение работоспособности зависит от архитектуры, окружающей теплообменник, а не от самого теплообменника.

Сформулируйте требование на практическом языке: “Выход из строя одного насоса не должен приводить к прерыванию охлаждения ИТ-оборудования при расчетной нагрузке” — это более понятно, чем “предусмотрено два насоса”.”

Системы управления должны следовать нагрузкам ИИ без колебаний

Нагрузки на ASIC часто отличаются высокой стабильностью. Нагрузки на системы искусственного интеллекта могут изменяться при запуске, остановке или перемещении заданий между стойками. Система охлаждения должна реагировать на такие изменения без нестабильных изменений положения клапанов, скачков давления или колебаний температуры подаваемого воздуха.

К полезной телеметрии CDU относятся:

– температуры подачи и обратного потока в первичном и вторичном контурах
– расход и перепад давления
– частота вращения насоса, сила тока и рабочий режим
– перепад давления в фильтре
– уровень жидкости в баке охлаждающей жидкости (если предусмотрено)
– проводимость, pH или другие указанные показатели качества воды
– тепловая нагрузка, рассчитанная на основе расхода и перепада температур (ΔT)
– сигнализация утечек и определение места утечки
– положение клапана и режим управления

Элементы управления DroLinBox CDU можно настроить с учетом требований мониторинга ПЛК и промышленной связи. При реализации проектов в области искусственного интеллекта необходимо подтвердить наличие требуемых интерфейсов BMS и DCIM, включая Modbus RTU или TCP, SNMP, приоритеты сигналов тревоги, интервалы регистрации трендов, политику удаленного доступа и ответственность за кибербезопасность.

Не довольствуйтесь зелёным индикатором работоспособности. Оператору необходимо достаточно данных, чтобы заметить загрязнение фильтра, снижение производительности насоса или отклонение температуры до того, как платформа GPU отреагирует.

Что могут повторно использовать горнодобывающие компании

Переход к высокопроизводительным вычислениям (HPC) не означает полного перезапуска. Операторы майнинга, возможно, уже располагают ценной инфраструктурой:

– крупные линии электропередачи и трансформаторы
– опыт работы в сфере распределения электроэнергии среднего и низкого напряжения
– участок с возможностью расширения
– сухие охладители, градирни или оборудование для очистки воды
– логистика развертывания и подъема модульных контейнеров
– Круглосуточная удаленная эксплуатация
– опыт эксплуатации в условиях высоких температур окружающей среды, запыленности и удаленного технического обслуживания
– команды, привыкшие отслеживать затраты на электроэнергию и показатель PUE

Эти активы могут ускорить процесс подготовки объекта к внедрению ИИ. Их стоимость зависит от состояния, местоположения и совместимости.

Удаленный горнодобывающий объект, где доступна дешевая электроэнергия, но качество оптоволоконной связи оставляет желать лучшего, а коммунальное обслуживание нестабильно или отсутствует квалифицированная техническая рабочая сила, все равно может оказаться неблагоприятным местом для развертывания ИИ. Заказчики высокопроизводительных вычислений (HPC) также оценивают сетевую задержку, разнообразие операторов связи, физическую безопасность, противопожарную защиту, соответствие нормативным требованиям, оперативность поставки запасных частей и договорные показатели бесперебойной работы.

Повторно использовать мегаватты. Провести повторную аттестацию всего, что к ним подключено.

Модель рентабельности инвестиций (ROI) меняется с «Hashprice» на «Availability»

На рентабельность инвестиций в майнинг в основном влияют экономика криптовалюты, эффективность оборудования и стоимость электроэнергии. Экономика инфраструктуры искусственного интеллекта зависит от загрузки графических процессоров, доходов по контрактам, финансирования, затрат на сеть и доступности услуг.

Модель капитальных затрат на системы охлаждения должна включать:

– Резервирование CDU и насосов
– коллекторы для штативных систем, шланги и быстроразъемные соединения
– трубопроводы и арматура объекта
– очистка воды, промывка и ввод в эксплуатацию
– сухие охладители, градирни, чиллеры или гибридные системы отвода тепла
– остаточная мощность воздушного охлаждения
– обнаружение утечек и интеграция систем управления
– электропитание насосов и вентиляторов
– запасные части и инструменты для технического обслуживания

Модель OPEX должна включать:

– энергия насоса и вентилятора отвода тепла
– энергопотребление чиллера при необходимости
– вода, химикаты и гликоль
– фильтры, лабораторные испытания и профилактическое техническое обслуживание
– охват технических специалистов и время реагирования
– плановые и внеплановые простои

В сфере искусственного интеллекта самой экономичной CDU редко бывает та, у которой самая низкая покупная цена. Это та CDU, которая соответствует рабочим параметрам сервера, позволяет избежать неиспользованных вычислительных мощностей графических процессоров и обеспечивает техническое обслуживание без прерывания предоставления вычислительных ресурсов в соответствии с договором.

Совет от профессионала:

Рассчитайте стоимость одного часа работы в автономном режиме, прежде чем соглашаться на отказ от резервирования, систем обнаружения утечек или функций онлайн-обслуживания. Этот ответ зачастую быстро меняет решение о закупке.

Более безопасный путь расширения — от горнодобывающей промышленности к высокопроизводительным вычислениям

Шаг 1: Оценка участка

Проверьте мощность энергосистемы, качество электроэнергии, наличие резервирования, маршруты прокладки оптоволоконных кабелей, безопасность, условия окружающей среды и возможности отвода тепла на открытом воздухе. Не начинайте с визуализации контейнера.

Шаг 2: Выбор ИТ-платформы

Уточните у поставщика серверов точные значения мощности стойки, коэффициента отвода тепла жидкостью, температуры теплоносителя, расхода, давления, химического состава, а также требования к быстроразъемным соединениям и системам управления.

Шаг 3: Сборка одного проверенного охлаждающего модуля

Начните с одной или нескольких стоек, CDU соответствующего размера, коллекторов, системы охлаждения остаточного воздуха и предусмотренного интерфейса BMS или DCIM. Проведите тестирование при нормальной нагрузке, частичной нагрузке и переходах между режимами нагрузки.

Шаг 4: Тестирование режимов отказа

Моделируйте потери в насосе, отказ датчика, загрязнение фильтра, переключение источников питания, потерю связи и высокую температуру наружного воздуха. Проверьте работу сигналов тревоги и непрерывность охлаждения до начала загрузки со стороны клиентов.

Шаг 5: Разбиение на повторяющиеся блоки

Вместо того чтобы перепроектировать всю станцию для каждого нового поколения стоек, следует масштабировать проверенный модуль питания и охлаждения. Модульные блоки питания и охлаждения (CDU) позволяют снизить первоначальные затраты и ограничить зоны возможных сбоев, в то время как более крупные централизованные установки могут снизить удельную стоимость при масштабировании.

Сначала переходите на модульную архитектуру, пока бизнес-модель еще находится на стадии проверки.

Информация, необходимая для подачи предложения по ИИ-CDU

В официальном запросе от ХДС следует указать:

1. сервер и платформа на базе графического процессора
2. Количество стоек и максимальная мощность стоек
3. доля тепла, поглощаемого жидкостью
4. требуемые температуры подачи и обратного потока в технологическом контуре
5. минимальный и максимальный расход на стойку
6. допустимый перепад давления в коллекторе и распределительной решетке
7. Требования к охлаждающей жидкости и ограничения по материалам
8. Требования к быстроразъемным соединениям и коллекторам
9. Температура подаваемой и возвращаемой воды в установке
10. местные проектные условия для летнего и зимнего периодов
11. доступная мощность сухого охладителя, градирни или чиллера
12. Требования к резервированию и описание режимов отказа
13. Протокол связи BMS или DCIM
14. Требования к сертификации и электрооборудованию
15. План расширения для следующего поколения серверов

Без этой информации “CDU мощностью 1 МВт” — это всего лишь шкаф с прикреплённой к нему большой цифрой.

Ознакомьтесь с системами CDU DroLinBox, рассчитанными на номинальную мощность от 200 кВт до 1 МВт. Для проведения предварительной оценки систем охлаждения для систем искусственного интеллекта (ИИ) или высокопроизводительных вычислений (HPC) обратитесь в компанию DroLinBox, указав модель стоек, их количество, температуру жидкости, местоположение объекта и требования к резервированию.

Окончательное решение

У горнодобывающих компаний есть надежный путь к созданию инфраструктуры искусственного интеллекта, поскольку они уже обладают знаниями в области промышленного энергоснабжения, модульного строительства и непрерывного управления тепловым режимом. Их преимущество теряет смысл, если они полагают, что опыт работы с мегаваттными установками автоматически решает задачи проектирования на уровне стоек.

При выборе CDU для центра обработки данных с искусственным интеллектом необходимо учитывать следующий комплекс факторов: серверную платформу, систему отвода тепла с помощью жидкости, химический состав воды, диапазон рабочего давления, тип теплообменников, климатические условия на улице, системы управления и стратегию действий в случае сбоев. Кроме того, она должна функционировать в составе смешанной системы охлаждения, поскольку не все компоненты в стойке с искусственным интеллектом обязательно имеют жидкостное охлаждение.

Правильный вопрос, касающийся расширения, звучит не так: “Сможет ли эта горнодобывающая площадка обеспечить достаточное количество электроэнергии?”

Вопрос звучит так: “Сможет ли этот центр обеспечить предусмотренную договором вычислительную мощность, если один из компонентов системы охлаждения будет находиться на техническом обслуживании в самый жаркий день года?”

Ответьте на этот вопрос, прежде чем покупать видеокарты.

Часто задаваемые вопросы

Какой размер CDU требуется для стойки с искусственным интеллектом мощностью 120 кВт?

Начните с подтвержденного производителем сервера коэффициента отвода тепла жидкостной системой охлаждения. Если в стойке мощностью 120 кВт жидкостное охлаждение обеспечивает 90%, предварительная нагрузка на CDU составит около 108 кВт. Перед выбором агрегата учтите фактические температуры хладагента, расход, потери давления, запас мощности и требования к резервированию.

Можно ли использовать горнодобывающую CDU в центре обработки данных для искусственного интеллекта?

В принципе, да, но только после проверки соответствия требованиям производителя сервера в отношении охлаждающей жидкости, системы фильтрации, материалов, давления, систем управления, обнаружения утечек и резервирования. Одно лишь совпадение номинальной мощности в кВт не гарантирует совместимости.

Устраняет ли CDU необходимость в воздушном охлаждении?

Не всегда. В системах с прямым подключением к микросхеме сетевое оборудование, системы хранения данных, источники питания и другие компоненты часто охлаждаются воздухом. В рамках проекта необходимо отдельно рассчитать остаточное тепловыделение в помещении или стойке.

Устраняет ли CDU необходимость в использовании чиллера?

Нет. Ответ зависит от требуемой температуры теплоносителя, принципа работы теплообменника, местных условий окружающей среды и выбранного способа отвода тепла. В системах с теплой водой сухого охладителя может хватать на многие часы работы, однако в жарком климате все же может потребоваться вспомогательное или механическое охлаждение.

Лучше ли одна установка CDU мощностью 1 МВт, чем несколько меньших по мощности установок?

Не обязательно. Один крупный агрегат может снизить удельную стоимость и занимаемую площадь, в то время как несколько агрегатов позволяют повысить масштабируемость и ограничить зоны отказов. Сравните требуемый уровень резервирования, способы технического обслуживания, схему прокладки трубопроводов и планы расширения.