Изоляция разнотемпературных воздушных потоков в существующем ЦОДе

Изоляция воздушных потоков значительно повышает предсказуемость функционирования и эффективность традиционных систем охлаждения ЦОДа, однако в большинстве случаев выбор типа изоляции ограничен.

Изоляция воздушных потоков дает ряд важных преимуществ:

• Повышение надежности благодаря недопущению локального перегрева. Разделение потоков кондиционированного и отработанного воздуха позволяет добиться более равномерного (без локальных аномалий) распределения и более низкого (среднего) уровня температуры вблизи воздухозаборников ИТ-оборудования.
• Увеличение энергетической плотности стоек вследствие невозможности попадания отработанного воздуха в воздухозаборники оборудования. В традиционном ЦОДе с фальшполом и без изоляции воздушных потоков средняя мощность нагрузки в стойке редко превышает 6 кВт. До этого уровня нагрузки подсос отработанного воздуха к передним панелям ИТ-оборудования не представляет проблемы. После монтажа средств изоляции и герметизации всех отверстий создаются условия для дальнейшего наращивания мощности.
• Повышение мощности теплоотвода благодаря увеличению разницы температур на входе и выходе кондиционера. В традиционном ЦОДе более 50% кондиционированного воздуха попадает во впускной канал кондиционера, различными путями минуя охлаждаемые устройства. После изоляции кондиционированный воздух проходит через оборудование, нагревается там и затем возвращается к кондиционерам. Чем выше температура на входе кондиционера, тем больше она отличается от температуры охлажденного воздуха; в итоге удается добиться увеличения охлаждающей способности на 20% и более.
• Экономия энергии в системе охлаждения в результате отключения охлаждающих блоков, ставших ненужными после эффективного разделения разнотемпературных воздушных потоков. Дополнительно «естественное» охлаждение (отвод тепла во внешнюю среду без использования компрессоров за счет разницы температур на улице и в помещении) может использоваться в течение более длительного времени.

Далее описываются распространенные методы изоляции воздушных потоков, рассматриваются ограничения и предпочтения пользователей, даются рекомендации по выбору оборудования, разъясняется значение регулярной работы по управлению воздушными потоками.

ДВА ВИДА МЕТОДОВ ИЗОЛЯЦИИ ВОЗДУШНЫХ ПОТОКОВ

Все применяемые на практике методы изоляции разнотемпературных воздушных потоков относятся к одному из двух типов: изоляция кондиционированного или отработанного воздуха. В обоих случаях обеспечивается значительная экономия энергии в сравнении с традиционными конфигурациями без изоляции воздушных потоков.

В чем необходимость выбора? Почему нельзя изолировать оба потока, возложив заботу о микроклимате на системы комфортного кондиционирования? Изоляция обоих потоков не дает существенных преимуществ за исключением тех случаев, когда ИТ-шкафы размещаются в агрессивной среде (например, в производственных цехах). Для предотвращения смешивания разнотемпературных потоков достаточно изолировать один из них.

На рис. 1 представлены разные типы изоляции потоков кондиционированного и отработанного воздуха. Какой из них лучше всего подходит для уже действующего ЦОДа? В поисках ответа на этот вопрос производители, консультанты и конечные пользователи вступают в многочисленные дискуссии. На практике выбор в значительной мере определяется ограничениями, имеющимися на конкретном объекте. И лишь в некоторых случаях возможны оба варианта.

Рис. 1. Типы методов изоляции разнотемпературных воздушных потоков

В последующих разделах процесс выбора решения описывается по шагам: определение характеристик объекта, обзор вариантов и выбор наиболее подходящего.

ОПРЕДЕЛЕНИЕ ХАРАКТЕРИСТИК ОБЪЕКТА

Сбор необходимой информации следует осуществлять заблаговременно. Прежде всего выявляются ограничения (например, увеличить высоту потолка в помещениях ЦОДа уже не удастся), и каждое необходимо оценивать с точки зрения влияния на развертывание систем изоляции, возможных затрат на его устранение и связанных с этим негативных последствий.

В сложных проектах расчет стоимости и оценка последствий устранения ограничений могут потребовать привлечения экспертов. Далее необходимо выяснить, можно ли минимизировать или скорректировать возможные последствия для достижения лучшего общего результата. Ограничения, имеющиеся на уже эксплуатируемых объектах, обусловлены различными причинами. Это могут быть особенности здания, нормативные требования или специфика ведения бизнеса. Ниже приведены некоторые примеры.

Расстановка ИТ-оборудования. Если в расстановке стоек с «горячими» и «холодными» коридорами отсутствуют единообразие и последовательность, выбор решений изоляции существенно ограничивается. Это столь же важное условие, как и ширина коридоров.

Высота помещения должна быть достаточной для монтажа подвесного потолка, образующего резервуар для отработанного воздуха, что особенно необходимо при использовании систем изоляции «горячего» коридора с воздуховодом либо индивидуальных стоечных воздуховодов.

Высота фальшпола ограничивает поток охлаждающего воздуха, которого может не хватить для охлаждения высокоплотных стоек. Этот недостаток нередко усугубляется неудачным устройством фальшпола или множеством проложенных под ним проводов, каналов и трубопроводов. В результате ограничиваются возможности изоляции «холодного» коридора.

Расположение колонн. Опорные колонны могут располагаться в ряду стоек либо в проходе между ними, затрудняя монтаж изолирующих панелей.

Кабели. Прокладка кабелей над стойками может мешать монтажу панелей системы изоляции «горячего» коридора, оснащенной воздуховодом, или индивидуальных воздуховодов от стоек. Если кабели пересекают проход между стойками только в одном месте, непреодолимых трудностей не возникает.

Тип распределения охлаждающего воздуха. В существующем ЦОДе очень трудно изменить тип распределения охлаждающего воздуха, однако уровень сложности устройства изоляции и объем необходимых вложений во многом зависят именно от того, как осуществляется это распределение. Например, в ЦОДе с направленными потоками отработанного воздуха и заполнением основной части помещения кондиционированным воздухом проще и дешевле организовать изоляцию отработанного; а при направленных потоках кондиционированного воздуха и заполнении основной части помещения отработанным разумнее изолировать кондиционированный (см. рис. 2).

Рис. 2. Схема потоков воздуха при различных типах распределения отработанного воздуха

Освещение. Монтаж системы изоляции воздушных потоков может ухудшить условия освещения в изолированном пространстве даже при использовании прозрачных панелей, особенно когда они загрязнятся через некоторое время.

Системы пожарной сигнализации и пожаротушения. Изоляция приводит к формированию мощных воздушных потоков между ИТ-оборудованием и кондиционерами. Дым рассеивается очень быстро, что затрудняет обнаружение возгораний. В свою очередь, действие агента тушения зависит от объема перемещаемых воздушных масс и от препятствий, создаваемых в числе прочего элементами систем изоляции.

Работа при аварийном отключении охлаждения. Изоляция оказывает определенное влияние на сохранение работоспособности полезной нагрузки при аварийном отключении охлаждения.

Условия труда вблизи ИТ-оборудования. Изоляция кондиционированного воздуха превращает основной объем помещения в огромный резервуар, заполненный горячим отработанным воздухом, что создает значительный дискомфорт для персонала и отрицательно влияет на функционирование оборудования, размещаемого возле стен (например, систем хранения).

Расстановка шкафов. Ниже представлены возможные конфигурации и соответствующие решения.

• Шкафы с оборудованием расставлены по схеме с «холодными»/«горячими» коридорами. Охлаждающий воздух распределяется через пространство под фальшполом. Расстояние от крыш шкафов до потолка меньше 508 мм. Подходящее решение — изоляция «холодного» коридора (см. ниже). Для охлаждения стоек высокой энергетической плотности может потребоваться установить активные плиты фальшпола или блоки распределения воздуха.
• Шкафы с оборудованием расставлены по схеме с «холодными»/«горячими» коридорами. Фальшпол отсутствует. Пространство за подвесным потолком используется в качестве резервуара отработанного воздуха, а расстояние от крыш шкафов до потолка превышает 508 мм. Подходящее решение — изоляция «горячего» коридора с воздуховодом до впускного канала кондиционера (см. ниже).
• Шкафы с оборудованием расставлены не по схеме с «холодными»/«горячими» коридорами. Пространство за подвесным потолком используется в качестве резервуара отработанного воздуха, а расстояние от крыш шкафов до потолка превышает 508 мм. Встречаются отдельные стойки высокой энергетической плотности. Подходящее решение — индивидуальные стоечные воздуховоды отработанного воздуха (см. ниже).
• Шкафы с оборудованием расставлены не по схеме с «холодными»/«горячими» коридорами. Расстояние от крыш шкафов до потолка меньше 508 мм. Встречаются отдельные стойки высокой энергетической плотности. Подходящее решение — изоляция стойки (см. ниже).

ОБЗОР ВАРИАНТОВ

Все рассматриваемые ниже решения позволяют повысить предельный уровень энергетической плотности, сократить потребление энергии системой охлаждения, устранить зоны локального перегрева и увеличить производительность кондиционеров, что наряду со сроком окупаемости должно учитываться при обосновании расходов на внедрение. Более популярные решения представлены первыми. Срок окупаемости рассчитан в сравнении с эквивалентными ЦОДами, где отсутствует изоляция воздушных потоков.

Различные методы изоляции потоков воздуха одного типа можно комбинировать, но ни в коем случае нельзя сочетать разные типы (во избежание снижения эффективности работы систем охлаждения).

Изоляция «холодного» коридора применяется при использовании кондиционеров уровня помещения с выпуском холодного воздуха вниз и при распределении охлаждающего потока под фальшполом. После изоляции «холодного» коридора остальное помещение превращается в огромный резервуар отработанного воздуха. Таким образом, смешение разнотемпературных воздушных потоков исключается.

Показания к изоляции «холодного» коридора: расстановка шкафов по схеме с «холодными»/«горячими» коридорами; распределение холодного воздуха через фальшпол и отвод отработанного через весь объем помещения; отсутствие отдельно стоящих ИТ-устройств у стен помещения; невозможность обеспечить высоконагруженные стойки необходимым объемом холодного воздуха, поступающего из-под фальшпола, а также потребность реализовать проект в сжатые сроки.

Противопоказания к изоляции «холодного» коридора: невозможность перестановки шкафов с оборудованием по схеме с «холодными»/«горячими» коридорами; использование кондиционеров уровня помещения с выпуском вниз без обустройства фальшпола (когда весь объем помещения задействуется как в распределении охлаждающего воздуха, так и в отводе отработанного); размещение отдельных ИТ-устройств у стен; недостаточное поступление охлаждающего воздуха через перфорированные плиты фальшпола из-за существующих препятствий (кабелей и трубопроводов); постоянное присутствие персонала в помещениях ЦОДа (некомфортные условия труда из-за высокой температуры).

Срок окупаемости может составлять несколько месяцев или лет — в зависимости от числа блоков охлаждения и активных плит фальшпола.

Изоляция «горячего» коридора с воздуховодом до впускного канала кондиционера применяется с кондиционерами уровня помещения независимо от наличия фальшпола. Изоляция «горячего» коридора превращает остальное помещение в огромный резервуар кондиционированного воздуха.

Показания к использованию данного решения: расстановка шкафов с оборудованием по схеме с «холодными»/«горячими» коридорами; накапливание отработанного воздуха в пространстве, образуемом подвесным потолком; отсутствие отдельно стоящих у стен помещения ИТ-устройств; постоянное присутствие персонала в помещениях ЦОДа (условия труда благоприятные вследствие невысокой температуры).

Противопоказания к использованию: невозможность перестановки шкафов с оборудованием по схеме с «холодными»/«горячими» коридорами; отсутствие подвесного потолка (необходимо прокладывать каналы для вывода отработанного воздуха) либо его недостаточная — для образования резервуара отработанного воздуха — высота.

Срок окупаемости может быть короче или дольше, чем при изоляции «холодного» коридора, и зависит от использования активных плит фальшпола.

Индивидуальные стоечные воздуховоды отработанного воздуха оптимальны для отдельных стоек высокой энергетической плотности с направлением потоков охлаждающего воздуха «фронт — тыл». Воздуховод монтируется к тыльной стороне шкафа и отводит отработанный воздух за подвесной потолок. Таким образом предотвращается смешение разнотемпературных воздушных потоков (см. рис. 3).

Рис. 3. Пример применения индивидуальных стоечных воздуховодов отработанного воздуха (Schneider Electric Vertical Exhaust Duct)

Показания к применению: наличие подвесного потолка, образующего резервуар отработанного воздуха; наличие отдельных стоек высокой энергетической плотности (более 6 кВт); разная длина рядов стоек; направление потоков охлаждающего воздуха «фронт — тыл»; расстановка шкафов с оборудованием не по схеме с «холодными»/«горячими» коридорами без возможности перестановки; постоянное присутствие персонала в помещениях ЦОДа (оснащение стоек воздуховодами позволяет избежать высоких температур в любой части помещения); расположение опорных колонн, препятствующее монтажу системы изоляции коридора.

Противопоказания к применению: использование шкафов, рассчитанных на иное направление потоков охлаждающего воздуха (от одной боковой стенки к другой); отсутствие подвесного потолка (необходимость прокладки протяженной сети воздуховодов для отработанного воздуха) либо его недостаточная высота для образования резервуара отработанного воздуха; использование шкафов различных производителей, не согласующихся по габаритам и присоединяемых к воздуховодам с помощью различных переходников.

Срок окупаемости примерно тот же, что и в случае изоляции «горячего» коридора с воздуховодом до впускного канала кондиционера (от нескольких месяцев до трех лет).

Изоляция «горячего» коридора с рядным охлаждением применяется с рядными кондиционерами, которые уже имеются или монтируются в процессе выполнения изоляции. В первом случае достаточно установить изоляционные панели поверх рядов стоек. Во втором необходимо установить рядные кондиционеры между шкафами с оборудованием либо над «горячими» коридорами. Данное решение позволяет создать условия для размещения стоек высокой энергетической плотности, но требует наличия «горячего» коридора в той или иной форме.

Показания к применению: наличие рядной системы охлаждения; расстановка шкафов с оборудованием по схеме с «холодными»/«горячими» коридорами; невозможность применения изоляции «холодного» коридора или изоляции «горячего» коридора с воздуховодом до впускного канала кондиционера (например, если проложенные поверху кабели мешают установке изоляционных панелей); развертывание шкафов высокой энергетической плотности в ЦОДе, на нее не рассчитанном; дефицит площадей (занимаемая площадь та же, что под двумя рядами шкафов низкой энергетической плотности); постоянное присутствие персонала в помещениях ЦОДа (вне изолированной зоны условия труда не ухудшаются); сжатые сроки (решения высокой заводской готовности позволяют минимизировать сроки развертывания).

Противопоказания к применению: невозможность перестановки шкафов с оборудованием по схеме с «холодными»/«горячими» коридорами; невозможность передвинуть стойки в рядах, чтобы установить между ними кондиционеры, отсутствие места для развертывания новой зоны.

Срок окупаемости — примерно от шести месяцев до двух лет при наличии рядной системы охлаждения и несколько лет, если такую систему требуется сначала приобрести и смонтировать.

Изоляция стойки весьма эффективна при наличии стоек очень высокой энергетической плотности: благодаря интеграции в них стоечных блоков охлаждения циркуляция воздуха осуществляется внутри герметизированного объема (рис. 4).

Рис. 4. Изоляция отдельной стойки и нескольких стоек

Показания к применению: наличие отдельных стоек высокой энергетической плотности либо потребность в шумоизоляции; необходимость полной изоляции в случае открытой автономной вычислительной среды, или в смешанных конфигурациях, или для предотвращения воздействия «горячего» коридора; размещение оборудования высокой энергетической плотности в коммутационном узле, не оснащенном системой охлаждения.

Противопоказания к применению: потребность в неоднократном выполнении монтажа/демонтажа стоек в уже сформированном ряду; необходимость охвата нескольких рядов стоек; несогласованность размеров стоек, блоков охлаждения и т. д.; слишком узкие проходы (после установки системы изоляции глубина шкафа увеличивается).

Срок окупаемости — примерно от шести месяцев до двух лет при наличии рядной системы охлаждения. Если эта система еще не установлена, то с учетом ее приобретения и монтажа срок возврата инвестиций оказывается самым длительным среди рассматриваемых вариантов.

Изоляция «холодного» коридора с рядными кондиционерами. Рядные кондиционеры размещаются между шкафами с оборудованием. Система изоляции «холодного» коридора должна охватывать единую зону.

Показания к применению: расстановка шкафов по схеме с «холодными»/«горячими» коридорами; охват системой изоляции «холодного» коридора всех без исключения стоек во избежание опасности выброса горячего воздуха перед передними панелями ИТ-оборудования; достигнутый предел по наращиванию мощности отвода тепла в существующей конфигурации с фальшполом; невозможность увеличить мощность охлаждения путем установки дополнительных периметральных кондиционеров; сжатые сроки (использование готовых решений позволяет минимизировать сроки развертывания).

Противопоказания к применению: невозможность перестановки шкафов с оборудованием по схеме с «холодными»/«горячими» коридорами; ограниченность бюджета (применение рядных блоков охлаждения связано с высокими капитальными затратами); невозможность передвинуть стойки в рядах для установки между ними кондиционеров; перегруженность помещения стойками с ИТ-оборудованием (недостаток места для систем изоляции).

Срок окупаемости — примерно от шести месяцев до двух лет при наличии рядной системы охлаждения и несколько лет, если она еще не приобретена и не установлена.

Таблица 1. Сравнительные достоинства и недостатки шести методов изоляции разнотемпературных воздушных потоков

Ясное представление об ограничениях объекта в сопоставлении с особенностями различных методов изоляции значительно облегчает выбор решения. Сравнительные характеристики рассматриваемых методов изоляции представлены в табл. 1. Обратите внимание на то, что во всех случаях изоляция коридора может требовать установки дополнительных светильников, компонентов систем пожарной сигнализации и пожаротушения (по требованию компетентных органов).

Таблица 2. Выбор типа изоляции разнотемпературных воздушных потоков при использовании наиболее популярных способов распределения охлаждающего воздуха

Наиболее важны физические ограничения. Важнейшие из них — способ распределения охлаждающего воздуха и расположение кондиционеров. В табл. 2 даются рекомендации по устройству изоляции воздушных потоков для двух наиболее популярных способов распределения охлаждающего воздуха, а в табл. 3 — для некоторых других.

Таблица 3. Выбор типа изоляции разнотемпературных воздушных потоков при использовании менее популярных способов распределения охлаждающего воздуха

ВЫБОР ОБОРУДОВАНИЯ ДЛЯ СИСТЕМЫ ИЗОЛЯЦИИ ВОЗДУШНЫХ ПОТОКОВ

Отметим несколько часто возникающих сложностей:

• необходимость доработки с учетом разнообразия используемых ИТ-шкафов;
• установка дополнительных светильников после монтажа систем изоляции коридоров или индивидуальных стоечных воздуховодов;
• подключение компонентов систем пожарной сигнализации и пожаротушения внутри изолированных областей.

При выборе следует отдавать предпочтение оборудованию, рассчитанному на учет перечисленных ограничений, поскольку от этого может зависеть успех проекта. Приведем некоторые примеры.

Гибкость. Возможность подстройки к ширине коридора, высоте и глубине шкафов. Применимость для изоляции «горячего» или «холодного» коридора и даже непарного ряда стоек. Удобный доступ для проведения любых работ благодаря легкости демонтажа отдельных панелей.

Освещение. Прозрачные потолочные панели пропускают до 90% света. Кроме того, может предусматриваться встраивание высокоэффективного светодиодного освещения с датчиками движения.

Противопожарные меры. Система извещения. Функция автоматического сброса потолочных панелей по сигналу датчиков температуры или задымления — для устранения препятствий к действию системы пожаротушения (см. рис. 5). В некоторых решениях предусмотрены аварийное открывание дверей или сброс потолочных панелей.

Рис. 5. Пример сопряжения систем пожаротушения и изоляции «горячего» или «холодного» коридора

УПРАВЛЕНИЕ ОРГАНИЗАЦИЕЙ ВОЗДУШНЫХ ПОТОКОВ

С завершением монтажа изолированного коридора все только начинается. Для достижения и сохранения высоких эксплуатационных показателей необходимо постоянно контролировать температуру и воздушные потоки.

Поддержание воздушного баланса в изолированном «холодном» коридоре, который служит единственным источником охлаждающего воздуха для ИТ-оборудования, — непростая задача. Для этого должно обеспечиваться управление воздушными потоками путем регулирования избыточного давления в изолированном объеме. К тому же нужен постоянный мониторинг ИТ-оборудования, размещенного вне изолированной области, на предмет достаточности охлаждения.

При проведении работ в «горячем» коридоре с воздуховодом до впускного канала кондиционера можно временно открыть герметичные дверцы, чтобы впустить более холодный воздух. И даже если этого не делать, нормы защиты труда не нарушаются, поскольку персонал не постоянно находится в условиях высокой температуры, выполняя большую часть работ с лицевой стороны ИТ-стоек.

ЗАКЛЮЧЕНИЕ

Изоляция разнотемпературных потоков в центре обработки данных создает ряд важных преимуществ. Возможны два подхода: изоляция кондиционированного либо отработанного воздуха. Выбор делается с учетом ограничений, имеющихся на конкретном объекте, и предлагаемого ассортимента решений.

Для ЦОДов с системой охлаждения на базе периметральных кондиционеров лучше всего подходит изоляция «холодного» или «горячего» коридора с воздуховодом до впускного канала кондиционера. Первый вариант применяется при наличии фальшпола, пространство под которым служит резервуаром кондиционированного воздуха, а второй — в случае обустройства подвесного потолка, образующего резервуар для отработанного воздуха. В ЦОДах с рядными системами охлаждения рекомендуется выполнять изоляцию «горячего» коридора и устанавливать рядные кондиционеры. В зависимости от особенностей конкретного объекта могут оказаться оптимальными иные решения.

Пол Лин, старший научный сотрудник Научно-исследовательского центра по центрам обработки данных Schneider Electric,

Виктор Авелар, старший научный сотрудник Научно-исследовательского центра по центрам обработки данных Schneider Electric,

Джон Ниманн, директор Schneider Electric по глобальным продуктам