Работа рядной системы охлаждения в ЦОДе

Максимальное приближение теплообменников к источникам тепла, рядная архитектура, охлаждение на уровне ряда стоек — вот лишь некоторые из большого набора понятий, связанных с рядным охлаждением в центрах обработки данных. В настоящей статье используются термины «рядный кондиционер» и «зона» (см. определение во врезке «Что называют «зоной» в ЦОДе?»).

Хотя технология рядного охлаждения применяется уже около 10 лет, многие все еще не до конца понимают особенности ее использования. В этой связи можно выделить три распространенных заблуждения о функционировании и способах применения рядного охлаждения.

Заблуждение 1. Рядные кондиционеры нуждаются в приспособлениях для создания направленных воздушных потоков. Распространено мнение, будто рядные кондиционеры необходимо оснащать отражателями для направления кондиционированного воздуха на передние панели оборудования в стойках. На самом деле такие приспособления применяются лишь некоторыми разработчиками, операторами и производителями.

Заблуждение 2. Рядные кондиционеры необходимо устанавливать в каждом ряду стоек. Интуитивные сомнения вызывает способность кондиционеров охлаждать оборудование не только в своем, но и в противоположном ряду зоны.

Заблуждение 3. Действие рядного кондиционера ограничено пределами конкретной зоны, а наращивание мощности охлаждения в одной из зон не помогает отводу тепла из других.

Зал со стандартным стоечным оборудованием и системой внутрирядного кондиционирования InRow APC by Schneider Electric

Приводимые в настоящей статье научные доказательства и описываемые в ней базовые принципы организации отвода отработанного воздуха позволяют показать ошибочность этих мнений. Кроме того, в статье излагаются три ключевых принципа проектирования рядных систем охлаждения, использование которых позволяет максимально эффективно отводить отработанный воздух.

ПРИНЦИП СБОРА ОТРАБОТАННОГО ВОЗДУХА

Основная задача любой системы охлаждения центра обработки данных — отвод тепла, выделяемого ИТ-оборудованием. Мера эффективности сбора отработанного воздуха (или подвода кондиционированного к воздухозаборникам ИТ-устройств), называемая коэффициентом изоляции, рассчитывается исходя из схемы воздушных потоков. Обычно расчет выполняется постоечно. Диапазон значений простирается от 0 до 100%. Более высокие значения соответствуют лучшей работе системы охлаждения и лучшей масштабируемости ее архитектуры.

Рис. 1. Коэффициент изоляции отработанного воздуха

Коэффициент изоляции отработанного воздуха определяется как доля нагретого ИТ-оборудованием воздуха, поступающая напрямую в теплообменники рядных кондиционеров, которые расположены в той же зоне. Это базовая метрика для количественной оценки эффективности рядного охлаждения. На рис. 1 показано, что к теплообменнику кондиционера напрямую поступает 78% воздуха, использованного для охлаждения ИТ-оборудования. На рис. 2 представлен результат аэродинамического моделирования распределения температур в ЦОДе, оснащенном рядными кондиционерами.

Рис. 2. Результаты численного аэродинамического моделирования процесса отбора отработанного воздуха (центральный проход служит «горячим» коридором; голубым цветом отмечены рядные кондиционеры)

Полезное применение коэффициента изоляции отработанного воздуха — оптимизация размещения стоек и кондиционеров в пределах зоны. Цель состоит в том, чтобы весь отработанный воздух направлялся на теплообменники охлаждающих устройств, не повышая температуру в помещении. В этом случае постоечные значения коэффициента изоляции показывают, насколько полно изолируются воздушные потоки, отводимые от каждой стойки. На основании этих значений можно вносить изменения в проект, чтобы получить в итоге приемлемое решение. В общем случае построение зоны считается эффективным при значении коэффициента изоляции отработанного воздуха не ниже 90%. Достичь этого уровня и превзойти его помогают следующие приемы проектирования.

• Использование панелей-заглушек и уплотнительных щеток. Отработанный воздух может просачиваться из «горячего» коридора через незанятые U-позиции, а также через кабельные вводы в крыше и днище шкафа. Проблема эффективно решается с помощью панелей-заглушек и уплотнительных щеток.
• Оптимизация размещения рядных кондиционеров. Установка кондиционеров между стойками с ИТ-оборудованием и, в общем случае, не в конце ряда позволяет максимально эффективно отводить отработанный воздух. При равномерном распределении нагрузки по стойкам кондиционеры расставляют вдоль всего горячего коридора, при неравномерном — вблизи высоконагруженных стоек.
• Использование блоков бокового обдува. Многие модели коммутаторов и маршрутизаторов рассчитаны на поперечное направление потока охлаждающего воздуха. В общем случае это несовместимо с организацией воздушных потоков от фронтальной стенки к тыльной, принятой для ИТ-оборудования. При использовании блоков бокового обдува стойки с коммутаторами и маршрутизаторами можно разместить в общем ряду и в то же время организовать надлежащие воздушные потоки, чем обеспечивается более экономное использование полезной площади.
• Отказ от блоков вентиляторов. Установка вентиляторных кассет или вентиляторов на крышу шкафа может ухудшить ситуацию, поскольку их работа несовместима с организацией воздушных потоков от фронтальной стенки шкафа к тыльной.
• Использование шкафов увеличенной глубины. Последние 10 лет наблюдается тенденция роста глубины корпусов ИТ-оборудования. В неглубоких (900 мм) шкафах выход отработанного воздуха может быть затруднен. В более глубоких остается больше места для кабелей, так что они меньше препятствуют движению воздуха.
• Использование средств изоляции воздушных потоков. Чем дальше кондиционеры располагаются от стоек с ИТ-оборудованием, тем труднее предотвратить подмес отработанного воздуха к холодному. Изоляция «горячего» коридора с рядными кондиционерами повышает эффективность системы охлаждения, особенно при уровнях энергетической плотности ниже 3 кВт на стойку.

Три упоминавшихся выше заблуждения являются демонстрацией ошибочного представления о месте рядных кондиционеров в схеме сбора отработанного воздуха. В следующем разделе будут описаны три ключевых принципа их грамотного проектирования.

ПРИНЦИПЫ ПРОЕКТИРОВАНИЯ РЯДНЫХ КОНДИЦИОНЕРОВ

Рядные кондиционеры собирают и нейтрализуют отработанный воздух, прежде чем он успеет смешаться с атмосферой помещения или просочиться к передним панелям ИТ-оборудования. Отвод всего отработанного воздуха обеспечивает высокую энергоэффективность и исключает возникновение зон локального перегрева. Можно выделить три ключевых принципа проектирования рядных кондиционеров, которые помогают собирать и остужать нагретый воздух:

• направление потоков воздуха от задней панели к передней,
• согласованность габаритов;
• управляемая холодопроизводительность.

Рис. 3. Рядный кондиционер с вертикальной линейкой вентиляторов и с потоком воздуха от задней панели к передней

Направление потоков воздуха от задней панели к передней. Рядные кондиционеры проектируются таким образом, чтобы забирать воздух с тыльной стороны и выбрасывать через переднюю панель. Небольшие вентиляторы, распределенные по вертикали, вытягивают воздух из «горячего» коридора равномерно по высоте (см. рис. 3). Аэродинамические расчеты и измерения показывают, что коэффициент изоляции отработанного воздуха обычно выше для стоек, расположенных ближе к кондиционеру, и снижается с расстоянием. Такое соотношение обусловливает второй принцип проектирования.

Согласованность габаритов. Рядные кондиционеры согласуются по габаритам со шкафами для ИТ-оборудования (имеют такую же или половинную ширину), чтобы их можно было расставлять между шкафами в пределах зоны. Максимальное расстояние между воздухозаборником кондиционера и выпускными отверстиями ИТ-оборудования обычно не превышает 3 м. Преимущество такой расстановки — повышение коэффициента изоляции отработанного воздуха для зоны в целом. Если даже выброшенный из стойки воздух оказывается «за пределами досягаемости» ближайшего кондиционера в своем ряду, то большая его часть достается кондиционеру из противоположного ряда.

Если весь отработанный воздух в зоне отводится расположенными в ней же кондиционерами (то есть коэффициент изоляции отработанного воздуха составляет 100%), то зоны локального перегрева перед воздухозаборниками ИТ-устройств исключаются. На рис. 4 представлен пример расстановки кондиционеров в ряду стоек. Их число и расположение определяются исходя из энергетической плотности стоек и длины коридора.

Рис. 4. Рядные кондиционеры, распределенные по ряду шкафов

Управляемая холодопроизводительность. Рядные кондиционеры оснащаются вентиляторами с электронной коммутацией, что позволяет управлять скоростью вращения, а значит, и интенсивностью воздушного потока, и холодопроизводительностью.

В традиционных системах уровня помещения обычно предусматривается управление только объемом прокачки воздуха для поддержания давления под фальшполом, что никак не связано с величиной ИТ-нагрузки. Данный же принцип проектирования позволяет регулировать холодопроизводительность в соответствии с тепловой нагрузкой. Последняя определяется посредством измерения температуры на воздухозаборниках устройств, расположенных в близлежащих стойках или по всему помещению.

ЗАБЛУЖДЕНИЕ 1. РЯДНЫЕ КОНДИЦИОНЕРЫ НУЖДАЮТСЯ В ПРИСПОСОБЛЕНИЯХ ДЛЯ СОЗДАНИЯ НАПРАВЛЕННЫХ ВОЗДУШНЫХ ПОТОКОВ

Человеку, малосведущему в вопросах отвода отработанного воздуха, легко прийти к заключению о необходимости отражателей, направляющих поток холодного воздуха к ИТ-оборудованию. Однако описанные выше принципы проектирования это опровергают. Если 100% отработанного воздуха отводится и охлаждается, прежде чем он успеет смешаться с окружающей атмосферой, то весь остальной объем помещения превращается в резервуар холодного воздуха. Поэтому не имеет значения, каким путем он поступает от рядного кондиционера. Главное, чтобы отработанный воздух (от ИТ-оборудования) полностью собирался и нейтрализовывался.

Рис. 5. Результат численного аэродинамического моделирования потока воздуха через направляющие отражатели (показаны векторы скорости потока)

Отражатели применяются некоторыми производителями для направления холодного потока на ближайшие стойки, что говорит о непонимании принципа отвода отработанного воздуха. Использование таких дополнительных приспособлений ведет не только к росту капитальных расходов и увеличению ширины «холодных» коридоров, но и создает сложности с организацией воздушных потоков. Поток воздуха на выходе от отражателей имеет более высокую скорость, чем поступающий воздушный поток от близлежащей стойки, и перпендикулярен ему (см. рис. 5). В результате перед стойками возникают зоны низкого давления, нарушающие расчетные потоки. (Это явление известно как принцип Бернулли — тот самый, благодаря которому крылья поднимают самолет в воздух.) В отличие от мягкого и довольно ровного «высасывания» отработанного воздуха в «горячий» коридор, эти мощные воздушные струи блокируют воздухозаборники и приводят к значительной неравномерности условий от стойки к стойке. (Воздушная струя характеризуется местными перепадами скорости и давления.) Обратите внимание: применение поворотных отражателей приводит к значительному падению давления, что требует расхода энергии на работу вентиляторов.

ЗАБЛУЖДЕНИЕ 2. РЯДНЫЕ КОНДИЦИОНЕРЫ НЕОБХОДИМО УСТАНАВЛИВАТЬ В КАЖДОМ РЯДУ СТОЕК

Многие уверены, что рядные блоки охлаждают лишь стойки, находящиеся в одном с ними ряду. Однако на основании описанных принципов проектирования можно сделать вывод о том, что при высоком коэффициенте изоляции отработанного воздуха не имеет значения, находятся кондиционеры на одной стороне прохода или по обе стороны.

Как показывают результаты численного аэродинамического моделирования и примеры из практики, кондиционеры, расположенные в одном из рядов зоны, достаточно эффективно обеспечивают охлаждение оборудования в обоих (на рис. 6 рядом с каждой стойкой указаны значения коэффициента изоляции отработанного воздуха). Обратите внимание: у передних панелей стоек, где расположены воздухозаборники ИТ-оборудования, цвет голубой, что соответствует холодному воздуху. Красные же оттенки сосредоточены в «горячем» коридоре.

Рис. 6. Результат численного аэродинамического моделирования зоны с размещением всех кондиционеров в одном ряду

ЗАБЛУЖДЕНИЕ 3. ДЕЙСТВИЕ РЯДНОГО КОНДИЦИОНЕРА ОГРАНИЧЕНО ПРЕДЕЛАМИ КОНКРЕТНОЙ ЗОНЫ

Ошибочно считается, что:

• рядные кондиционеры предназначаются исключительно для локального охлаждения выделенных зон;
• рядные кондиционеры непригодны для охлаждения стоек в других зонах;
• рядные кондиционеры не подходят для охлаждения крупных помещений;
• рядные кондиционеры не помогут при охлаждении ленточных накопителей, располагающихся по периметру помещения;
• в случае рядного охлаждения резервирование по схеме N+1 означает наличие дополнительного кондиционера в каждой зоне.

Важно отметить, что коэффициент изоляции отработанного воздуха  определяется как доля этого воздуха, нейтрализованная кондиционерами, которые расположены в одной зоне со стойками. Иначе говоря, если 100% отработанного воздуха стойки попадет в рядный кондиционер, установленный за пределами ее зоны, значение показателя составит 0%.

Таким образом, самый предсказуемый способ охлаждения отдельно стоящего вспомогательного ИТ-оборудования, такого как массив хранения, — размещение рядом с ним кондиционера. Это позволит получить высокий коэффициент изоляции отработанного воздуха. В сущности, речь идет о создании мини-зоны с коэффициентом изоляции отработанного воздуха до 100%. Это сходно с размещением перфорированной плитки непосредственно перед передней панелью отдельно стоящего устройства в рамках архитектуры с фальшполом.

Главное отличие состоит в том, что перфорированная плитка подает холодный воздух, который в этом случае ограничен долей потока (и охлаждающей способности).

А если в зоне, где находится отдельно стоящее ИТ-оборудование нет выделенного рядного кондиционера? Как будет осуществляться охлаждение при использовании рядной архитектуры? Ответ на этот вопрос связан с проектными принципами «согласованности габаритов» и «управляемой холодопроизводительности». Первый предусматривает расстановку в ЦОДе кондиционеров таким образом, чтобы они располагались максимально близко ко всем источникам тепла. А управление холодопроизводительностью позволяет увеличивать подачу кондиционированного воздуха в «холодный» коридор, когда температура в помещении повышается.

Изоляция «горячего» коридора при использовании рядных кондиционеров способствует увеличению коэффициента изоляции отработанного воздуха, особенно если энергетическая плотность составляет менее 3 кВт на стойку. Окажет ли такая изоляция отрицательное влияние на охлаждение отдельно стоящего ИТ-оборудования? Самый простой способ проиллюстрировать это — сравнить две идентичные схемы ЦОДа с 65 стойками в каждом, ИТ-нагрузкой 235 кВт и двумя отдельно стоящими ИТ-устройствами. При этом одна схема предусматривает изоляцию «горячего» коридора, а другая — нет.

Рис. 7. Результат численного аэродинамического моделирования ЦОДа с рядными кондиционерами без изоляции воздушных потоков

На рис. 7 представлены результаты аэродинамических расчетов с 14 кондиционерами, равномерно распределенными по ЦОДу, 20 широкими стойками с тепловыделением по 5 кВт и 43 узкими — по 3 кВТ. В верхнем правом углу расположены две единицы отдельно стоящего ИТ-оборудования. Для каждой из стоек указан коэффициент изоляции отработанного воздуха (в процентах). Средняя температура на воздухозаборниках отдельно стоящих устройств мощностью 5 и 1 кВт составляет 22°C. На рис. 8 представлены результаты аэродинамических расчетов для того же ЦОДа, но с изоляцией «горячего» коридора. Для большинства стоек коэффициент изоляции отработанного воздуха составляет 100%. Средняя температура на воздухозаборниках обоих устройств — 21°C.

Рис. 8. Результат численного аэродинамического моделирования ЦОДа с рядными кондиционерами с изоляцией воздушных потоков

Приведенные иллюстрации позволяют наглядно продемонстрировать влияние рядных кондиционеров на коэффициент изоляции отработанного воздуха и на охлаждение отдельно стоящих устройств. Благодаря возможности регулирования холодопроизводительности рядные кондиционеры способны в избытке подавать кондиционированный воздух в «холодный» коридор. При достижении равновесного состояния температурные показатели на выходе кондиционера и на воздухозаборниках ИТ-оборудования становятся одинаковыми. Если вспомогательное устройство будет установлено вне зоны (то есть как отдельно стоящее устройство), сначала из-за смешения воздушных потоков повысится температура в помещении, но затем ближайшие кондиционеры начнут увеличивать производство холода, чтобы нейтрализовать горячие выбросы. Это увеличение холодопроизводительности достигается повышением расхода кондиционированного воздуха (ускорением вращения вентиляторов) и/или понижением его температуры (увеличением прокачки чиллерной воды через кондиционер). После достижения состояния равновесия все показатели остаются на постоянном уровне.

Этот процесс «подхвата новой вспомогательной нагрузки» остается тем же и при изоляции коридора. В любом случае следует ожидать, что, по сравнению с установленным в стойки оборудованием в границах зоны, вспомогательное устройство будет работать при более высоких температурах, поскольку нет прямого взаимодействия с рядным кондиционером в пределах зоны. Чем дальше устройство располагается от кондиционеров, тем выше температура на его воздухозаборниках. Является ли повышенная температура вспомогательных устройств поводом для беспокойства? Нередко ИТ-оборудование способно выдержать рекомендованный ASHRAE максимум: 27°C. Если это неприемлемо, достаточно переместить рядный кондиционер ближе к отдельно стоящему устройству.

ЗАКЛЮЧЕНИЕ

Рядная архитектура охлаждения была разработана в расчете на отбор нагретого воздуха в пределах зоны. Чем выше показатели изоляции отработанного воздуха, тем меньше его подмешивается в кондиционированный. Таким образом устраняется неравномерность распределения температуры от стойки к стойке (исключаются зоны локального перегрева). Имеет значение не то, в каком направлении перемещается кондиционированный воздух, а то, откуда поступает нагретый. Рядные кондиционеры способны охлаждать и вспомогательное оборудование, и стойки за пределами зон, но использовать коэффициент изоляции отработанного воздуха в таких случаях нет смысла. Вместо этого рекомендуется установить теплообменники ближе к источникам тепла. Понимание описанных принципов помогает избавиться от перечисленных выше заблуждений и способствует эффективному применению рядного охлаждения.

Пол Лин, старший научный сотрудник научно-исследовательского центра Data Center Science Center компании Schneider Electric

Виктор Авелар, директор научно-исследовательского центра Data Center Science Center компании Schneider Electric.