Вопросы рациональной организации систем жизнеобеспечения ЦОД и серверных приобретают все большую экономическую важность, в особенности это касается систем кондиционирования. Причина проста и заключается в необходимости поддержания благоприятного режима функционирования все более совершенных, мощных, энергоемких систем и решений — сетевых, серверных, телекоммуникационных, которые приходят на смену морально устаревшему оборудованию.

Рост вычислительной мощности приводит к росту энергопотребления и, соответственно, к образованию дополнительного тепла, которое требуется своевременно и правильно отводить во избежание выхода из строя перегревшегося оборудования. На международном рынке предлагается множество решений, применение которых позволит снизить остроту данной проблемы, причем практически все они доступны в России. Каждое из них имеет свои достоинства, ограничения и особенности использования, которые могут стать доводом как «за», так и «против» их выбора заказчиком в зависимости от его условий и требований. Для использования этих решений в условиях уже действующего ЦОД или серверной необходимо предусмотреть определенные единовременные инвестиции на начальном этапе и дополнительные эксплуатационные затраты впоследствии. Поэтому директор по информационным технологиям заинтересован как в обеспечения соответствия выбранных решений и устройств технологическим и габаритным параметрам помещения, так и в обоснованных расчетах будущих статей расходов бюджета на ИТ.

Очевидно, что решение этой задачи невозможно без учета всех факторов и нюансов, присущих конкретному ЦОД, а также без понимания стратегических планов развития бизнеса. Поэтому в данной статье не будет рекомендаций «вообще» — это было бы бесполезной тратой времени. Цель — познакомить читателей с наиболее важными моментами и принципами организации систем кондиционирования. Эти знания станут отправной точкой для повышения экономической эффективности систем жизнеобеспечения с учетом ситуации, сложившейся у заказчика.

КОНДИЦИОНИРОВАНИЕ В ТИПОВЫХ СЕРВЕРНЫХ С НИЗКОЙ НАГРУЗКОЙ СТОЕК (ДО 8 КВТ)

Для организаций, чья деятельность не требует постоянного и активного наращивания вычислительной мощности, характерно использование в серверных комнатах и ЦОД стандартных телекоммуникационных стоек, где размещены стандартные же серверы высотой 1U и телекоммуникационное оборудование. При такой конфигурации энергопотребление и тепловыделение находится в пределах 8 кВт на стойку. Циркуляция воздуха обеспечивается по принципу «спереди — назад» за счет встроенных в оборудование вентиляторов, которые забирают воздух с фронтальной части шкафа и, тем самым, вытесняют находящийся внутри устройства теплый воздух в тыльной его части. За обеспечение притока свежего воздуха в помещение «отвечает» общеобменная вентиляция.

Как можно предположить, в этом случае следует обеспечить подачу необходимого количества охлаждённого воздуха на фронтальную панель, что достигается организацией «холодных» и «горячих» коридоров. В результате создаются естественные перепады давления и устраняется возможность поступления теплого воздуха с тыльной стороны одного шкафа на фронтальную дверь другого. К сожалению, в серверных комнатах и ЦОД, построенных четыре-пять лет назад и раньше, это условие редко выполняется, и по мере увеличения количества оборудования (в том числе уже отслужившего свой срок) эффективность работы общей системы кондиционирования ЦОД снижается. Именно поэтому имеет смысл провести аудит помещения и, по возможности, переместить оборудование и/или стойки таким образом, чтобы между параллельными рядами стоек соблюдалась закономерность «лицо — к лицу» «спина — к спине» (это и будут «горячие» и «холодные» коридоры). В таком случае циркуляцию воздуха в помещении можно будет оптимизировать, расположив кондиционеры напротив «горячих» коридоров. Подобный «климатический дизайн» ЦОД в сочетании с традиционными системами нижнего выдува является наиболее предпочтительным для любого помещения данного класса. В идеале между стойками и потолком должен быть изначально предусмотрен достаточно большой зазор, который, во-первых, не препятствовал бы оттоку теплого воздуха, а во-вторых, при необходимости обеспечил бы возможность размещения потолочных доводчиков тепла (пример такого решения от Emerson приведен в «Обзоре решений»).

Прежде чем обращаться к специализированным системам для отвода избыточного тепла имеет смысл оценить возможность применения одного из следующих способов, помимо описанного, низкозатратной оптимизации естественной системы охлаждения
оборудования:

  • замена стеклянной или цельнометаллической двери в аппаратной стойке на перфорированную. Это обеспечивает хорошую пропускную способность и повышает теплоотвод от оборудования, размещенного внутри шкафа;
  • при раздаче охлажденного воздуха под фальшполом стойку с оборудованием следует установить не ближе, чем в полутора метрах от внутреннего блока системы кондиционирования. В противном случае эффект инжекции (обратной тяги), возникающий в этой зоне, не способствует охлаждению
    оборудования;
  • во избежание циркуляции воздуха между разными уровнями стойки имеет смысл установить заглушки в зазорах между фронтальными панелями устройств. То же самое стоит сделать в местах ввода кабелей в стойку.

Особого внимания заслуживают вопросы организации кондиционирования ЦОД при наличии или отсутствии фальшпола.

В первом случае — при наличии фальшпола — целесообразно использовать подпольное пространство для организации системы кондиционирования с нижним выдувом. При этом перед лицевой стороной аппаратных стоек надо установить перфорированные решётки, чего категорически не следует делать в других зонах. Только при соблюдении этого правила (если конечно подпольное пространство не заполнено кабелями или иными предметами) холод будет естественным образом поступать в зону забора воздуха оборудованием. Применение системы с нижним выдувом способно обеспечить регулирование влажности в пределах нескольких процентов и поддержку оптимальной температуры. Во втором случае — при отсутствии фальшпола — целесообразно оснастить помещение вентиляционными коробами для «раздачи» охлаждённого воздуха непосредственно на фронтальные двери стоек. Таким образом можно существенно повысить эффективность работы системы кондиционирования.

Охлаждение оборудования по принципу «снизу — вверх» имеет свои особенности, в частности, это касается его размещения. При наличии фальшпола либо устанавливают устройства на перфорированные плиты, либо делают вырез в плите для подачи кабелей и холодного воздуха. Если же фальшпола в помещении нет, для охлаждения конкретной стойки в определённом месте серверной возводится подиум, и выделенная система нагнетает под него холодный воздух. Подобной практики обычно придерживаются в уже существующих и работающих серверных. К тому же, установка двух отдельных систем экономически менее эффективна, чем общая для всех типов стоек. Что касается проектируемых ЦОД, то в случае предполагаемой установки в них оборудования, охлаждаемого «снизу-вверх», необходимо не только предусмотреть монтаж фальшпола, но и обеспечить достаточное расстояние между стойками и потолком, чтобы нагретый воздух мог выходить из потолочных вентиляционных блоков стоек наверх.

КОНДИЦИОНИРОВАНИЕ ПРИ ИСПОЛЬЗОВАНИИ СТОЕК С РАЗНЫМ ТИПОМ НАГРУЗКИ

Быстро растущие потребности бизнеса нуждаются в соответствующем информационном обеспечении. Эта задача решается путем наращивания мощности вычислительных ресурсов посредством замены традиционных серверов на модульные системы, либо за счет установки последних в ранее пустовавшие зоны ЦОД. Второй вариант (установка оборудования высокой плотности в специально выделенных для этого сегментах ЦОД) наиболее рационален и потому наиболее предпочтителен. Однако на практике такой подход встречается крайне редко. В большинстве своем конфигурация серверных помещений напоминает «зоопарк», а собранное в нем оборудование имеет совершенно разный форм-фактор и предъявляет слишком разные требования к энергопотреблению и принципам охлаждения. Достаточно сказать, что в пределах одного помещения могут находиться зоны, где тепловыделение на типовое стойко-место варьируется от 1 до 36 кВт, а по соседству с оборудованием, охлаждаемым «спереди-назад», располагаться ряд стоек с теплоотводом по принципу «снизу-вверх».

Очевидно, что в таком случае физически невозможно «сдуть» избыток тепла (примерно 12-15 кВт со стойки) путем простого нагнетания воздуха под фальшпол. Ограничения по теплопроводности и скорости движения воздуха не позволяют использовать экономичное решение для задачи подобного уровня. При такой энерговооружённости обеспечение благоприятных для оборудования климатических условий достигается благодаря использованию локальных систем охлаждения. Устройства, осуществляющие дополнительное локальное кондиционирование, могут располагаться либо над аппаратными стойками (при наличии достаточного пространства между верхней крышкой стойки и потолком), либо непосредственно на стойках (сверху, сбоку и/или сзади). В ряде случаев в роли систем локального охлаждения могут выступать решения адаптивной инженерной инфраструктуры ЦОД.

Среди наиболее известных производителей, чьи решения представлены в данном сегменте рынка, можно выделить компании APC, Rittal, Emerson и Knuеrr. Каждая производит свою линейку продуктов, для которых характерен ряд общих черт, но имеются и определенные отличия. Помимо очевидной разницы в подходах производителей к организации теплообмена, системы данного класса отличаются используемыми теплоносителями и способом подачи более холодного воздуха на стойку (см. «Обзор решений»).

РЕШЕНИЯ АДАПТИВНОЙ ИНЖЕНЕРНОЙ ИНФРАСТРУКТУРЫ ЦОД

В ряде случаев возникает необходимость обеспечить теплоотвод от стоек с энергонагруженностью в пределах 30 кВт, что можно сделать, лишь установив рядом с аппаратным шкафом охлаждающую систему такой же высоты — альтернативы этому подходу пока нет. Как правило, решения, предлагаемые большинством лидеров отрасли в данном классе климатического оборудования, представляют собой системы, которые внешне повторяют размеры стандартной аппаратной стойки. Их установка требует двукратного числа стандартных стойко-мест. К тому же возрастает риск увеличения стоимости обслуживания климатических систем — она может оказаться сравнимой с затратами на обслуживание основного оборудования или даже превышать ее. Поэтому, прежде чем принять решение о концентрации оборудования высокой плотности в одном месте, необходимо просчитать все «за» и «против» такого шага.

В качестве иллюстрации приведем сопоставление затрат на энергообеспечение, которые могут потребоваться при обслуживании двух разных вариантов стоек — с энергопотреблением 6 и 10 кВт. В первом достаточно систем с нижним выдувом, во втором понадобится создать дополнительные условия для локального отвода тепла (теоретически можно «сдуть» 10 кВт и обычными методами, но официальные данные производителей климатического оборудования такую возможность исключают). Согласно параметрам расчетов, заложенным в стандарте TIA-942, можно принять, что в первом случае стоимость создания климатических систем составляет 6 тыс. долларов на квадратный метр площади ЦОД, тогда как при обслуживании стоек на 10 кВт этот параметр достигает уже 18 тыс. долларов. Общие затраты на создание ЦОД будут, соответственно, равны 15 и 27 тыс. долларов/м2. Разница говорит сама за себя. Если же энергопотребление стоек возрастет, то и затраты продолжат свой рост. Как видим, надежда на использование модульных систем в целях энергосбережения оказывается во многом иллюзорной.

Как же поступить? Отказаться от решений высокой плотности? Нет, конечно! Напротив, даже если по каким-либо причинам в новом ЦОД устанавливать модульные системы не планируется, проектировать климатические системы надо с расчетом на такую возможность. В противном случае, при возникновении соответствующей потребности, придется выполнять дорогостоящие дополнительные строительно-монтажные работы «по живому». Куда дешевле заблаговременно оценить предполагаемую долю и тип высокоплотных стоек относительно их общего числа и определить в ЦОД зону, где эти стойки вероятнее всего будут установлены.

Что касается примера, описанного в начале раздела, то с высокой степенью вероятности можно предположить, что наиболее оптимальным будет признан компромиссный вариант: число модульных шасси, установленных в одной стойке, не должно превышать трех (оставшееся «вакантным» место может быть отведено под стандартные стоечные серверы), а локальный климат-контроль будет обеспечиваться за счет установки соответствующих модулей, например от Rittal. При таком решении достигается значительная экономия стойко-мест, ведь ширина модуля Rittal ровно вполовину меньше аналогичного параметра стандартного аппаратного шкафа (при такой же высоте и глубине). Учитывая соотношение основного и обеспечивающего оборудования, можно говорить и об оптимальном распределении энергопотребления. Что касается возможностей теплоотвода, то они будут достаточными для создания благоприятного климата в данной зоне.

РЕКОМЕНДАЦИИ ПО ОБЕСПЕЧЕНИЮ БЛАГОПРИЯТНОГО КЛИМАТА В ПРОЕКТИРУЕМЫХ И СТРОЯЩИХСЯ ЦОД

В заключение хотелось бы обратить внимание специалистов на ряд моментов, учет которых позволит избежать необоснованных трат на организацию систем кондиционирования.

Учитывая описанные выше реалии и тенденции сегодняшнего дня, не боясь ошибиться, можно предположить, что большинство строящихся ЦОД по своей конфигурации и дизайну будут похожи на описанные выше. Поэтому при их планировании целесообразно предусмотреть установку фальшпола, причем в помещении площадью до 200 м2 высота фальшпола должна быть не менее 500 мм, а при большей площади — его поднимают еще выше. Это не слишком влияет на стоимость проекта, однако добавляет удобств при обслуживании и монтаже инженерных систем. Подпольное пространство можно использовать и для организации воздушных потоков при охлаждении неэнергонагруженных стоек.

Расстановку аппаратных стоек целесообразно делать в соответствии с принципом «холодных» и «горячих» коридоров. Это существенно повышает эффективность работы системы охлаждения и защищает оборудование от нежелательных перегревов. При соблюдении этого принципа исключена ситуация, когда горячий воздух с тыльной стороны стойки попадает непосредственно на фронтальную сторону стоек следующего ряда — прямо в зону забора воздуха оборудованием.

В целом климатическая система ЦОД должна состоять не менее чем из трех подсистем:

  • общеобменная вентиляция создаёт избыточное давление в объёме ЦОД и снабжает помещение свежим воздухом;
  • система комфортного кондиционирования обеспечивает поддержание нормальных климатических условий;
  • системы основного кондиционирования поддерживают требуемые климатические условия оборудованию ИТ с прецизионным регулированием температуры и влажности воздуха.

В ряде случаев системы комфортного и основного кондиционирования могут быть реализованы в виде единого комплекса. Проектные решения зависят от постановки задачи. При этом все основные элементы систем должны быть обязательно резервируемы для обеспечения непрерывного функционирования, в том числе при проведении ремонтных и регламентных работ.

Александр Мартынюк — технический директор IntelinePro.

Обзор решений

Оценивать и сравнивать преимущества отдельных решений можно только применительно к определенной ситуации и специфике конкретного центра обработки данных — даже при кажущемся сходстве исходных условий итоговые рекомендации и выводы будут всегда различаться, так как они основываются на сочетании деталей, нюансов и ограничений. Поэтому имеет смысл не рассматривать какой-либо абстрактный пример, а уделить внимание обзору основных отличительных черт каждого решения.

APC. Компания АРС, в рамках своей архитектуры InfraStruXure для построения инженерных систем ЦОД предлагает ряд решений для эффективного отвода тепла от высоконагруженных стоек с оборудованием, причем они имеют существенные различия. Так, в ЦОД с традиционной схемой подачи охлаждающего воздуха под фальшполом, могут успешно применяться локальные устройства дополнительного кондиционирования АСF 400 или ACF 402. Их установка на задней стенке шкафа позволяет увеличить скорость движения воздуха в стойке и обеспечить забор горячего воздуха непосредственно из нее, тем самым полностью предотвращая его смешивание с охлаждающим воздухом на входе. Для отвода тепла используются гибкие воздушные короба, подключаемые на вентиляционные блоки сверху. Однако данное решение, впрочем, как и ряд других, неприменимо к моноблочным решениям систем хранения данных и некоторым вычислительным платформам, поставляемым в «шкафном» исполнении.

При необходимости использования более современной схемы организации циркуляции воздуха в машинном зале ЦОД (в горизонтальной плоскости) АРС предлагает в рамках InfraStruXure два решения: Hot Aisle Containment и Rack Air Containment. Они улучшают теплоотвод от энергонагруженных стоек путем ограничения объема «горячего» коридора и охлаждения нагретого воздуха, с последующим его выбросом в «холодный» коридор. Таким образом, «горячий» коридор с энергонагруженными стойками (избыточным тепловыделением) изолируется от общего объёма серверной. Данные решения оптимальны для случаев, когда формируются сплошные ряды одинаковых стоек с примерно одинаковыми параметрами тепловыделения.

Emerson. Решение Emerson для отвода тепла от энергонагруженных стоек отличается типом и конструкцией локальных устройств дополнительного кондиционирования, входящих в серию продуктов X-treme. Применение фреона в качестве теплоносителя устраняет риск попадания воды из контура охлаждения в стойки, а также повышает эффективность охлаждения за счет использования энергии фазового перехода.

Главным отличием решения является наличие нескольких вариантов отвода тепла в зависимости от конкретной конфигурации стоек. Модуль, устанавливаемый на стойку сверху (XDV), позволяет забирать 6,5 кВт или 8 кВт тепла из стойки или зоны «горячего» коридора, с выдачей холодного воздуха на переднюю дверь — в «холодный» коридор.

Потолочные модули охлаждения XDO забирают горячий воздух из «горячих» коридоров и подают охлаждённый на фронтальную часть стоек, они обеспечивают локальный теплоотвод в 14-16 кВт, что обеспечивает локальное решение проблем перегрева в стойках средней плотности загрузки.

Напольные модули XDH устанавливаются между стойками с оборудованием, забирают воздух из зоны «горячего» коридора и подают холодный воздух непосредственно к стойкам. Эти модули способны отводить 19 или 27 кВт от каждой стойки.

Локальные устройства дополнительного кондиционирования подключаются к внутренней холодильной машине (XDC) или к гидромодулю (XDP), который, в свою очередь, соединяется с холодоцентром ЦОД. Гидромодуль обеспечивает циркуляцию холодоносителя (фреона) внутри помещений ЦОД, исключая попадание воды в серверный зал.

Rittal. Климатическая система, реализованная в рамках инфраструктурных решений ЦОД RiMATRIX5 компании Rittal, строится по модульному принципу. Охлаждение оборудования осуществляется внутри стойки путём подачи холодного воздуха от элементов охлаждения (три слота от 5-6 кВт каждый при температуре поступающей жидкости 10-15°С). Последние устанавливаются сбоку от аппаратной стойки в собственном шкафу (таким образом гарантируется защита от попадания жидкости в серверный шкаф). Охлажденный воздух поступает на лицевую часть оборудования внутри стойки, горячий (отработанный) забирается от ее задней части, т.е. осуществляется рециркуляция. В режиме резервирования по схеме N+1 может быть гарантирована подача не менее 12 кВт холода на стойку при установке одного холодильного блока (три слота в блоке). При использовании дополнительного холодильного блока можно обеспечить резервирование N+1 с подачей холода 20 кВт для одного серверного шкафа.

Поддержание необходимой температуры воздуха реализовано за счёт внутренней системы мониторинга параметров внутри стоек и регулирования скорости вращения вентиляторов и объёмов подачи холодоносителя через трёхходовые клапаны к модулям охлаждения. Система может быть расширена в горячем режиме путём подключения вновь устанавливаемых модулей к быстросъёмным фланцевым соединителям. В качестве холодоносителя в ней используется вода, однако производитель выставил жесткое требование к качеству используемой воды или этилен-гликолиевого раствора.