ЦОД следует подавать холодным

В современных ЦОД хранятся и обрабатываются огромные объемы информации. Расплачиваться за это приходится все увеличивающимся энергопотреблением — доля ЦОД в глобальном потреблении электроэнергии уже достигает почти 2%. Прямо пропорционально растут и требования к системам охлаждения.

СЛОЖНОСТЬ ВЫБОРА

Владельцам ЦОД приходится тщательно оценивать ресурсы, которыми они располагают. Это касается буквально всего — капитала, свободной площади в центре обработки данных, подведенной электрической мощности. В частности, необходимо понимать, сколько составят капитальные затраты на организацию системы кондиционирования и какие существуют способы модифицировать ее в будущем. Немаловажным фактором является стоимость эксплуатации — таким образом, на более дорогое, но эффективное решение, например, стоит обратить внимание, если оно окупается за пять лет.

Рассмотрим особенности ключевых решений.

Кондиционер прямого испарительного охлаждения, или чиллер-фанкойл. В первую очередь необходимо определить, какой принцип охлаждения будет использовать система кондиционирования. Традиционным решением являются фреоновые DX-кондиционеры (дословно их название означает цикл прямого расширения), которые зимой не слишком экономичны. И если для серверных мощностью до 300–500 кВт данное обстоятельство несущественно (в общей сумме затрат на строительство и эксплуатацию ЦОД доля расходов на «зимнюю работу» невелика), то при мощности около 1 МВт и больше стоит задуматься о чиллере.

Реализовать чиллерную систему с использованием кондиционеров-доводчиков (фанкойлов) сложнее и дороже. В состав системы традиционно входят сам чиллер со встроенным или отдельно стоящим охладителем жидкости (драйкулером), насосная группа, фанкойлы, различная запорно-регулирующая арматура и вспомогательные гидравлические агрегаты. Сложность и дороговизна оправдываются тем, что в зимний период энергопотребление системы значительно снижается, так как для охлаждения используется холодный наружный воздух — так называемый фрикулинг (естественное охлаждение). Система работает тем эффективнее, чем выше температура начала фрикулинга. При правильно выбранных значениях температуры холодоносителя можно добиться довольно существенной выгоды: из 8760 часов в году подача «компрессорного» холода потребуется только в течение 2000–3000 часов. Остальное время система будет работать в режиме естественного охлаждения.

Шкафные или внутрирядные кондиционеры. Следующий вопрос, который приходится решать, комплексный. Он объединяет в себе несколько задач: как будет осуществляться воздухораспределение и какое объемно-планировочное решение подходит больше всего. Кондиционеры шкафного исполнения давно и прочно ассоциируются с ЦОД, и до определенного момента применялись исключительно они. Но в последнее десятилетие их позиции потеснили кондиционеры межрядного исполнения.

У каждого решения свои преимущества и недостатки. Для шкафных кондиционеров необходим фальшпол для распределения воздуха. При этом можно ограничить доступ к стойкам, установив шкафные кондиционеры в отдельном помещении. Внутрирядные кондиционеры не могут быть вынесены за пределы машзала по очевидной причине: иначе не реализуется основная идея их применения — они должны размещаться в непосредственной близости от охлаждаемого оборудования.

Стойки с встроенными жидкостными системами охлаждения представляют последние веяния. Они позволяют эффективно отводить избыточное тепло. Эта технология в своей основе не требует «компрессорного» холода, однако у нее есть два существенных недостатка. Во-первых, если теплообменник выйдет из строя, стойку/сервер придется отключить хотя бы на время. Во-вторых, это решение предполагает немалые инвестиции в вычислительное оборудование. Сегодня прямое/косвенное жидкостное охлаждение набирает популярность в основном благодаря усилиям производителей серверного оборудования, которые уже несколько лет продвигают их на рынке. Решение отличается высокой плотностью отводимого тепла и, соответственно, компактными размерами. Вследствие отсутствия вентиляторов для охлаждения процессоров (воздухом охлаждаются только блоки питания) нагрузка на традиционную воздушную систему охлаждения серверных стоек существенно снижается, что способствует сокращению энергопотребления и шума и улучшению эксплуатационных характеристик. При этом возникает ряд дополнительных расходов — на усиление или новое строительство несущих конструкций, чуть более сложную и дорогостоящую систему водораспределения.

Естественное охлаждение, или фрикулинг. Суть этого решения состоит в использовании холода наружного воздуха для охлаждения оборудования. Москва, согласно климатической статистике, является одной из самых холодных столиц Европы, превосходя в этом отношении даже северные скандинавские города, поэтому для нас этот подход является особенно актуальным. Разумеется, чтобы организовать теплообмен с наружным воздухом, мало просто открыть форточку. Как правило, воздух забирается через приточно-вытяжную установку, фильтруется и поступает на стойки. Промежуточный теплообменник (роторный или неподвижный, воздушный или жидкостный), расположенный между внешним и внутренним контурами воздуха, используется в том случае, когда воздух с улицы поступать не должен.

Все эти технические решения имеют немалую стоимость, но они призваны сэкономить средства заказчика, поэтому необходимо производить расчет окупаемости. И чаще всего он показывает неэффективность применения естественного охлаждения при мощностях ниже 0,5–1 МВт. Однако при значительном энергопотреблении ЦОД системы фрикулинга весьма эффективны и довольно быстро окупаются. Основными их достоинствами являются пониженное энергопотребление и отсутствие сложных механических деталей, способных выйти из строя. Из возможных проблем следует отметить трудности с поддержанием в помещении необходимой влажности. Кроме того, для установки роторов или неподвижных теплообменников может потребоваться значительное пространство внутри и снаружи ЦОД.

Эффективность фрикулинга можно повысить, используя принудительное адиабатное охлаждение, но это усложняет конструкцию системы и ведет к ее удорожанию.

НЕСТАНДАРТНЫЙ ПОДХОД К КОНДИЦИОНИРОВАНИЮ

На практике иногда приходится устанавливать системы охлаждения в помещении, изначально не подходящем для строительства дата-центра. Так, цокольный этаж парковки «Крок» однажды было решено перестроить в центр обработки данных (сейчас это ЦОД «Волочаевская-2»). Но вначале возникали некоторые сомнения в возможности реализовать задуманное.

Главная проблема заключалась в том, что реконструируемое помещение не отвечало стандартным требованиям, предъявляемым к залам ЦОД. Оно было слишком низким — 2,0–2,1 м. Прежде всего это делало невозможным установку стандартного оборудования — ИТ-систем и кондиционеров. А использование стоек меньшего, чем обычно, размера, было неприемлемо с точки зрения бизнеса: площадка с нестандартным решением не пользуется особым спросом у заказчиков.

Начали искать способы, как сэкономить пространство. Сначала на бумаге «разложили» его на компоненты — отвели места для тепло- и гидроизоляции, фальшпола, стоек и лотков, что, однако, не привело к желаемому результату: высоты по-прежнему не хватало. Тогда пошли по пути переустройства помещения — изменили планировку, сняли покрытие и стяжку с пола, расчистив его до бетонной плиты. Такой подход позволил «нарастить» высоту до 2,4 м, но и этого оказалось недостаточно. По расчетам специалистов, тепло- и гидроизоляция, трубопровод для кондиционеров, незначительная отделка, фальшпол все равно «съедали» отвоеванные сантиметры.

В определенный момент пришло понимание того, что надо менять строительные материалы. В качестве теплоизоляции выбрали листовой материал на основе вспененного стекла с толщиной листа 25 мм. Чтобы не занимать ступеньки и не блокировать проходы при проведении охлаждающей жидкости к кондиционерам, мы уменьшили диаметр трубопровода и толщину плиты фальшпола — таким образом, расстояние от поверхности фальшпола до бетонной плиты составило примерно 150 мм! И это без существенного зауживания трубопроводов кондиционеров. Это минимальная высота, которой нам когда-либо удавалось добиться при строительстве объектов без ухудшения технических характеристик. В результате между фальшполом и потолком осталось целых 2,2 м — то самое минимальное расстояние, которое необходимо для размещения стандартных стоек и оборудования.

Надо отметить, что при строительстве ЦОД с применением внутрирядных фанкойлов арматура и коллекторы, как правило, устанавливались либо под фальшполом, либо вообще в другом помещении. Но все, что удалось реализовать по традиционной схеме в «Волочаевской-2», ограничилось установкой вдоль стены устройства для регулирования давления, а в непосредственной близости к кондиционерам — отсечных кранов. Остальные компоненты системы: основная запорно-регулирующая арматура, манометры, трехходовой клапан и, самое главное, кольцевой коллектор — были вынесены на улицу, на внешнюю стену здания (см. Рисунок 1).

Рисунок 1. Нестандартное размещение кольцевого трубопровода снаружи здания в ЦОД «Волочаевская-2».

Рисунок 2. Внутрирядный кондиционер в ЦОД «Волочаевская-2» компании «Крок».

При строительстве системы использовались традиционные чиллеры со встроенным естественным охлаждением. Внутрирядные кондиционеры, установленные в помещении ЦОД, оснащены электронно-коммутируемыми вентиляторами (см. Рисунок 2). Благодаря строгому рядному расположению теплый и холодный воздушные потоки всегда разделены. Подобные инженерные решения позволяют экономить энергию, потребляемую системой кондиционирования, особенно в зимний период.

Дополнительно стоит отметить, что размещение кольцевого коллектора на внешней стороне стены позволило не уменьшать его в размерах. Благодаря этому в нем содержится большой запас охлажденной воды (около 20 тонн).

Кстати, в ЦОД установлены дизель-динамические источники бесперебойного питания (ДДИБП). Они примечательны тем, что совмещают в себе источник бесперебойного питания и дизельный генератор. Важно также отметить, что, в отличие от классических батарейных ИБП, ДДИБП не требуют фреоновой системы. В помещении ДДИБП охлаждение производится двумя группами вентиляторов, которые продувают помещение зимой и летом. Бесперебойное электропитание чиллеров, вместе с большим объемом холодоносителя в системе, позволило отказаться от специального бака — аккумулятора холода.

Если обобщить, то решения, которые были использованы при реализации этого проекта, позволили компании «Крок» достичь сразу нескольких ключевых целей:

• использовать непригодное для ЦОД помещение;
• сократить затраты на электроэнергию;
• увеличить пространство для размещения оборудования — за счет применения динамических ИБП и внутрирядных кондиционеров;
• сэкономить на капитальных затратах, тем самым снизив общую стоимость владения.

ЧТО В ИТОГЕ?

Очевидно, что система кондиционирования — очень важная составляющая ЦОД, от которой зависит бесперебойная работа всего комплекса. Поэтому недостаточное внимание к ее организации — первый шаг к убыткам и вынужденным простоям. Необходимо максимально серьезно подходить к выбору и установке системы кондиционирования, чтобы избежать неэффективного расхода ресурсов и исключить аварии. Это сбережет не только деньги, но и хранимую информацию, доверие клиентов и вашу репутацию.

Андрей Степанов — руководитель направления систем кондиционирования компании «Крок».