Инженерная инфраструктура российских ЦОДов

В ЦОДах, инженерная инфраструктура которых была проанализирована в рамках данного проекта, по оценке OSP Data, располагается значительная часть всех стоек с ИТ-оборудованием, эксплуатируемых на территории России. В частности, это восемь из первой десятки крупнейших коммерческих ЦОДов России, а также корпоративные ЦОДы таких организаций, как Сбербанк и Федеральная налоговая служба (ФНС) РФ.

По понятным причинам наиболее охотно с нами делились информацией владельцы самых современных, как правило, недавно построенных ЦОДов, в которых установлены новейшие инженерные системы. Поэтому представленные в статье данные по большей части отражают топ-уровень российских ЦОДов. Для составления максимально полной картины мы также изучили состояние дел на небольших объектах, в том числе насчитывающих до десяти стоек.

СКОЛЬКО ВАТТОВ НА СТОЙКУ

Важной характеристикой при проектировании инженерной инфраструктуры и выборе технических решений является средний уровень мощности на стойку. На заре ЦОДостроения он составлял всего несколько киловаттов на стойку, затем наблюдалась устойчивая тенденция к его увеличению. Но при превышении определенного уровня, ориентировочно 10 кВт на стойку, дальнейшее увеличение связано с довольно серьезным удорожанием инженерной инфраструктуры, поэтому ситуация стабилизировалась и рост приостановился.

Рис. 1. Средний уровень мощности на стойку в российских ЦОДах (на основе данных по 30 объектам)

Как показало исследование OSP Data, в большинстве российских ЦОДов средний уровень мощности на стойку составляет от 3 до 10 кВт (см. рис. 1). Но есть, конечно, и исключения. Так, например, инженерная инфраструктура коммерческого ЦОДа Cloud DC обеспечивает для каждой стойки мощность от 10 до 22 кВт (см. рис. 2). Как заявляют представители компании «Ай Эм Ти», владельца этого ЦОДа, объект изначально ориентирован на предоставление облачных услуг (что и следует из его названия) и не предназначен для традиционных услуг по размещению ИТ-оборудования. В «Ай Эм Ти» полагают, что высокая плотность ИТ-оборудования позволит обеспечить более высокие показатели производительности, вычислительной мощности и объемов хранения. (Во втором корпусе Cloud DC запланирована установка еще более мощных стоек с ИТ-оборудованием на 20–25 кВт.)

Рис. 2. Инженерная инфраструктура коммерческого ЦОДа Cloud DC обеспечивает для каждой стойки мощность от 10 до 22 кВт. На фото — серверный зал ЦОДа Cloud DC

Во многих коммерческих ЦОДах предусмотрено несколько зон, рассчитанных на установку стоек с различным уровнем мощности, в том числе «облачная зона» для высоконагруженных стоек. Это не исключает применения единой системы охлаждения, просто зоны с высоконагруженными стойками могут быть оборудованы более эффективными средствами разделения холодных и горячих потоков.

Но даже в серверном зале, предназначенном для размещения средних по мощности стоек, в большинстве случаев возможна установка высоконагруженных стоек. Для этого может оказаться достаточным в местах размещения таких стоек просто положить плитки фальшпола с более высоким уровнем перфорации или организовать дополнительную вытяжку горячего воздуха. Если пассивные средства не позволят решить задачу, то в этом может помочь установка рядом с высоконагруженными стойками дополнительных рядных кондиционеров или укладка так называемых активных плиток фальшпола. Последние позволяют повысить отвод тепла от стойки, но при этом не занимают полезное место в серверном зале. Такие плитки могут содержать теплообменники с вентиляторами и позволяют отвести до 20 кВт тепла со стойки.

Если говорить о рекордных значениях, то, например, инженерная инфраструктура для суперкомпьютера в МГУ им. М. В. Ломоносова обеспечивает отвод от стойки до 154 кВт тепла. При этом реализована она без каких-либо холодильных машин — исключительно на базе естественного охлаждения (фрикулинга). Для отвода тепла от суперкомпьютера его разработчики предусмотрели прямое водяное охлаждение. Каждый модуль суперкомпьютера имеет четыре вычислительных узла, которые монтируются на общий водоохлаждаемый радиатор — по два с обеих сторон. Для охлаждения вычислительных модулей подводится вода с температурой 44°С (температура воды на выходе из компьютера составляет 48°С). Возможность охлаждать вычислитель теплой водой и позволила построить систему холодоснабжения полностью на основе фрикулинга.

Но это пример уникального объекта, и предложенное для него решение, конечно, нельзя перенести в обычные ЦОДы хотя бы потому, что в них устанавливаются стандартные ИТ-серверы, а не специальные супервычислители с прямым водяным охлаждением.

ФРЕОН, ВОДА, ФРИКУЛИНГ…

В диапазоне мощности 3–10 кВт на стойку достаточно эффективны классические системы охлаждения (как фреоновые, так и чиллерные), которые и доминируют в российских ЦОДах. Фреоновые системы — самый доступный по цене вариант. Однако при низкой стоимости они обладают и низкой энергоэффективностью, что повышает операционные расходы, а значит, и совокупную стоимость владения (TCO). Как показало исследование OSP Data, такие решения, как правило, выбирают для небольших корпоративных ЦОДов, насчитывающих до нескольких десятков стоек. На большинстве подобных объектов вообще не ведется учет показателей энергоэффективности (PUE). Крупные коммерческие ЦОДы тоже используют фреоновые системы, но, как правило, лишь в качестве дополнения к более эффективным решениям — чиллерным или естественному охлаждению.

Причины обращения к фреону в крупных ЦОДах могут быть разными. Например, используя для охлаждения большей части своих залов чиллерную систему, для двух залов специалисты ЦОДа «ТрастИнфо» выбрали фреоновые кондиционеры. Дело в том, что эти залы находятся на значительном удалении от холодоцентра ЦОДа, поэтому подключение их к чиллерной системе потребовало бы значительных расходов на прокладку труб, установку насосов и других элементов для подачи холодной воды. Подсчитав все эти затраты и сопоставив их с несколько более высоким энергопотреблением фреоновой системы (в которой отсутствует функция фрикулинга), руководство «ТрастИнфо» сделало выбор в пользу последней. Другой пример — ЦОД ФНС России в Дубне. На этом объекте основное решение — система естественного охлаждения на базе теплообменников «воздух — воздух» типа «тепловое колесо». Фреоновые кондиционеры предназначены лишь для дополнительного охлаждения в наиболее жаркие дни и, по расчетам, будут задействоваться лишь 10% времени в году.

Рис. 3. При использовании фреоновых кондиционеров необходимо предусмотреть место для установки конденсаторных блоков — например, на крыше или прилегающей территории

При использовании фреоновых кондиционеров (это могут быть как шкафные модели, обслуживающие весь зал, так и рядные, охлаждающие свой ряд стоек) необходимо предусмотреть место для установки конденсаторных блоков — например, на крыше или прилегающей территории (см. рис. 3). Однако при выборе варианта с водяным охлаждением требования к дополнительному месту только ужесточаются — потребуется место под насосную станцию и водоохлаждающие машины (чиллеры) — см. рис. 4. Архитекторам ЦОДов также следует помнить о том, что фреоновая система имеет ограничение по длине трубопровода (общая протяженность трассы фреонопровода не должна превышать 50 м) и перепаду высот между внутренними и наружными блоками (не рекомендуется, чтобы он превышал 30 м). У чиллерной системы таких ограничений нет, поэтому ее можно приспособить к любым особенностям здания и прилегающей территории.

Рис. 4. Водоохлаждающие машины (чиллеры) в инженерной инфраструктуре ЦОДа

Серьезный недостаток фреоновых систем — отсутствие в штатных решениях поддержки фрикулинга. Большинство же современных чиллеров оснащены такими средствами, что существенно повышает энергоэффективность решения. Кроме того, в чиллерных системах проще реализовать функцию бесперебойного охлаждения, для чего устанавливается бак-холодильник необходимой емкости. В случае аварии (потери электропитания) для поддержания допустимой температуры в ИТ-зоне используется запасенная в этом баке вода — необходимо только обеспечить ее прокачку (функционирование насосов) и работу вентиляторов кондиционеров, поэтому потребление от ИБП сводится к минимуму. Для бесперебойного охлаждения при использовании классических фреоновых систем надо гарантировать электропитание всего комплекса целиком, поэтому расходы на ИБП существенно повышаются.

В классических чиллерных системах режим фрикулинга задействуется лишь небольшую часть времени — когда на улице достаточно холодно. Гораздо более эффективными являются системы охлаждения, в которых фрикулинг является основным режимом, используемым большую часть времени в году. Большинство таких решений имеют огромные теплообменники «воздух — воздух», в которых поступающий с улицы воздух охлаждает воздух, циркулирующий во внутреннем контуре и служащий для охлаждения ИТ-оборудования. Поскольку потоки уличного и внутреннего воздуха при этом не перемешиваются, такой метод называют непрямым фрикулингом.

Системы непрямого фрикулинга с теплообменниками «воздух — воздух», как правило, используются в крупных ЦОДах, причем построенных с нуля. Дело в том, что для такой системы требуется не только выделить значительную площадь под теплообменники, но и установить гигантские воздуховоды, которые необходимо предусмотреть в конструкции здания. В России такие системы охлаждения уже успешно применяются, причем как в корпоративных, так и в коммерческих ЦОДах — в частности, на объектах Сбербанка и DataPro в Москве, Cloud DC в Подмосковье, ФНС в Дубне.

Для дополнительного охлаждения воздуха в жаркие дни системы воздушного фрикулинга оснащаются как классическими (фреоновыми или чиллерными) теплообменниками, так и инновационными адиабатическими. Как уже упоминалось, в ЦОДе ФНС в Дубне в систему охлаждения на основе «тепловых колес» Ayaks Engineering добавлены фреоновые кондиционеры. На объектах Сбербанка и Cloud DC применяются адиабатические охладители, принцип работы которых состоит в охлаждении воздуха за счет испарения воды. А в ЦОДе DataPro установлено решение EcoBreeze компании Schneider Electric, которое сочетает в себе три способа охлаждения: теплообменник «воздух — воздух» работает постоянно; если температура окружающей среды превышает порог +7°С (эта величина регулируется), подключается дополнительное орошение; если температура достигает +27°С (этот параметр тоже настраивается), активируется фреоновый контур. Таким образом, при низких температурах система обходится и без воды, и без фреона, работая только от окружающего воздуха; когда температура на улице повышается, задействуется орошение; а если и этого оказывается недостаточно для поддержания заданного температурного режима — компрессоры.

Серьезное препятствие на пути внедрения систем прямого фрикулинга — загрязнение воздуха. Пыль, пыльца, смог, копоть от автомобилей, различные выбросы предприятий — все это в большом количестве присутствует в атмосфере крупных городов, таких как Москва и Санкт-Петербург, где размещены большинство российских ЦОДов. Для прямого фрикулинга необходимо несколько ступеней очистки, с использованием фильтров высокой степени очистки, что резко увеличивает стоимость решения, но все равно не гарантирует 100-процентной защиты дорогостоящего ИТ-оборудования от грязи. Вдали от крупных городов условия для прямого фрикулинга гораздо лучше. В России эта технология используется в одном из ЦОДов Yandex, расположенном вдали от промышленных центров в средней полосе России. Среднегодовой расчетный PUE объекта — 1,14. Но это еще один пример уникального объекта.

ИЗОЛЯЦИЯ ВОЗДУШНЫХ ПОТОКОВ

На большинстве, двух третях, изученных нами ЦОДов реализована схема охлаждения на уровне серверного зала. Классический пример такой схемы — установка шкафных кондиционеров, подающих холодный воздух под фальшпол. Шкафные кондиционеры могут работать как на фреоне, так и на воде. Проекты, в которых использован воздушный фрикулинг с теплообменниками «воздух — воздух», мы также отнесли к категории систем охлаждения на уровне зала, хотя, как правило, такие комплексы обслуживают сразу все ИТ-залы ЦОДа.

Довольно популярна и схема охлаждения на уровне ряда стоек, которая реализуется с помощью внутрирядных кондиционеров (они также могут быть как на фреоне, так и на воде). В этом случае источники холодного воздуха приближены к ИТ-оборудованию и обслуживают только близлежащие стойки — даже если соответствующий коридор не изолирован. Решения с использованием внутрирядных кондиционеров отлично себя зарекомендовали при тепловыделении вплоть до 20–30 кВт на шкаф, что выше типовых значений в ЦОДах.

Если же необходимо отвести еще больше тепла от шкафа, то можно установить закрытые серверные шкафы с локальными системами охлаждения. В этом случае реализуется охлаждение на уровне шкафа, однако, как показало исследование OSP Data, такие решения применяют крайне редко. Этот вариант, хотя и позволяет добиться наибольшего теплосъема, стоит значительно дороже. Его применение целесообразно, когда необходимо установить несколько чрезвычайно высоконагруженных шкафов — как в отдельном помещении, так и в большом зале с менее нагруженными стойками. Главный его плюс — высочайшая гибкость: такой шкаф можно разместить практически где угодно (если, конечно, туда подведен трубопровод с холодной водой), причем появление новых шкафов не добавляет тепловую нагрузку в зале и не приводит к перераспределению тепла.

В подавляющем большинстве проанализированных нами ЦОДов для повышения эффективности систем охлаждения используются средства изоляции горячих или холодных коридоров (см. рис. 5). Анализу плюсов и минусов посвящено уже немало статьей — например, материал Джона Найманна и др. «Влияние изоляции горячего и холодного коридоров на температуру и эффективность ЦОД», опубликованный в октябрьском номере «Журнала сетевых решений/LAN» за 2013 год. На практике, по нашим данным, популярны оба варианта, хотя небольшой перевес все же в пользу изоляции горячего коридора.

Рис. 5. Пример изоляции коридора

СИСТЕМЫ ЭЛЕКТРОПИТАНИЯ

Источник бесперебойного питания (ИБП) — неотъемлемый элемент системы электропитания любого ЦОДа. ИБП установлены на всех проанализированных нами объектах, даже небольших. По числу инсталляций, безусловно, доминируют статические ИБП. Однако на многих крупных объектах, введенных в эксплуатацию за последние несколько лет, установлены динамические ИБП (см. рис. 6), которые имеют ряд преимуществ над статическими «собратьями» в мегаваттных ЦОДах. (Мы уже не раз подробно анализировали плюсы и минусы двух типов ИБП — заинтересованные читатели могут, например, обратиться к статье автора «Рынок ИБП: с надеждой на развитие ИТ и отложенный спрос», «Журнал сетевых решений/LAN», ноябрьский номер за 2014 год.) Учитывая масштаб этих объектов, а также усиливающуюся тенденцию к установке динамических ИБП на мегаваттных ЦОДах, можно предположить, что по числу обслуживаемых стоек доля таких ИБП приближается к доле статических.

Рис. 6. Динамический ИБП в ЦОДе

Среди объектов, на которых установлены динамические ИБП, преобладают коммерческие ЦОДы (например, DataPro, Cloud DC, «Крок», «Электронная Москва», SafeData). Видимо, для этих объектов наиболее важна возможность снижения общей стоимости владения (TCO) за счет меньших операционных расходов, в том числе благодаря отказу от дорогостоящих и «нежных» аккумуляторных батарей. Кроме того, динамические ИБП также применяет на своих объектах в России такой интернет-гигант, как Yandex. А вот корпоративные ЦОДы, даже очень крупные (например, Сбербанка и ФНС РФ), остаются привержены статическим ИБП. Для них важнее зарекомендовавшая себя надежность таких систем, давно используемых в ЦОДах.

Большинство заказчиков статических ИБП (примерно 70%) предпочитают классические моноблочные устройства. Хотя они и уступают модульным агрегатам по таким показателям, как гибкость и масштабируемость, но стоят дешевле, что часто оказывается определяющим фактором. Модульные ИБП, как правило, выбирают для небольших, но современных корпоративных ЦОДов. Важными плюсами таких решений являются встроенная отказоустойчивость (силовая часть может резервироваться по схеме N+X) и более высокая ремонтопригодность (ремонт сводится к замене силового блока на месте установки).

На объектах, где установлены статические ИБП, для резервного питания нагрузки в случае аварии на сети электропитания необходимы комплексы аккумуляторных батарей. Они должны «продержаться» до перевода нагрузки на ДГУ. Хотя современным ДГУ, согласно заявлениям их производителей, достаточно нескольких минут для запуска и выхода на штатный режим работы, большинство ЦОДов предпочитают подстраховаться и устанавливают АКБ с расчетным временем автономии более 10 мин (см. рис. 7). Вероятно, это связано с правилом «трех запусков ДГУ»: если с первого раза агрегат не запускается, то автоматика выдерживает 3 мин и запускает его повторно, и так — три раза. Время, необходимое для нескольких запусков, составляет 7–8 мин, поэтому и батареи рассчитывают на обеспечение автономной работы в течение 10 мин, чтобы имелся определенный запас.

Рис. 7. Время автономной работы комплексов АКБ, установленных в ЦОДах (на основе данных по 30 объектам)

Еще один ключевой элемент систем бесперебойного гарантированного электропитания — дизель-генераторные установки. Они установлены в большинстве ЦОДов. Лишь на небольших объектах — в нашем исследовании это ЦОДы, насчитывающие менее 10 стоек с ИТ-оборудованием, — ДГУ отсутствуют. Там же, где установлены динамические ИБП, отдельных дизель-генераторов, как правило, тоже нет, поскольку они представляют интегрированный элемент таких ИБП.

СХЕМЫ РЕЗЕРВИРОВАНИЯ

Самая популярная схема резервирования инженерных систем — N+1. По такой схеме, соответствующей в классификации Uptime Institute уровню Tier III, обычно резервируют основные активные элементы, такие как ДГУ, ИБП, кондиционеры. Такой уровень резервирования означает, что при отказе одного из элементов или его плановом выводе из эксплуатации (для технического обслуживания, замены и пр.) остановки работы основных (ИТ-) систем ЦОДа не потребуется. Что касается пассивных элементов систем распределения (силовые кабели, трубопроводы и пр.), для соблюдения условий выполнения любой плановой деятельности без нарушения нормального режима работы ЦОДа их следует резервировать по схеме 2N — желательно с физическим разнесением дублированных элементов. Соответственно, в большинстве ЦОДов, претендующих на соответствие требованиям Tier III, это необходимо обеспечить.

Отметим, что по состоянию на начало мая 2016 года в России сертификат Tier III на построенный ЦОД (Constructed Facility) имели пять объектов: четыре коммерческих ЦОДа («Компрессор» компании «Крок», Nord-4 компании Dataline, DataSpace и DatаPro) и один корпоративный (СБ РФ). Еще 14 объектов имеют сертификаты на проект Tier III (Design Documents), но еще не сертифицировали сам ЦОД. Еще больше операторов ЦОДов в маркетинговых документах любят заявлять о «соответствии Tier III», но на деле никаких сертификатов от Uptime не имеют.

Трудно найти ЦОДы, в которых абсолютно все инженерные системы имели бы одинаковую схему резервирования, скажем N+1. Например, довольно распространенной является практика построения системы электропитания по схеме 2N (при этом основные элементы системы охлаждения реализуются по схеме N+1). В этом случае от ИБП в машинные залы проложено два луча электропитания, для питания серверного оборудования в каждом зале установлены два распределительных щита, а в составе каждой стойки — два розеточных блока распределения питания (PDU). При такой схеме оптимальный вариант — серверы с двумя блоками питания. Если же оборудование имеет только один блок питания, то следует установить локальный автомат ввода резерва (АВР), который при необходимости будет осуществлять переключение на другую линию (например, в случае аварии).

УРОВЕНЬ ЭНЕРГОЭФФЕКТИВНОСТИ

Владельцы российских ЦОДов довольно высоко оценивают уровень их энергоэффективности: примерно половина наших респондентов указали для коэффициента PUE диапазон от 1,2 до 1,5 (см. рис. 8). Правда, здесь надо сделать несколько оговорок. Большинство объектов относительно недавно введены в эксплуатацию, а значит, скорее всего, для них приводится расчетный PUE, причем подобные расчеты часто основываются на оптимистических прогнозах вендоров. Кроме того, уровень заполненности новых объектов вряд ли приблизился к оптимальному (для достижения высокой энергоэффективности) уровню в 90–100%, а следовательно, реальный PUE хуже (выше) заявлен-ного. Примерно четверть респондентов честно заявили, что не проводили оценку PUE. В основном, это корпоративные ЦОДы.

Рис. 8. Коэффициент энергоэффективности PUE российских ЦОДов (на основе данных по 30 объектам)

Единичные (уникальные) объекты, такие как ЦОД Yandex или ЦОД для суперкомпьютера МГУ, имеют очень низкий показатель PUE (в нашей градации это меньше 1,2). Однако примененные в них решения очень специфичны, привязаны к конкретному ИТ-оборудованию, а потому не могут тиражироваться в рядовых ЦОДах.

Значение PUE во многом определяется энергоэффективностью системы охлаждения. Проведенный OSP Data анализ различных отечественных и зарубежных данных показывает, что для фреоновых систем показатель pPUE (коэффициент PUE, рассчитанный только с учетом систем охлаждения) составляет не менее 1,4; для чиллерных систем — 1,2; для систем с непрямым воздушным фрикулингом — 1,1. Системы бесперебойного питания повышают его примерно на 0,1 (см. рис. 9). В результате значения PUE для трех наиболее распространенных типов инженерных инфраструктур получаются равными 1,5, 1,3 и 1,2. В этот диапазон (1,2–1,5) укладываются большинство современных российских ЦОДов.

Рис. 9. Энергоэффективность ЦОДов с различными системами охлаждения

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.