Инженерная инфраструктура ЦОД «Компрессор»

ЦОД «Компрессор» был открыт в конце 2011 года на территории промышленной зоны одноименного завода, расположенного в 10 мин. езды от центра Москвы. Объект рассчитан на установку 800 стоек с оборудованием, а подведенная электрическая мощность составляет 8 МВт. Это третий центр обработки данных «Крок»: в 2009 году был введен в эксплуатацию ЦОД «Волочаевская-1» (90 стоек, 1 МВт), а летом 2011 года — «Волочаевская-2» (110 стоек, 2 МВт). Все три ЦОД расположены на востоке столицы и соединены высокоскоростным волоконно-оптическим кольцом.

ГЛАВНОЕ — ГОТОВНОСТЬ, PUE — ПОТОМ

Проектируя инженерную инфраструктуру ЦОД, специалистам почти всегда приходится искать компромисс между отказоустойчивостью и энергоэффективностью. Как правило, чем выше отказоустойчивость (уровень резервирования), тем ниже энергоэффективность, и наоборот. При поиске такого компромисса следует исходить из бизнес-задач. Скажем, для такого интернет-гиганта, как Google, располагающего большим числом ЦОД, на первое место выходит энергоэффективность, поскольку она позволяет существенно снизить операционные затраты (резервирование осуществляется «на уровне ЦОД» — иначе говоря, при аварии одного из них нагрузка просто перераспределяется между другими). А вот для банка главный приоритет — надежность ЦОД, поскольку даже непродолжительный сбой способен прервать критически важные транзакции с непредсказуемыми последствиями.

Компания «Крок» как поставщик услуг коммерческих ЦОД тоже ставит на первое место надежность, а энергоэффективность старается оптимизировать, учитывая требуемый уровень готовности ЦОД к предоставлению сервисов. «Проектируя «Компрессор», мы стремились в первую очередь обеспечить высокий уровень готовности оборудования и сервисов, — рассказывает Александр Ласый, заместитель директора департамента интеллектуальных зданий компании «Крок». — Средний расчетный коэффициент PUE принимался равным 2, а значит, мощность потребления всего сопровождающего (инженерного) оборудования могла быть сопоставима с мощностью полезных (ИТ) систем».

Сегодня, после почти двух лет эксплуатации, у специалистов «Крок» накопился необходимый массив статистических данных для анализа реальных показателей PUE. «Наихудшее зафиксированное нами значение PUE составило 2,38, наилучшее — 1,1, — продолжает Александр Ласый. — Среднее значение равно 1,7, и это очень хороший показатель. По нашим расчетам, PUE снизится до 1,5 при полном заполнении ЦОД оборудованием».

Как видим, реальная энергоэффективность ЦОД оказалась даже выше расчетной, что во многом стало возможным благодаря установке системы охлаждения с режимом естественного охлаждения (фрикулинг). Данный режим реализуется с помощью установленных на крыше сухих градирен (драйкулеров), которые «помогают» чиллерам охлаждать смесь пропиленгликоля с водой (см. Рисунок 1). Эта незамерзающая смесь циркулирует во внешнем (расположенном на улице) контуре, который через теплообменники «взаимодействует» с внутренним контуром, где уже находится обычная вода. Внутренний контур связывает теплообменники и кондиционеры, которые охлаждают подаваемый в серверные залы воздух.

Рисунок 1. Относительно высокая энергоэффективность ЦОД  стала возможна благодаря установке системы охлаждения с режимом естественного охлаждения (фрикулинг). Данный режим реализуется с помощью установленных на крыше сухих градирен (драйкулеров), которые «помогают» чиллерам охлаждать смесь пропиленгликоля с водой.

Двухконтурная схема позволяет снизить используемый объем дорогого хладоносителя (пропиленгликоля) и является более экологичной (пропиленгликоль — ядовитое, химически активное вещество, и при его протечке внутри помещения центра обработки данных ликвидация последствий аварии обернется серьезной проблемой для службы эксплуатации). Следует учитывать и то, что для прокачки раствора гликоля (более вязкого по сравнению с водой) требуются более мощные насосы, а их электропотребление и, соответственно, эксплуатационные расходы — выше.

При использовании чиллерной системы «бесперебойное охлаждение» реализовать относительно просто. Для этого непосредственно в здании имеется емкость с захоложенной водой, которая в случае аварии (отключения электропитания) позволяет в течение 10–15 мин. автономно охлаждать ИТ-комплексы. Этого времени более чем достаточно для того, чтобы гарантированно запустить дизель-генераторы. При такой схеме достаточно обеспечить бесперебойное питание перекачивающих насосов и вентиляторов кондиционеров — необходимые дополнительные мощности ИБП сводятся к минимуму.

МОСКОВСКАЯ СПЕЦИФИКА

На момент проектирования ЦОД «Компрессор» использование чиллеров с фрикулингом было инновационным решением. Рассматривались ли проектировщиками решения с еще большим «вовлечением» фрикулинга? Оказывается, «да».

Как рассказывает Александр Ласый, была идея использовать систему с теплообменниками «воздух – воздух» (тепловые колеса) хотя бы для одного машинного зала, но из-за больших размеров соответствующего оборудования от нее пришлось отказаться. ЦОД строился не с нуля, а на базе реконструируемого здания, размеры которого просто не оставляли места для гигантских «тепловых колес». Сложности бы возникли и при организации воздуховодов необходимого сечения для подачи холодного и отвода нагретого воздуха.

Вариант же с прямым естественным охлаждением отпал сразу. Он предусматривает подачу холодного воздуха с улицы напрямую в серверный зал, точнее не напрямую, а через систему фильтров. Это-то и является непреодолимой проблемой для объектов, расположенных в центре Москвы: воздух столь сильно загрязнен, что стоимость фильтров, которые придется часто менять, быстро нивелирует все преимущества прямого фрикулинга.

Хотя использование «под ЦОД» уже существующего здания накладывает разного рода ограничения, для Москвы это наилучший вариант — очень уж сложно и долго согласовывать строительство нового здания в столице. Как уже говорилось, «Компрессор» размещен в промышленной зоне, что дало ряд преимуществ. Охраняемая территория такой зоны представляет еще один дополнительный периметр безопасности, который никогда не будет лишним. Отсутствие по соседству жилых зданий снижает требования к уровню шума, что позволяет без проблем проводить регулярные (раз в месяц) тестовые запуски мощных дизель-генераторных установок (ДГУ). Наличие же широких подъездных путей упрощает доставку негабаритных грузов.

Отмечая преимущества промзон, Александр Ласый вспоминает другой ЦОД компании, размещенный на территории офисного здания: «В соответствии с экологическими требованиями трубы (выхлопа дизель-генератора) пришлось поднимать на определенную высоту, а ДГУ — оснащать системами шумоподавления и очистки выхлопа. В результате дизель-генератор запускается практически бесшумно, а внешне заметно лишь небольшое облачко дыма, которое рассеивается за считанные секунды».

ЕСЛИ БЫ НАЧАТЬ СНАЧАЛА…

Система бесперебойного гарантированного питания (СБГП) ЦОД «Компрессор» построена на основе традиционных (статических) ИБП и дизель-генераторов и состоит из 38 ИБП производства GE Digital Energy по 300 кВА каждый с аккумуляторами, обеспечивающими автономное электропитание в течение 10–15 мин., и семи дизель-генераторных установок FG Wilson P2000 по 2 МВА каждая с запасом топлива на 24 ч.

В СБГП ЦОД «Волочаевская-2» применяются динамические ИБП (ДИБП), что позволило упростить схему организации такой системы и ее последующую эксплуатацию. Специалисты «Крок» отмечают, что по эксплуатационным затратам ДИБП сопоставимы с обычными дизель-генераторами, но в отличие от традиционной СБГП они не нуждаются в аккумуляторных батареях (АКБ), для которых обычно приходится выделять довольно большие помещения, специально усиливать несущие конструкции здания и устанавливать свою систему кондиционирования (см. Рисунок 2). Отсутствие потребности в АКБ, которые необходимо менять в среднем каждые пять лет, позволяет существенно снизить как капитальные, так и операционные расходы.

Рисунок 2. Большое поле аккумуляторов — неотъемлемый элемент системы бесперебойного питания, построенной на основе статических ИБП.

«Проектирование и строительство несущих конструкций здания ЦОД «Компрессор» было завершено до того, как ДИБП появились на российском рынке, — рассказывает Александр Ласый. — К моменту развертывания инженерных систем ситуация на рынке изменилась, появилось и желание задействовать преимущества ДИБП в этом ЦОД, но вписать их в площадку было уже невозможно».

ЧТО ПОНРАВИЛОСЬ ЭКСПЕРТАМ ИЗ UPTIME

Как уже отмечалось, главный приоритет для «Крок» — обеспечение высокого уровня готовности ЦОД, поэтому неудивительно, что компания решила сертифицировать свой объект в Uptime Institute. Сначала сертифицировали проект, потом — уже построенный ЦОД.

«Поскольку мы придерживались проекта в малейших деталях, сертификация прошла довольно гладко, — добавляет Александр Ласый. — Эксперты Uptime Institute выявили несколько недоработок — например, отсутствие диэлектрических разделителей в силовых щитах и неполное дублирование в системе топливных насосов, — но мы достаточно оперативно устранили все недочеты». Специалисты Uptime Institute особо отметили реализованную в «Компрессоре» систему мониторинга — решения подобного класса обычно позволяют себе только топовые ЦОД уровня Tier IV.

На данный момент параметры электропитания контролируются на уровне ввода, главного распределительного щита (ГРЩ) и щитов бесперебойного питания. Несмотря на это, установленная система мониторинга позволяет отслеживать перечисленные параметры вплоть до отдельных стоек и серверов. В соответствии с пожеланием одного из заказчиков именно такой мониторинг реализован в одном из серверных залов. При наличии запросов подобный уровень может быть обеспечен и в других залах, цена вопроса — стоимость «интеллектуальных» блоков распределения питания (PDU).

В ЦОД «Компрессор» осуществляется и мониторинг всех систем силовой коммутации. Например, при выключении какого-либо электрического автомата оператор дежурной смены сразу получает об этом сигнал. Поскольку ЦОД соответствует Tier III, а значит, в нем имеется два независимых луча электропитания, отключение одного автомата не приведет к перебоям в работе ИТ-оборудования. Однако своевременное обнаружение позволит оперативно устранить проблему. Наличие такой системы мониторинга — это еще и защита от пресловутого человеческого фактора — тот же автомат может быть случайно отключен кем-то из персонала.

В будущем «Крок» намерен пройти третью, последнюю, ступень сертификации, которая охватывает систему эксплуатации. «В рамках подготовки к данной сертификации мы проведем аудит текущих эксплуатационных процессов, затем сравним его результаты с требованиями сертифицирующей компании. При необходимости внесем изменения для приведения имеющейся схемы работы в соответствие требованиям Uptime Institute», — рассказывает Александр Ашавский, руководитель группы эксплуатации ЦОД компании «Крок».

ИНЖЕНЕРКА И ОБЛАКА

В последнее время часто обсуждается вопрос о специальных требованиях к инженерным системам в случае развертывания на базе ЦОД облачных сервисов. Производители начинают говорить про ИБП «для облаков», кондиционеры «для облаков» и т. д. Есть ли в этом действительно какое-то рациональное зерно?

Александр Ласый отмечает два момента. С одной стороны, ориентация ЦОД на продажу облачных сервисов упрощает задачу его унификации: владелец центра обработки данных, он же поставщик облачных сервисов, сам выбирает монтажные стойки, сам заполняет их унифицированными серверами, реализуя оптимальную (с точки зрения системы электропитания и охлаждения) плотность мощности. С другой — для облачных сервисов обычно используются системы с высокой плотностью мощности. Для их нормального функционирования чрезвычайно важным является наличие «продвинутой» системы управления класса DCIM, которая позволила бы отслеживать всевозможные характеристики (температуру, влажность, электропотребление, давление воздуха…), была способна учитывать свободные места, могла взаимодействовать с системой управления физическими ресурсами облака и т. д.

И конечно, ЦОД для облачных сервисов должен обладать высокой степенью готовности. Хотя процесс использования таких сервисов, как говорится, «пошел», дабы преодолеть имеющиеся опасения в отношении новой модели предоставления/потребления ИКТ, важно обеспечить наивысшую отказоустойчивость. Грамотно спроектированная и зарезервированная инженерная инфраструктура — ключевой элемент решения этой задачи.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.