Центры обработки данных DataLine: здоровый прагматизм

Согласно различным рейтингам, DataLine неизменно входит в тройку крупнейших провайдеров услуг ЦОД в России. Помимо традиционных услуг по размещению оборудования, компания активно и успешно предоставляет облачные сервисы. А все начиналось более пяти лет назад, когда у российских специалистов отсутствовал практический опыт создания крупных коммерческих ЦОД высокой надежности.

По сути, познавать «искусство» создания ЦОД специалистам DataLine пришлось сразу на практике — при построении первого центра обработки данных (впоследствии получившего название OST) в Москве на улице Боровая. Проекты основных инженерных систем были заказаны на стороне — у именитых компаний. И все же не обошлось без сложностей

РАЗВЕДКА — БОЕМ

«На систему бесперебойного гарантированного электропитания мы получили тщательно проработанный, очень хороший проект, — рассказывает Сергей Мищук, технический директор DataLine. — Но он оказался слишком дорогим, в основном из-за того, что для распределения электричества предусматривались шинопроводы».

Схему системы электропитания пришлось переделывать. Что интересно, если в первом варианте для ИБП была заложена схема резервирования N+1, то во втором — 2N, и все равно он получился существенно дешевле. «Если делать все правильно, для обеспечения отказоустойчивости сборную шину после ИБП в схеме N+1 надо дублировать. Она рассчитывается на большой ток и стоит дорого, — поясняет Сергей Мищук. — В реализованном же решении по схеме 2N сразу после каждого ИБП устанавливается силовой шкаф, откуда электропитание распределяется на нагрузку».

Первоначальный проект на систему холодоснабжения тоже пришлось очень серьезно корректировать. В исходном варианте была предложена классическая чиллерная система «гликоль — вода» (незамерзающий холодоноситель во внешнем контуре, вода — во внутреннем) с теплообменниками между контурами и системой баков-аккумуляторов для охлажденной воды.

«Многие, кто видел проект, восхищались: какой прекрасный, грамотный проект! — вспоминает технический директор DataLine. — Проблема была в том, что предложенное решение не помещалось в имеющееся здание — ни баки-аккумуляторы, ни теплообменники просто некуда было ставить, а в некоторых помещениях запроектированную разводку трубопроводов невозможно было реализовать из-за тесноты».

Проблемы возникли и со стоимостью реализации предложенного проекта. На этапе бюджетирования основные средства были выделены на чиллеры и кондиционерные блоки, а на обвязку системы охлаждения было предусмотрено всего около 10%. В действительности же оказалось, что она стоит значительно дороже.

В итоге, чтобы все оборудование поместилось в здание и вписалось в бюджет, схему охлаждения было решено упростить, отказавшись от теплообменников «гликоль — вода» и баков-аккумуляторов. В качестве чиллеров и шкафных кондиционеров была выбрана продукция Emicon, причем закупленные чиллеры поддерживали функцию фрикулинга.

КОГДА НАГРУЗКА РАСТЕТ

Итак, в 2009 году компания DataLine вышла на рынок услуг ЦОД. В ее ЦОД на Боровой имелось два машзала, охлаждение которых осуществлялось классическим способом: подключенные к чиллерному контуру шкафные кондиционеры нагнетали холодный воздух под фальшпол, откуда он выходил перед стойками с ИТ-оборудованием. В кризисный год спрос на услуги КЦОД рос стремительно, залы быстро заполнялись, нагрузка росла. И уже в скором времени возникла задача повышения эффективности работы системы охлаждения.

Как рассказывают специалисты DataLine, риск локального перегрева возникал в первую очередь в моменты нештатных ситуаций — например, когда пропадало внешнее энергоснабжение и система электропитания переводилась на работу от дизель-генераторов. «Сами по себе дизели стартуют быстро, секунд за 10. А вот для компрессоров чиллера, даже после кратковременного прерывания электропитания, полагается выдержать пятиминутную паузу перед запуском, — рассказывает Сергей Мищук. — Все это время охлаждение обеспечивается за счет инерционности чиллерного контура, по которому продолжает циркулировать хладоноситель. Однако температура в машзале при этом постепенно растет и может превысить величину, зафиксированную в SLA».

Рисунок 1. Изоляция холодных коридоров в ЦОД OSТ была осуществлена путем их закрытия (установкой дверей и крыши) конструкциями из листов поликарбоната.

В качестве такой величины в ЦОД DataLine принята температура +26°С на входе в серверы. Чтобы устранить риск перегрева, было решено изолировать холодные коридоры, что и было осуществлено путем их закрытия (установкой дверей и крыши) конструкциями из листов поликарбоната (см. Рисунок 1). По умолчанию DataLine предлагает своим клиентам устанавливать оборудование в стойки и шкафы Schneider Electric (APC), однако часть клиентов размещают в залах оборудование нестандартных габаритов — например, большие системы хранения данных. Имеющиеся на рынке системы изоляции коридоров ориентированы преимущественно на стойки конкретного типа или по крайней мере одинакового размера. Изготовление конструктивных элементов изоляции коридоров «по месту» позволило решить проблему нестандартного оборудования.

Для съема тепла со стоек с увеличенной нагрузкой были установлены вентилируемые двери. Такая вытяжная дверь, которая активно откачивает горячий воздух, улучшает теплосъем и легко навешивается вместо штатной двери в шкафах APC.

«В этих залах у нас есть стойки на 7–8 кВт, и с ними не возникает никаких проблем, — продолжает Сергей Мищук. — Стойка просто «выбрасывает» больший объем горячего воздуха. Если он при этом не задувается в соседние стойки, то все нормально. Главное — обеспечить достаточно холодного воздуха перед ней».

Рисунок 2. В зале с более жесткими требованиями по теплоотводу установлено решение по изоляции горячего коридора (Hot Aisle Containment System, HACS) с внутрирядными кондиционерами APC InRow.

При оснащении третьего зала в ЦОД на Боровой был выбран иной подход к организации охлаждения. Этот зал готовился для конкретного заказчика, который изначально сформулировал более жесткие требования по теплоотводу — до 9 кВт со стойки. Поэтому была выбрана гибридная схема: наряду со шкафными прецизионными кондиционерами используются внутрирядные модели APC InRow в составе решения изоляции горячего коридора (Hot Aisle Containment System, HACS) — см. Рисунок 2. В этом случае внутрирядные кондиционеры вытягивают теплый воздух из горячего коридора и выбрасывают его наружу.

«Изоляция горячего коридора требует установки внутрирядных кондиционеров или организации хитроумных вытяжек (чтобы забирать горячий воздух), поэтому это решение дороже, чем изоляция холодного коридора, для реализации которого достаточно установки дверей и крыши из поликарбоната. Хотя, конечно, эффективность системы охлаждения при изоляции горячего коридора существенно выше», — объясняет Сергей Мищук. (Подробное сравнение двух вариантов изоляции воздушных потоков дано в статье «Влияние изоляции горячего и холодного коридоров на температуру и эффективность», опубликованной в октябрьском номере «Журнала сетевых решений/LAN» за 2013 год.)

ДАЛЬНЕЙШАЯ ЭКСПАНСИЯ

Стремление компаний оптимизировать свои ИТ-затраты в условиях нестабильного состояния экономики способствует спросу на услуги КЦОД. Провайдерам надо было быстро вводить в эксплуатацию новые площади, при этом по возможности минимизировав капитальные затраты. Это сказалось на выборе технических решений для второй площадки DataLine, которая расположена на Коровинском шоссе.

Рисунок 3. Внешние блоки фреоновых кондиционеров.

При строительстве ЦОД на этой площадке компания уже опиралась на опыт создания и эксплуатации своего первого центра обработки данных, учитывая не только положительные, но и отрицательные моменты. Дабы снизить капитальные затраты, в качестве системы охлаждения было решено использовать кондиционеры с прямым расширением (Direct Expansion, DX) и фреоном в качестве хладагента (см. Рисунок 3). Это не самое энергоэффективное решение, зато проектирование и инсталляция такого оборудования осуществляются гораздо проще и быстрее. В случае же решения на охлажденной воде один этап проектирования и подготовки рабочей документации занимает несколько месяцев — такого времени у DataLine просто не было.

На данный момент на площадке на Коровинском шоссе в эксплуатации находятся три ЦОД (NORD 1, NORD 2, NORD 3), каждый из которых расположен в отдельно стоящем здании. Их общая площадь составляет 4913 м2 и рассчитана на 1208 стойко-мест средней мощностью 5–6,5 кВт. Машинные залы выполнены в виде гермозон («дом в доме»), что обеспечивает дополнительную физическую защиту оборудования от любого внешнего воздействия.

Если в первом ЦОД на Коровинском шоссе (NORD 1) используются кондиционеры Hiref, то в NORD 2 и NORD 3 установлены технические решения Uniflair. К моменту выбора решений для данных объектов этот итальянский производитель (Uniflair) вошел в состав Schneider Electric, и, учитывая успешный опыт многолетнего сотрудничества с этой компанией, DataLine решила работать с ней и по этой категории продуктов.

Рисунок 4. В ЦОД NORD установлены ИБП Galaxy 7000; они имеют высокий КПД при малых нагрузках, что особенно важно  при схеме резервирования 2N, когда в штатном режиме нагрузка на ИБП не превышает 45% от паспортной.

Как уже упоминалось, DataLine использует монтажные конструктивы и внутрирядные кондиционеры производства Schneider Electric, а кроме того, применяет ее источники бесперебойного питания, блоки распределения питания (PDU) и оборудование главного распределительного щита. «Полученный опыт в плане проектирования и стабильное качество Schneider помогли нам в более сжатые сроки вводить в строй новые объекты», — отмечает Кирилл Шадский, начальник отдела эксплуатации DataLine.

Если в ЦОД OST защиту питания нагрузки обеспечивают ИБП MGE Galaxy серий 5000 и 6000, то для объектов NORD были выбраны устройства Galaxy 7000 (см. Рисунок 4). Как поясняют специалисты DataLine, эти системы имеют более высокий КПД при малых нагрузках, что особенно важно при схеме резервирования 2N, когда в штатном режиме нагрузка на ИБП не превышает 45% паспортной.

ВСЁ ПОД КОНТРОЛЕМ

Рисунок 5. Система управления ЦОД DataLine построена на основе продуктов с открытым исход- ным кодом: Nagios и Cacti.

Практичный подход DataLine проявляет во всем, включая организацию столь важной для современного ЦОД системы мониторинга (см. Рисунок 5). Для отслеживания температуры на входе в стойки в холодных коридорах ЦОД установлены соответствующие датчики, число которых постепенно увеличивается и доходит до 10 на ряд. Используемые аналоговые датчики подключаются к устройствам UniPing, преобразующим информацию в формат SNMP и отправляющим на серверы мониторинга по сети Ethernet.

В качестве платформы для мониторинга используется программа Nagios с открытым кодом. По SNMP на нее поступает вся информация не только с датчиков температуры, но и со всего инженерного оборудования. Часть установленного оборудования поддерживает шину Modbus. В этом случае в качестве шлюза между Modbus и Ethernet применяются специализированные преобразователи (преимущественно MOXA). Для части систем специалистам DataLine пришлось самим писать адаптеры, позволяющие снять с них информацию в формате, «понятном» применяемому программному обеспечению.

Основная задача Nagios — контроль состояния инженерных систем и температурного режима и оповещение администратора о нештатных ситуациях. Кроме Nagios, используется еще одно приложение с открытым кодом — Cacti, которое собирает статистические данные за определенные временные интервалы и отображает их в графическом виде. Для регистрации и отслеживания инцидентов (к которым относятся нарушения температурного режима, сбои в работе инженерного оборудования, другие нештатные события) используется коммерческая система BMC Remedy.

При формировании изначальной концепции ЦОД была предусмотрена установка в каждую стойку интеллектуальных блоков распределения питания (Power Distribution Unit, PDU) производства Schneider Electric для сбора информации о реальном энергопотреблении. Но, как показала практика, это решение не очень востребовано заказчиками, его применяет только небольшая часть клиентов. Сама DataLine использует его для мониторинга энергопотребления тех стоек, где размещена платформа для предоставления облачных сервисов.

Развернутую в ЦОД DataLine систему управления нельзя, откровенно говоря, назвать решением класса DCIM — хотя бы по причине того, что она не предусматривает автоматических активных действий. Впрочем, Кирилл Шадский против использования подобной функциональности, поскольку она увеличивает риск, связанный с человеческими ошибками и программными сбоями, и может оказаться просто опасной.

Зато используемая система достаточно эффективно решает свои задачи. Более того, не только эффективно, но и эффектно. Так, при входе в ЦОД OST расположен экран, на который в графическом виде выводятся все основные параметры функционирования и состояния основных систем ЦОД. Ожидая оформления пропуска, заказчик может наглядно увидеть интересующие его показатели. А в ходе моего общения с представителями DataLine, когда возник вопрос о коэффициенте PUE, Кирилл Шадский тут же достал смартфон и сообщил текущий показатель (около 2,0). Это, достаточно высокое, значение объяснялось теплой погодой (на улице в тот декабрьский день было почти +5°С), а потому система фрикулинга не работала. Буквально накануне, когда было холоднее, среднесуточный PUE был около 1,8, что совсем неплохо для объекта, построенного пять лет назад.

Данная возможность реализуется с помощью мобильного приложения DataLine4All, разработанного для устройств под управлением iOS и Android. Оно позволяет следить в режиме онлайн за показателями центров обработки данных. Расширенная версия этого приложения для клиентов дает возможность отслеживать состояние оборудования, размещенного в ЦОД, оперативно связываться с дежурными и пр.

На мониторе в офисе DataLine в режиме реального времени транслируется картинка с большой стройки, где возводится новый центр обработки данных NORD  4, запуск которого в эксплуатацию запланирован на 2014 год. На площади 11 700 м2 будет размещено до 2000 стоек, что сделает этот центр обработки данных одним из самых крупных в России. Прагматичная стратегия DataLine, ориентированная на экономическую эффективность, приносит свои плоды, позволяя предлагать клиентам конкурентоспособные цены при высоком качестве и надежности. Компания все больше укрепляется в роли одного из ведущих поставщиков услуг КЦОД и облачных сервисов на российском рынке.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.