Модернизация ЦОДа в рабочем режиме

В силу необходимости выполнения требований ФЗ № 152 «О персональных данных» спрос на услуги коммерческих ЦОДов со стороны российских и работающих в России международных организаций возрастает, даже несмотря на кризис, а отчасти именно благодаря ему. Стремясь удовлетворить запросы как можно большего числа клиентов, компания Linxdatacenter предприняла широкомасштабную модернизацию своего московского ЦОДа. Осуществление данного проекта осложнялось тем, что обновление и наращивание всех вспомогательных систем надо было провести в функционирующем ЦОДе, без прерывания бизнес-процессов клиентов.

«При модернизации московского ЦОДа нам удалось решить главную задачу: вдвое увеличить количество стоек — до 640 — и тем самым создать условия для расширения объемов предоставляемых клиентам ресурсов. Площадка отвечает ключевым международным стандартам в области безопасности и надежности, поэтому клиенты могут быть уверены в защите и сохранности своих данных». Андрей Перекрест, руководитель московского ЦОДа Linxdatacenter

Московский центр обработки данных Linxdatacenter был первой площадкой, с приобретения которой у WideXS в 2007 году началась деятельность этого европейского оператора ЦОДа в России. Изначально этот ЦОД, построенный еще в начале 2000-х, принадлежал оператору Cable&Wireless. Несмотря на достаточно большую по российским меркам общую площадь машинных залов (2000 м²), расширение бизнеса компании требовало соответствующего увеличения емкости ЦОДа. Еще в 2010 году к имеющимся четырем модулям был добавлен пятый, на 100 стоек. Но и этого вскоре стало не хватать, так что уже в 2012 году Linxdatacenter заявила о новых планах по его модернизации и расширению. По мере роста клиентской базы и запросов заказчиков увеличивалось и количество стоек в имеющихся модулях. Однако спустя некоторое время руководство компании пришло к выводу, что необходима более радикальная и масштабная модернизация существующей площадки, и в 2014 году приступило к реализации этого стратегического проекта.

РАСШИРЕНИЕ ПЛОЩАДКИ

Главной задачей модернизации ЦОДа стало увеличение его емкости (числа стоек) в два раза — с 300 до 640. В качестве одного из возможных путей рассматривалось и строительство новой площадки, но этот вариант был практически сразу отвергнут по ряду оснований. Как объясняет Андрей Перекрест, руководитель московского ЦОДа Linxdatacenter, во-первых, имеющаяся площадка еще не израсходовала всех своих ресурсов и могла вместить дополнительные мощности. Во-вторых, строительство любого ЦОДа требует больших расходов и связано с высокими рисками ввиду необходимости построения новой инфраструктуры и настройки бизнес-процессов. Поэтому было решено сосредоточиться исключительно на модернизации имеющегося объекта.

Три новых модуля располагаются в том же здании, что и остальные. Для реализации этого решения пришлось выполнить небольшую перепланировку внутренних помещений и задействовать пространство здания, остававшееся до этого невостребованным. Однако если имеющиеся свободные площади и позволяли увеличить количество стоек, то подведенной электрической мощности было явно недостаточно для поддержки запланированной нагрузки. Как известно, в Москве подключение к электросетям обходится в немалую сумму, а зачастую дополнительные мощности не удается получить за любые деньги, особенно когда требуются 3 МВт, необходимые для ЦОДа.

Linxdatacenter удалось решить эту, наверное, самую непростую в затеянном проекте задачу, но во что ей обошелся достигнутый результат и каких усилий стоил, в компании не раскрывают. Лишь согласование и получение необходимых документов заняли около полугода. В итоге подведенную мощность удалось увеличить с прежних 2 до 5 МВт. Кроме того, эти дополнительные 3 МВт энергии подаются от двух электрических подстанций, что является еще одним способом резервирования внешних подключений.

Модули ЦОДа оборудованы системой BMS, которая в режиме реального времени контролирует все параметры функционирования инженерных систем. Это позволяет дежурной смене инженеров, работающей в круглосуточном режиме, оперативно среагировать на любую внештатную ситуацию

МОДЕРНИЗАЦИЯ ИНЖЕНЕРНЫХ СИСТЕМ

На момент начала модернизации в ЦОДе имелось пять модулей, в каждом из которых находилось несколько десятков серверных стоек, причем все модули были обеспечены отдельными системами питания, кондиционирования и пожаротушения. Переоснащение ЦОДа предполагало развертывание трех новых модулей различной емкости — от 40 до 160 стоек. Как отмечает Андрей Перекрест, модернизация проводилась за счет внедрения дополнительных систем или расширения уже существующих — замена имеющихся систем на новые в большинстве случаев не проводилась. Как и при строительстве новых объектов, сначала была реализована необходимая инженерная инфраструктура, способная обеспечить работоспособность ЦОДа, и только после этого устанавливались стойки.

В отличие от пяти имеющихся, новые модули подключены к общей системе кондиционирования, где реализован принцип естественного охлаждения. Система построена на базе оборудования Emerson с использованием чиллеров и независима от остальных модулей. Схемой предусматривается установка четырех дополнительных чиллеров, поддерживающих режим фрикулинга, а в качестве хладагента используется 40-процентный этиленгликоль. В целях резервирования проложены две ветки трубопроводов (основная и резервная), а система насосов реализована по схеме 2N. Для повышения надежности и сохранения работоспособности оборудования было дополнительно установлено два аккумулирующих бака с охлаждающей жидкостью, которые могут быть использованы в случае возникновения каких-либо неполадок или простоя чиллеров.

Бесперебойное питание ЦОДа осуществляется по схеме с резервированием 2N. Добавлено восемь новых ИБП производства Emerson по 500 кВА каждый. Для обеспечения стабильной работы оборудования клиентов к каждой стойке подводится два луча питания, готовых взять на себя всю нагрузку. Служба эксплуатации ежедневно проверяет работоспособность ИБП, регулярно проводятся регламентные проверки и осуществляется сервисное обслуживание. При потере напряжения и других проблемах, возникающих в энергосети, аккумуляторные батареи ИБП способны обеспечить работу клиентского оборудования на протяжении 15 мин при полной нагрузке. Этого более чем достаточно для запуска дизель-генераторов.

В рамках проекта модернизации установлено три дополнительных дизель-генератора по 2000 кВА каждый производства компании FG Wilson. В результате их количество увеличилось с шести до девяти. Все эти устройства объединены в одну систему с резервированием N+1. При отсутствии внешней подачи электроэнергии в течение 1 мин подключается столько дизель-генераторов, сколько необходимо для поддержки всей нагрузки и обеспечения непрерывной работы оборудования (до включения ДГУ питание подается от ИБП). Все ИБП и ДГУ подключены к системе BMS — программе по контролю и управлению инженерной инфраструктурой. Она позволяет в режиме реального времени получать данные о работе системы и оперативно выявлять возникающие неполадки в круглосуточном режиме (см. подробнее следующий раздел).

По словам Андрея Перекреста, задействовать ДГУ приходится чрезвычайно редко, поэтому дизель-генераторы почти не эксплуатируются в рабочем режиме — в большинстве случаев их запускают в рамках профилактического обслуживания, которое, в соответствии с техническими требованиями и регламентами, осуществляется раз в год силами специалистов сертифицированной организации. Помимо этого, каждый дизель-генератор еженедельно проверяется сотрудниками службы эксплуатации Linxdatacenter, для чего проводится тестовый запуск, в ходе которого отслеживаются параметры установки.

Помимо систем охлаждения, гарантированного и бесперебойного питания, обновление коснулось систем пожаротушения и пожарной сигнализации, выбор которых является критичным для любого ЦОДа. Ведь важно не только ликвидировать возгорание, но и не повредить клиентское оборудование. Проведя оценку существующих систем газового пожаротушения, специалисты Linxdatacenter решили использовать огнетушащее средство Novec 1230. Данное вещество отличается от традиционных газов, используемых в подобных системах, значительно превосходя их с точки зрения безопасности применения.

Чаще всего тушение возгораний осуществляется за счет понижения уровня кислорода в помещении, в результате чего создается дополнительная угроза для жизни тех, кто в нем находится. Novec 1230 в процессе тушения не поглощает кислород, а необходимая для тушения концентрация этого вещества столь мала, что его применение не вызывает у людей таких побочных эффектов, как раздражение слизистой оболочки органов дыхания или поражение кожных покровов. При комнатной температуре в несжатом виде агент представляет собой жидкость, похожую на воду, так что его иногда называют «сухой водой».

В качестве дополнительных мер защиты персонала предусматриваются средства самоспасения, наличие которых является обязательным требованием. Вся система функционирует в автоматическом режиме и связана с пожарной сигнализацией, которая срабатывает, если в помещении активируются два датчика.

Помещения центра обработки данных оснащены системой газового пожаротушения c использованием огнетушащего средства Novec 1230

УПРАВЛЕНИЕ И ОБСЛУЖИВАНИЕ ЦОДА

Постоянный мониторинг и контроль параметров систем энергоснабжения, охлаждения, обнаружения и тушения пожара, контроля доступа и видеонаблюдения осуществляются в круглосуточном режиме с помощью интегрированной системы управления. Для контроля ЦОДа используется система контроля инженерных систем здания (Building Management System, BMS) от компании Beckhoff. Информация выводится на монитор дежурной смены и позволяет отслеживать состояние различных подсистем в реальном времени. По словам Андрея Перекреста, использование решения для управления инфраструктурой ЦОДа (Data Center Infrastructure Management, DCIM) даже не рассматривалось: эффективное функционирование инфраструктуры ЦОДа полностью обеспечивается уже установленными системами.

Поддержку сервисов и клиентского оборудования осуществляют дежурные и сотрудники охраны в режиме 24/7/365. Персонал московского ЦОДа Linxdatacenter является частью международной глобальной службы поддержки и отвечает за обслуживание не только российских, но и международных клиентов. Каждый инженер владеет иностранным языком и способен ответить на любые вопросы. Помимо выполнения своих прямых обязанностей по обработке запросов, касающихся проверки состояния оборудования, перекоммутации, индикации и многого другого, технические специалисты центра нередко выступают в роли консультантов и отвечают на вопросы о предоставлении телекоммуникационных услуг. «Наша техническая поддержка представляет собой прямой канал связи между клиентами и компанией, — рассказывает Андрей Перекрест. — Ее сотрудники нередко сталкиваются с вопросами, выходящими за рамки технических тем, поэтому все они обладают необходимой информацией и готовы к таким ситуациям».

ПЕРЕЕЗД БЕЗ ПЕРЕРЫВА

Процесс модернизации осложнялся тем, что все изменения приходилось осуществлять в стенах существующего и работающего в штатном режиме ЦОДа, при этом модернизация предполагала не только установку новых систем, но и усовершенствование текущих. Благодаря предварительной тщательной подготовке проекта и проработке всех деталей удалось реализовать проект в соответствии с составленным планом и избежать каких-либо масштабных проблем.

Проведение строительных и монтажных работ потребовало от специалистов Linxdatacenter выполнения ряда согласованных мероприятий в отношении использования имеющихся систем — например, часть клиентской инфраструктуры пришлось перенести в другие модули. Все подобные изменения тщательно просчитывались и заранее обговаривались с клиентами, благодаря чему миграцию удалось осуществить в кратчайшие сроки, в наиболее удобное для заказчиков время и не затрагивая их бизнес-процессы.

У компании уже имелся определенный опыт модернизации систем в работающем ЦОДе, хотя и не в таких масштабах. «Системы ЦОДа постоянно обновляются для того, чтобы мы могли предоставлять клиентам качественный сервис и гарантировать непрерывность их бизнеса, — рассказывает Андрей Перекрест. — Если мы видим возможность оптимизации систем в плане надежности или сохранения ресурсов оборудования, то оперативно вносим необходимые изменения».

Как уже отмечалось, и новые, и уже существующие системы ЦОДа зарезервированы — в частности, у систем энергоснабжения и охлаждения степень резервирования составляет 2N или N+1. В том числе благодаря этому, в ходе выполнения работ никаких отключений клиентского оборудования не происходило и, как подчеркивает Андрей Перекрест, не могло произойти даже в случае непредвиденных обстоятельств.

Оборудование ГРЩ (на снимке). Для обеспечения надежного энергоснабжения ЦОДа дополнительно подведено 3 МВт и установлено три ДГУ. Все ИБП и ДГУ подключены к системе BMS

ПРЕДВАРИТЕЛЬНЫЕ РЕЗУЛЬТАТЫ

Благодаря модернизации удалось, как и планировалось, увеличить вместимость ЦОДа вдвое — до 600 стоек, причем новые стойки рассчитаны на более мощную нагрузку — в среднем на 6 кВт. Однако это не максимальные значения: при необходимости в модули могут быть установлены стойки с оборудованием общей мощностью до 15 кВт. Важно отметить, что общее количество стоек было увеличено исключительно за счет ресурсов новых модулей. На данный момент московский ЦОД Linxdatacenter обслуживает около 100 клиентов: за время модернизации их число увеличилось в полтора раза.

Вместо прежних пяти теперь имеется восемь модулей. Два новых уже введены в эксплуатацию после предварительного тщательного тестирования. Они полностью работоспособны и готовы выдержать возлагаемые нагрузки. По общей площади три новых модуля превосходят все старые. Так, в самом большом, строительство которого осуществляется в данный момент, будет располагаться около 156 стоек.

Мощность ЦОДа увеличилась с 2 до 5 МВт, причем дополнительные 3 МВт подаются от двух новых подстанций. Кроме того, вместо шести дизель-генераторов теперь подключено девять, а к системе бесперебойного питания добавилось восемь ИБП по 500 кВА каждый. Для обеспечения требуемых климатических параметров внедрена система естественного охлаждения на базе чиллеров. Были модифицированы системы пожаротушения и пожарной сигнализации.

При модернизации ЦОДа не ставилось задачи добиться какого-то определенного значения коэффициента эффективности использования энергии (Power Usage Effectiveness, PUE). Однако благодаря внедрению таких решений, как фрикулинг, по предварительным подсчетам ожидается, что показатель PUE составит 1,4. Но пока это только предварительная оценка — реальная цифра будет известна после завершения всех работ по модернизации и определенного периода эксплуатации.

Компания Linxdatacenter располагает четырьмя ЦОДами, расположенными в различных городах, что позволяет обеспечить необходимый уровень катастрофоустойчивости для всех ее ЦОДов. Компания имеет подтвержденные сертификаты ISO 9001 на систему менеджмента качества и ISO 27001 на систему менеджмента информационной безопасности. К аудиту, который проводила международная организация, в Linxdatacenter готовились в течение года, и он полностью подтвердил соответствие этим стандартам.

Как утверждается, московская площадка отвечает всем требованиям Tier III к надежности ЦОДа, однако сертификации Uptime Institute на соответствие этим параметрам ЦОД Linxdatacenter пока не имеет. Как поясняет Андрей Перекрест, при выборе ЦОДа заказчик всегда проверяет работоспособность системы, поэтому клиентам предоставляется вся необходимая информация, позволяющая убедиться, что все системы ЦОДа реализованы в соответствии со стандартом Tier III и обладают необходимым уровнем резервирования. «Наших клиентов полностью устраивает надежность центра, — уверен он. — Поэтому никаких осложнений с отсутствием официального сертификата не возникает». Тем не менее руководство компании не исключает проведения сертификации в будущем.

Дмитрий Ганьжа — главный редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: diga@lanmag.ru.