Смена парадигмы ЦОДостроения?

Они позволяют сократить время и стоимость создания ЦОД, а его расширение и наращивание производить в четком соответствии с ростом потребностей. Неудивительно, что модульный подход вызывает огромный интерес специалистов, и это в очередной раз подтвердил прошедший 30–31 мая в Москве третий форум «Мир ЦОД».

Традиционный подход — возведение так называемых монолитных ЦОД — характеризуется большими затратами времени и средств. Чтобы показать неэффективность такого подхода, Алексей Соловьев, инженер проектов Schneider Electric Data Solution Team, предложил проделать мысленный эксперимент и применить его к процессу создания автомобиля: «Представьте, что вам придется пригласить консультантов для разработки концепции автомобиля, затем привлечь проектировщиков, выбрать технологии двигателя, тормозов и подвески, разместить заказы на отдельные узлы, затем собрать автомобиль с помощью знакомых парней у себя в гараже. Так было в автомобильной отрасли 100 лет назад. Сегодня все изменилось: создавая новую модель, производитель сам проводит ресурсные испытания, моделирует отказы и их последствия, гарантирует совместимость узлов и пр. А вы просто выбираете готовую машину, точно зная ее основные параметры: мощность, расход бензина, стоимость ТО и пр.».

Сегодня при построении ЦОД часто приходится интегрировать элементы инженерных систем разных производителей. Охлаждение обычно осуществляется прецизионными кондиционерами, расположенными непосредственно в вычислительном зале либо по его периметру, а холодный воздух распределяется через перфорированные плиты фальшпола (за редким исключением, когда при высокой плотности нагрузки используются внутрирядные кондиционеры и средства контейнеризации). Система управления создается индивидуально для конкретного проекта. По данным Schneider Electric, так построены более 90% всех существующих ЦОД и так создаются более 80% новых объектов.

По мнению экспертов этой компании, традиционный подход к проектированию ЦОД как уникального единичного объекта уходит в прошлое, а ему на смену приходит модульный подход. «Использование заранее подготовленных и собранных строительных блоков позволяет получить систему повторяемую, легко наращиваемую, с заданными параметрами отказоустойчивости и другими характеристиками, — отмечает Алексей Соловьев. — Основной выигрыш обеспечивает стандартизация самих модулей и средств управления. Такие модули имеют заранее известные параметры, они могут обладать внутренней избыточностью или же их можно объединять для достижения требуемого уровня отказоустойчивости».

Сергей Зайцев, директор управления регионального развития компании Stack Data Network, среди преимуществ модульного подхода называет уменьшение затрат на строительство, а также поэтапные ввод в эксплуатацию мощностей ЦОД и их последующее наращивание.

ИНЖЕНЕРНЫЕ МОДУЛИ

Schneider Electric выпускает три варианта модулей для ЦОД. Это системы воздушного и водяного (чиллеры) охлаждения на 400 и 500 кВт соответственно, а также модуль электропитания с ИБП мощностью 500 кВт и распределительной аппаратурой на 1000 кВт (см. Рисунок 1). Компания предлагает размещать эти модули вне здания ЦОД, что позволяет легко и просто наращивать мощность или повышать уровень резервирования, добавляя модули по мере необходимости.

Рисунок 1. Внешний вид и внутренняя начинка модуля электропитания с ИБП мощностью 500 кВт, предлагаемого компанией Schneider Electric.

Многие годы на рынке существует стереотип, что модульный центр обработки данных — это ЦОД в контейнере. На форуме неоднократно подчеркивалось их различие. «То, что модули ЦОД выполнены на базе контейнера, — просто совпадение. Это удобный форм-фактор, но они также могут быть больше или меньше по размеру», — указывает Алексей Соловьев.

Предлагаемые Schneider Electric модули могут применяться и для инженерного обеспечения контейнерных ЦОД. Более того, у самой компании есть такие ЦОД, но, как считает Алексей Соловьев, размещать стойки в узком контейнере неудобно, хотя у подобных решений есть свои заказчики.

Представители Schneider Electric приводят массу доводов в пользу модульных ЦОД (см. Таблицу 1). Опыт реализации конкретных проектов показал, что использование модульных конструкций примерно в 2,5 раза сокращает время создания ЦОД (с 88 до 34 недель). К уже названным плюсам можно добавить и возможность простой замены и перебазирования инженерных систем.

Таблица 1. Сравнение характеристик традиционных и модульных («кубики») ЦОД.

МОДУЛИ В «СТЕК»

Если Schneider Electric, в соответствии со своей специализацией, ограничивается поставкой модулей основных инженерных систем, то компания Stack Data Network последние два года активно разрабатывала модульные ЦОД, в которых помещения для основного оборудования также расширяют «кубиками» — серверными ячейками.

Первым шагом по реализации представленного на форуме «Мир ЦОД» решения является производство такой ячейки — с шинопроводами, кабельными системами и элементами пожаротушения. На строительной площадке она стыкуется с системами электро- и холодоснабжения — таким образом и получается полноценный модуль будущего ЦОД. Он может легко масштабироваться путем добавления необходимого числа серверных ячеек, а по мере необходимости — дополнительных систем электропитания и охлаждения.

По такому принципу Stack Data Network сейчас возводит два ЦОД: в Санкт-Петербурге и Казани. Объект в Cеверной столице рассчитан на общую мощность 14 МВт (с возможным расширением до 20 MВт) и емкость 1476 стоек. На первом этапе, ориентировочно в ноябре текущего года, будет введен в эксплуатацию стартовый модуль на 400 стоек. Целевые характеристики ЦОД в столице Татарстана: мощность 2,5 МВт, емкость 376 стоек. Модуль на 140 стоек должен быть запущен уже в июле. В обоих ЦОД нагрузка на каждую стойку может доходить до 40 кВт.

Примечательными являются используемые в модульных ЦОД компании Stack инженерные решения. Это широко обсуждаемые, но пока еще мало используемые динамические ИБП (Stack применяет продукты компании Hitec) и системы охлаждения на роторных регенераторах (тепловых колесах) компании Kyoto Cooling. Правда, такие решения эффективны на достаточно крупных объектах, поэтому и «квант» наращивания в данном случае достаточно большой — от 0,5 МВт и больше.

Сроки создания ЦОД по модульной технологии, по данным Stack, составляют около года. При этом основное время уходит на получение всех разрешений и согласований. Когда все согласования проведены и объект подключен к энергетической сети, компания Stack, по словам Сергея Зайцева, «готова запускать модули по 200 стоек каждые два месяца».

ЗАЩИЩЕННЫЙ «КУБИК»

В отдельную категорию модульных решений обычно выделяют центры обработки данных, созданные на базе защищенных ИТ-комнат. Хотя такие комнаты существенно отличаются от рассмотренных выше модульных решений, нельзя не признать, что они обладают такими свойственными «модулям» характеристиками, как быстрота развертывания и возможность перебазирования на новое место.

Для размещения защищенных ИТ-комнат обычно не требуется производить специальную подготовку помещения, они устанавливаются, например, в обычных ангарах по принципу «дом в доме». Пожалуй, самым известным в России решением по созданию защищенных ИТ-комнат является разработка Lampertz, которая сейчас принадлежит компании Rittal. Наталья Зинкевич, руководитель департамента Data Center Solutions «Риттал», представила на форуме проект по созданию ЦОД на базе таких комнат в компании «Башнефть».

Заказчику необходимо было построить ЦОД на территории нефтеперерабатывающего завода, в зоне повышенного риска, что и предопределило выбор в пользу модульного помещения физической защиты. Второе важное требование состояло в 100-процентном резервировании всех элементов питания (ИБП, ДГУ). Для обеспечения этого условия в рамках проекта было создано два помещения для размещения систем бесперебойного электроснабжения (СБЭ) и организована подача питания от двух независимых подстанций на каждую из СБЭ.

Первым этапом стал поиск подходящей площадки для развертывания ЦОД. Обследование показало, что на заводе нет готовых помещений, отвечающих всем необходимым требованиям. После консультаций с заказчиком было принято решение о построении отдельного ангара на территории предприятия.

Как отмечает Наталья Зинкевич, в рамках этого проекта компанией впервые в России был создан комплекс, состоящий из помещений безопасности с разными уровнями защиты. Для основного машинного зала была выбрана максимальная степень защиты (помещение LSR 18.6E), для комнат СБЭ — средняя степень защиты (LER Extend), а для токораспределительной/ щитовой — базовый уровень (LER Basic). Такой выбор позволил оптимизировать стоимость решения в целом, при этом обеспечив необходимый уровень безопасности с учетом зонирования.

С момента принятия решения заказчиком о создании ЦОД на предприятии в Уфе до окончания работ по созданию инфраструктуры центра прошло семь месяцев, причем основное время ушло на согласование документации и поставку. Сборка и ввод в эксплуатацию заняли примерно четыре недели.

ИТ-комнаты Rittal обеспечивают высокую степень защиты от всех основных угроз физической безопасности: от воды, пыли, коррозийного газа, падающих обломков, воровства, взрывов. В частности, как показывает тестирование средств противопожарной защиты, комнаты LSR 18.6E выдерживают 180 минут при температуре 1100°С. При заливании водой защита от затопления гарантируется в течение 72 ч. При взрыве 200 кг тротила на расстоянии 40 м от комнаты находящееся внутри ИТ-оборудование остается неповрежденным: стенки комнаты прогибаются примерно на 30 см, но возвращаются на место.

МОДУЛЬНОСТЬ «ВНИЗ»

Если рассмотренные выше «крупноузловые» модульные решения только начинают завоевывать рынок, то отдельные устройства с модульной конструкцией уже давно используются при построении ЦОД. В частности, уже много лет выпускаются модульные ИБП, при этом они продолжают совершенствоваться. Как утверждает Андрей Вотановский, технический специалист Emerson Network Power, в новой системе Liebert APM (30–150 кВА) разработчикам компании удалось избавиться от вещей, ранее вызывавших у заказчиков сомнения в целесообразности применения модульных систем. ИБП построен на основе полностью пассивного шасси без каких-либо активных элементов, что повышает его надежность и ремонтопригодность — любые компоненты можно оперативно заменить. Заказчик получает максимальную гибкость в части использования аккумуляторных батарей: источник может работать с любыми стандартными внешними батареями, в том числе с оставшимися от предыдущей инсталляции. Внутренняя модульность ИБП дополняется возможностью подключения до четырех систем в параллель, что расширяет возможности по выбору необходимой конфигурации.

Характеризуя флагманский ИБП Trinergy, представители компании Chloride Rus заявляют о «трехмерной модульности». Под «вертикальной модульностью» подразумевается то, что каждый базовый блок на 200 кВт у таких ИБП состоит из отдельных модулей. Как подчеркивает Станислав Ильенко, коммерческий директор компании Chloride Rus, вес отдельного модуля не превышает 70 кг, что облегчает обслуживание системы. «Горизонтальная модульность» предусматривает возможность добавления дополнительных модулей по 200 кВт и формирование системы общей мощностью до 1,2 МВт. Наконец, «ортогональная модульность» — это параллельное подключение до восьми систем и доведение суммарной мощности комплекса до 9,6 МВт. Хотя за подобной терминологией видна «рука» маркетологов, масштабируемость Trinergy действительно впечатляет.

Преимущества модульного принципа построения применяются во все большем числе устройств — например, Emerson Network Power реализовала его в новых блоках распределения питания (PDU). Ее адаптивные блоки MPX, по сути, представляют собой конструктор, который позволяет собрать решение под задачи конкретного проекта. Основные его элементы: шасси с шинами питания и управления, модуль ввода питания и розеточные модули. Шины могут быть как короткими (1035 мм), так и длинными (1880 мм), а розеточные модули — с розетками различных типов: простыми (неуправляемыми), с функцией мониторинга, а также с функциями мониторинга и управления. Подбирая нужные компоненты, заказчик получает PDU, оптимально соответствующий его задачам — как по цене, так и по емкости и функционалу. Поскольку розеточные модули предусматривают возможность горячей замены, наращивание блока PDU можно осуществлять без отключения нагрузки.

С ВИДОМ НА БУДУЩЕЕ

Модульные решения — отличный способ заставить работать инвестиции максимально быстро и эффективно, в точном соответствии с запросами бизнеса. Если модульность на уровне отдельных элементов ЦОД — вещь уже апробированная, то «большим» модулям, наподобие тех, что предлагают Schneider Electric и Stack, еще только предстоит доказать свою состоятельность. Но, судя по всему, у них хорошие перспективы.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.