Модульные ЦОД 2.0

Модульные ЦОД привлекали внимание специалистов уже давно, однако только в последние год-два проекты, что называется, «пошли». Технические решения «дозрели», а риски, связанные с первоначальными внедрениями, снизились. Доклады по этой тематике на форуме «МИР ЦОД – 2014» были объединены в отдельный технологический поток.

Многие эксперты называют модульный подход наиболее значимой инновацией в эволюции ЦОД. Согласно прогнозу MarketsandMarkets, к 2018 году объем рынка соответствующих решений составит свыше 40 млрд долларов, при этом среднегодовые темпы роста будут равны 37%. Перспективность данного рынка подтверждает и то, что на него выходят все новые и новые производители.

По мнению Антона Жукова, системного инженера компании Schneider Electric, одной из характерных ошибок, совершаемых заказчиками ЦОД, является сравнение характеристик отдельных продуктов (будь то кондиционеры, ИБП или другие изделия), тогда как следует сопоставлять свойства комплексных решений, поскольку все составляющие инженерной инфраструктуры взаимо связаны.

«Нельзя сделать ЦОД более эффективным (надежным, предсказуемым, гибким) и менее затратным просто улучшая отдельные компоненты, — утверждает он. — Необходим системный подход, который в полной мере реализуется в модульных ЦОД». Стратегия повторяемых модулей обеспечивает простое и быстрое проектирование, а также гарантированное достижение заявленных показателей эффективности и надежности. При этом отсутствует необходимость ручной доработки решения на площадке, а ответственность за продукт лежит на производителе, а не на проектировщике.

По данным, которые приводит Степан Большаков, технический директор представительства компании CommScope в России и странах СНГ, средний срок реализации проекта ЦОД путем традиционного строительства обычно составляет два-три года. Он связан с большими капитальными затратами, а расчетный срок окупаемости равен пять – семь лет. «Многих заказчиков это не устраивает, и они с надеждой смотрят в сторону модульных решений», — отмечает он.

К преимуществам модульных ЦОД Всеволод Воробьев, ведущий консультант по инженерным системам компании «Инфосистемы Джет», относит то, что для их развертывания не требуется строить или капитально ремонтировать здания, чем обеспечиваются быстрые сроки внедрения. При выборе модульных решений общая стоимость владения (TCO) центром обработки данных оказывается минимальной.

РАЗНЫЕ ВАРИАНТЫ

Первые попытки классифицировать все многообразие имеющихся на рынке модульных ЦОД «Журнал сетевых решений/LAN» предпринял в 2011 году (см. статью автора «Стройте ЦОД модулями» в июльском номере за указанный год). С тех пор число игроков и продуктов на этом рынке выросло, но, как и тогда, единого общепринятого понимания, что же такое модульный ЦОД, не появилось. Точка зрения конкретного производителя (поставщика) во многом определяется спецификой его предложения.

Модульный ЦОД формируется из типовых (повторяемых) модулей. Конструктивно они должны быть построены так, чтобы сложность развертывания и последующего расширения ЦОД была минимальна, а в идеале позволяла не только наращивать, но и сворачивать ЦОД — например, когда требуется перенести его на другое место. Важно, чтобы совместимость модулей была проверена заранее (на заводе) и так же заранее сформулированы ключевые характеристики системы, составленной из предписанных комбинаций модулей.

По мнению экспертов Schneider Electric, набор модулей должен включать в себя «подсистемы, необходимые и достаточные для создания ЦОД». Они называют три типа таких модулей (электропитания, охлаждения и ИТ-модуль) и три основных форм-фактора: стандартный (ISO) контейнер, нестандартный контейнер и модульное здание (см. Рисунок 1).

Рисунок 1. Типы модульных ЦОД согласно классификации Schneider Electric.

Если ЦОД целиком — и машинный зал, и система электропитания, и комплекс охлаждения — сформирован из готовых модулей, то такой объект эксперты Schneider Electric считают «полностью модульным». Если традиционные и модульные конструкции сочетаются — например, выполненный на объекте капитального строительства машинный зал обслуживается модульно наращиваемыми системами электропитания и охлаждения, — то такой ЦОД называется «частично модульным». Наконец, третий вариант, по классификации Schneider Electric, — ЦОД «все в одном», когда вся инфраструктура ЦОД выполнена в одном корпусе (модуле), например в контейнере.

В портфеле предложений Schneider Electric есть все указанные выше варианты. Более того, он существенно пополнился благодаря приобретению в начале 2014 года испанской компании AST Modular, которая известна тем, что в 2001 году сделала первый в мире ЦОД на базе ISO-контейнера, а также первой построила многомодульный ЦОД Tier III. Всего за плечами AST Modular более 450 успешно реализованных проектов, в том числе и в России.

НАЧИНАЯ С 4 СТОЕК…

Масштабы модульных ЦОД могут быть самыми разными. На форуме Евгений Журавлев, технический директор Emerson Network Power Russia, представил десять возможных конфигураций модульных ЦОД SmartMOD, которые могут модифицироваться в соответствии со спецификой запросов. Самый маленький вариант рассчитан на установку всего четырех стоек выкатного типа (мощностью до 7,5 кВт каждая). Для их инженерной поддержки в модуле размещаются ИБП на 30 кВт и два межрядных фреоновых кондиционера. Этот «малыш», как и все другие ЦОД SmartMOD, оборудуется системой автоматического пожаротушения и контроля доступа.

Возможны конфигурации, состоящие из произвольного числа стоек. Например, для компании «Газпром Трансгаз» в Санкт-Петербурге был установлен контейнерный ЦОД на семь стоек с тремя фреоновыми межрядными кондиционерами. Использование чиллерного охлаждения позволяет увеличить число стоек и их мощность. В этом случае не требуется устанавливать отдельный ИБП для климатического оборудования, поскольку в чиллерных системах бесперебойное питание требуется только насосам для подачи холодоносителя из бака-аккумулятора. Например, в Москве монтируется модульный ЦОД на 10 стоек, рассчитанных на 10 кВт нагрузки каждая (на момент выхода этой статьи данный объект уже должен быть введен в эксплуатацию). В нем применяются внутрирядные кондиционеры на гликоле и чиллерная система.

Имеются также высокоплотные варианты. Например, ЦОД на 13 стоек по 30 кВт каждая введен в эксплуатацию в одном из московских университетов — в шкафах установлены двери-теплообменники, охлаждаемые чиллерной водой. Кроме того, в высокоплотных вариантах могут использоваться межрядные кондиционеры с закрытой архитектурой. Короче говоря, Emerson Network Power старается использовать в модульных ЦОД весь свой богатый арсенал наработок по организации охлаждения.

При стыковке двух контейнеров с убранными боковыми стенками получается решение SmartMOD на 18 стоек по 8 кВт с фреоновым охлаждением (см. Рисунок 2) или на 22 стойки по 10 кВт с чиллерным охлаждением. Дальнейшее увеличение числа секций позволяет получить более крупные решения — например, ЦОД на 36 стоек по 8 кВт (фреоновое охлаждение) и 30 стоек по 10 кВт (чиллер).

Рисунок 2. Одна из возможных конфигураций модульного решения SmartMod: ЦОД на 18 стоек, охлаждаемых с помощью фреоновых рядных кондиционеров.

Один из самых впечатляющих проектов на основе модульных ЦОД SmartMOD реализован в Барселоне для компании T-Systems (см. Рисунок 3). Он рассчитан на установку 240 стоек по 2,5 кВт и 50 стоек по 10 кВт (общая нагрузка 1,1 МВт) и состоит из 38 модулей, на изготовление и поставку которых ушло примерно полгода. Модули установлены в два этажа, а проектное значение коэффициента PUE для объекта — менее 1,3. Этот ЦОД сертифицирован по Tier III, причем сертификат получен не только на проект, но и на уже построенный объект.

Рисунок 3. Процесс строительства ЦОД для компании T-Systems в Барселоне на базе модульных решений SmartMod.

СТАНДАРТНЫЕ КОНТЕЙНЕРЫ УХОДЯТ В ПРОШЛОЕ

В решениях Emerson Network Power, как и многих других производителей модульных ЦОД, используются нестандартные контейнеры, оптимизированные для установки ИТ-оборудования и инженерных систем. По словам Евгения Журавлева, минусы, связанные с небольшим усложнением логистики при доставке нестандартного контейнера, несопоставимы с теми неудобствами, которые испытывают заказчики, установившие ЦОД на базе контейнера ISO.

В целом отрасль, похоже, отказывается от применения стандартных ISO-контейнеров, которые просто не приспособлены для размещения ИТ-оборудования. С их критикой выступает и Степан Большаков.

В числе недостатков, характерных для решений на базе таких контейнеров, он называет негибкую конфигурацию и проблемы с масштабированием. Немаловажно и то, что их транспортировка, особенно по суше, — процесс дорогостоящий и сложный с организационной точки зрения, который к тому же занимает продолжительное время, а для их разгрузки и установки требуется кран. В то же время, например, решение Data Center On Demand компании CommScope перевозится фурами, а устанавливается с помощью обычного погрузчика.

СТАВКА НА АДИАБАТИКУ

Компания CommScope — один из новых игроков на рынке модульных ЦОД. Известная на российском рынке в первую очередь своими кабельными системами, она имеет огромный опыт в части проектирования, изготовления и монтажа уличных шкафов с активным оборудованием для телекоммуникационного рынка (ею установлено 400 тыс. уличных шкафов и контейнеров). Используя этот опыт, она разработала и в начале 2014 года представила свои модульные ЦОД Data Center On Demand (DCoD).

Выйдя на этот рынок позже многих других компаний, CommScope смогла учесть ошибки своих предшественников и применить самые передовые подходы. В частности, она использует прямое охлаждение высокоочищенным внешним воздухом и дополнительно применяет адиабатную систему (см. Рисунок 4). В ряде проектов это позволяет полностью отказаться от традиционных фреоновых или чиллерных систем, что снижает общую стоимость оборудования и энергозатраты. Если адиабатика не справляется, конструкция ЦОД предусматривает возможность установки традиционных блоков доохлаждения. Как поясняет Степан Большаков, при подготовке каждого проекта исследуются климатические условия, уровень загрязнений, роза ветров и прочие факторы, после чего вырабатываются рекомендации по выбору конкретной схемы охлаждения.

Рисунок 4. Схема охлаждения ИТ-оборудования в модульном ЦОД Data Center On Demand компании CommScope.

Наращивание решения DCoD происходит с шагом 1, 4, 10 или 20 стоек. Модули могут состыковываться, что позволяет увеличить емкость ЦОД, причем наращивание производится без прерывания обслуживания. В огороженных модулями вестибюлях размещаются инженерные системы электропитания, охлаждения, пожаротушения и прочие компоненты. Обещанная мощность теплосъема — до 35 кВт на стойку. Фальшпол в таком решении не нужен, однако, как поясняет Степан Большаков, некоторые заказчики просят установить его для кабельной разводки.

От обследования площадки до инсталляции DCoD может пройти до полугода. При этом сама инсталляция и последующие наращивания происходят очень быстро. Специалист CommScope привел пример, когда в Финляндии ЦОД из двух модулей DCU-20 (c 20 стойками) и вестибюлем (см. Рисунок 5) был собран всего за четыре дня.

Рисунок 5. Этот модульный ЦОД, расположенный в Финляндии и состоящий из двух модулей DCU-20 (c 20 стойками) и вестибюлем, был собран всего за четыре дня.

Он отмечает, что, помимо организации ЦОД с нуля, модульные решения часто выбираются для расширения имеющихся площадок — когда физическое место в традиционном ЦОД уже закончилось, а мощности электропитания еще в избытке. В этом случае устанавливаются модули с собственной системой охлаждения, которые и будут использовать эти излишки.

ЭКОНОМЯ МЕСТО

Инновационное, в части охлаждения, решение используется и в модульном ЦОД еще одного нового игрока — компании Contain RZ. Речь идет об активных плитках фальшпола HydroLogic компании Weiss Doppelbodensysteme, представляющих собой полноценные фанкойлы. «Обычно в модульных ЦОД используются рядные кондиционеры, которые занимают полезное место. Подпольные фанкойлы HydroLogic не занимают монтажного пространства, а потому позволяют повысить эффективность его использования», — поясняет Василий Новиков, руководитель группы продаж прецизионного кондиционирования компании «Трейд Групп» (ГК «Термокул»).

Компания Contain RZ, основанная в 2012 году и специализирующаяся на разработке и выпуске мобильных и модульных ЦОД, является OEM-партнером Fujitsu, а один из основных заказчиков ее продукции — British Telecom. На перспективность применения продукции этого производителя на российском рынке указывает тот факт, что на форуме «МИР ЦОД» их представила не только «Трейд Групп», но и известный интегратор «Инфосистемы Джет».

По словам Всеволода Воробьева, на момент проведения форума (конец мая 2014 года) в стадии реализации находился проект по созданию в Москве центра обработки данных, состоящего из трех секций Contain RZ. В двух секциях будут размещены по 16 стоек мощностью до 10 кВт каждая, а третья предназначена для размещения инженерного оборудования (ИБП, коммутационные щиты и пр.) и содержит тамбур (см. Рисунок 6).

Рисунок 6. Архитектура модульного ЦОД Contain RZ из трех секций: две секции будут содержать по 16 стоек мощностью до 10 кВт каждая, а третья предназначена для размещения инженерного оборудования (ИБП, коммутационные щиты и пр.) и содержит тамбур.

Кроме того, компания «Инфосистемы Джет» ведет работу над подготовкой еще одного проекта на базе модульных решений. Это ЦОД из пяти секций на 20 стоек. Потенциальный заказчик, один из коммерческих банков, решил сделать увеличенные сервисные проходы (например, между стойками — целая секция), чем и объясняется столь небольшое число стоек. Мощность стойки может доходить до 16 кВт, для съема тепла используются по две плитки HydroLogic. Проектом предполагается возможность установки второго этажа модулей, для чего изначально было предусмотрено, чтобы каждая секция была способна выдерживать нагрузку до 25 т.

Хотя большая часть инженерной инфраструктуры уже входит в состав модульного ЦОД, у системного интегратора работы немало. Всеволод Воробьев указывает на то, что еще нужно подвести силовые линии, кабельную канализацию, водопровод, поставить ДГУ, обеспечить развертывание и/или подключение чиллеров. К числу сложностей, связанных с внедрением модульных ЦОД, он относит необходимость согласования проекта у заказчика и в регулирующих органах, а также интеграцию с внешними сетями.

Итак, сегодня на рынке представлено большое число различных модульных решений для ЦОД, причем решений зрелых и апробированных. Они могут стать привлекательной альтернативой традиционному подходу, связанному со строительством или капитальным ремонтом здания.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.