Стройте ЦОД модулями

На создание вычислительных центров, которые сегодня трансформировались в центры обработки данных (ЦОД), всегда уходили годы. Сначала готовился проект, потом строили специальное здание или ремонтировали имеющееся, формировали инженерную инфраструктуру и т. д. Иногда к моменту запуска объекта в эксплуатацию часть решений морально устаревала, рыночные условия становились иными, а приоритеты развития компании подвергались корректировке. Понятно, что в современном стремительно меняющемся мире сокращение сроков создания ЦОД дает неоспоримые конкурентные преимущества. Главное, чтобы при этом не пострадало качество объекта. Новые технологии и технические решения, объединяемые словом «модульные», позволяют справиться с этой непростой задачей.

ЦОД В КОНТЕЙНЕРЕ

Рисунок 1. Ряд стоек внутри контейнерного ЦОД. Стойки можно перемещать по рельсам. Спереди слева виден специальный лифт, предназначенный для установки тяжелого оборудования.

Когда говорят о модульных ЦОД, в первую очередь называют мобильные решения, размеры которых соответствуют габаритам стандартных фрахтовых контейнеров: 10, 20 или 40 футов (соответственно, 3, 6 или 12 м). Концепция мобильного контейнерного ЦОД была разработана Google еще в 2003 году, но получила широкую известность только в 2007-м, когда компания Sun вывела на рынок решения Blackbox. На сегодняшний день ЦОД в контейнере предлагают многие западные компании, в том числе Emerson, Dell, IBM, HP, Oracle (Sun), Rittal, а также ряд российских интеграторов (в частности, «АйТи» и «Ситроникс»).

По мнению Виктора Смирнова, руководителя продвижения интеграционных услуг IBM Global Services, контейнерные решения хорошо подходят для организации резервного и/или удаленного ЦОД, например, в непосредственной близости от места производства, разработки и добычи полезных ископаемых. Они могут быть установлены и эксплуатироваться на территории, не принадлежащей компании, и в экстремальных погодных условиях. Кроме того, это отличный вариант для создания временного ЦОД, потребность в котором может возникнуть при построении нового центра обработки данных, реконструкции существующего, многоэтапного переноса или изменения местоположения ЦОД.

Типичный контейнерный ЦОД содержит один-единственный ряд стоек. Между ним и стенками контейнера формируется два коридора — горячий и холодный. Часто стойки устанавливают на рельсы, что позволяет легко перемещать их вперед и назад (см. Рисунок 1). Средства охлаждения контейнерных ЦОД первого поколения были ориентированы на использование внешних элементов: блокам кондиционеров, работающих на воде, требовалась внешняя система подготовки воды (чиллер), а фреоновым кондиционерам — внешние конденсаторы. В решениях второго поколения акцент все чаще делается на естественное охлаждение (фрикулинг), а другие способы, в том числе охлаждение испарением или классическое фреоновое, применяются только как вспомогательные, когда температура «за бортом» поднимается выше порога возможностей фрикулинга. Это не только снижает зависимость системы охлаждения от внешних элементов, но и позволяет существенно повысить энергоэффективность ЦОД.

Рисунок 2. Контейнерный ЦОД компании Emerson Network Power. На переднем плане — дизель-генератор.

Что касается системы электропитания, то внутри контейнеров располагаются ИБП (с аккумуляторными батареями, рассчитанными на небольшое время работы), переключатели нагрузки и средства распределения энергии. Резервные источники электричества, способные питать нагрузку длительное время, — как правило, это дизель-генераторные установки (ДГУ) — устанавливаются снаружи (см. Рисунок 2), поэтому назвать контейнерный ЦОД самодостаточным решением, конечно, нельзя.

Преимущества контейнерных решений состоят в простой транспортировке и быстроте развертывания ЦОД (от заказа до запуска под ключ обычно уходит 10–14 недель), мобильности и возможности эксплуатации практически в любых условиях. А их основным недостатком является более высокая стоимость по сравнению со стационарными объектами (см. Таблицу 1). Комплексность такого решения — оно изначально оснащено всеми необходимыми инженерными системами (бесперебойного питания, кондиционирования воздуха, мониторинга, газового пожаротушения, СКС) — может оказаться как плюсом, так и минусом. Если заказчика устраивают характеристики комплекса, то его установка будет выполнена очень быстро, но если какие-то компоненты не подходят, их замена может оказаться проблематичной. По мнению Алексея Медунова, начальника отдела инженерных систем компании «Ай-Теко», контейнерные ЦОД — не слишком гибкое решение, а свобода маневра сводится лишь к изменению числа стоек.

Масштабирование осуществляется добавлением контейнеров. В США существуют ЦОД, объединяющие более 40 контейнеров с мощностью потребления более 100 МВт. При этом начинка всех контейнеров не обязательно должна быть одинаковой. Например, контейнеры Portable Modular Data Center (PMDC) компании IBM можно соединить в единый комплекс, при этом некоторые из них составят машинный зал, а в других будут организованы инженерные зоны, склад, помещения для обслуживающего персонала. К особенностям решений PMDC Виктор Смирнов относит и возможность размещения оборудования, которое нельзя установить в стандартные монтажные стойки — для крепления нестандартных серверов, мейнфремов и мощных ленточных библиотек предусмотрены специальные приспособления.

ЦОД В ЗАЩИЩЕННОЙ КОМНАТЕ

В отдельную категорию модульных решений обычно выделяют центры обработки данных, созданные на базе защищенных ИТ-комнат. Если контейнерный ЦОД, как правило, развертывают на открытом воздухе, то защищенную комнату устанавливают в каком-либо помещении, например в ангаре, по принципу «дом в доме». Уровень мобильности в этом случае ниже, чем при использовании контейнеров, поскольку ЦОД требуется не только привезти, но еще и собрать. Зависимость от конкретных инженерных решений тоже существенно меньше: наполнение комнаты может быть практически любым — и это, скорее, преимущество данного варианта.

Самое известное в России решение по созданию защищенных ИТ-комнат — разработка Lampertz, которая теперь принадлежит компании Rittal. По словам Владимира Башкирова, менеджера по работе с ключевыми клиентами подразделения Data Center Solution компании Rittal, это решение нельзя отнести к числу дешевых, но оно обойдется заказчику ненамного дороже, чем приведение в «нормальную строительную готовность» помещений, отведенных под ЦОД. Важным его достоинством является независимость от конструкции здания ЦОД. «Решение позволят реализовать ЦОД в любых зданиях. Единственное требование — обеспечение должной нагрузочной способности перекрытий здания. Остальные факторы не влияют на возможность его установки, — отмечает специалист Rittal. — Это позволяет значительно сэкономить ресурсы при выборе местоположения ЦОД и минимизировать затраты на подготовку площадки для ЦОД».

Использование модульных защищенных помещений в несколько раз ускоряет строительство ЦОД. В качестве примера Владимир Башкиров приводит проект, когда ЦОД площадью 120 м^2 был построен за четыре недели. При этом поставка всех необходимых компонентов для подобного проекта занимает от одного до двух месяцев. При последующем масштабировании ЦОД начальные инвестиции полностью сохраняются, так как наращивание происходит путем закупки дополнительных компонентов модульного помещения, а специальные решения для кабельных вводов позволяют осуществлять подключение нового оборудования без отключения работающего. Кроме того, как и в случае с контейнерным решением, при переезде заказчик всегда может забрать ЦОД с собой (разобрать и заново собрать), что особенно выгодно для арендаторов зданий.

В качестве одного из главных плюсов модульных помещений эксперты отмечают гарантированные параметры безопасности — они защищают оборудование ЦОД от любого негативного физического воздействия: от огня, дыма, обрушения, вандализма, несанкционированного доступа и т. п. Виктор Смирнов напоминает, что обычный бетонный потолок пропускает воду, стены из обычных материалов (цемент, кирпич) выделяют более 150 л воды на 1 м³, а если температура превышает 300°С, относительная влажность воздуха в помещении, где не проведена специальная подготовка, возрастает до 100%, что губительно для электронной аппаратуры. В помещениях ЦОД следует применять особые строительные конструкции, обеспечивающие водонепроницаемость потолка и абсолютную сухость стен. Защищенное решение Smart Shelter компании IBM даже в случае пожара за пределами ЦОД гарантирует, что температура внутри не превысит 40°C, а относительная влажность составит не более 70%, что обеспечит штатную работу оборудования, сохранность лент и дисков систем хранения. Подобную защиту гарантирует и Rittal. Владимир Башкиров подчеркивает, что наличие соответствующего сертификата (выдаваемого представителем производителя) и гарантийных обязательств существенно снижает затраты на страховку.

Очевидно, что подобные защищенные конструкции можно использовать практически для всех вариантов ЦОД. Столь же очевидно, что они существенно увеличивают его стоимость. А потому их применение целесообразно главным образом для небольших ИТ-комнат, где размещается наиболее важное оборудование. Что же касается крупных центров обработки данных, закрывать их целиком специальными стеновыми и потолочными панелями вряд ли разумно.

БОЛЬШИЕ МОДУЛЬНЫЕ

При всех преимуществах контейнерных ЦОД и модульных защищенных ИТ-комнат их вряд ли можно признать оптимальным выбором для построения крупных центров обработки данных. Но и в этой области наметились пути отхода от уникальных (очень дорогих и долго реализуемых) проектов в сторону типовых модульных решений. Соответствующие наработки на форуме «Мир ЦОД» представили IBM и HP, а также российский интегратор «Ай-Теко».

Как отмечает Александр Зайцев, менеджер по развитию центров обработки данных подразделения Critical Facilities Services (CFS) компании HP, большинство существующих сегодня ЦОД спроектированы в расчете на обеспечение определенного уровня доступности — такую конструкцию в HP называют монолитной одноуровневой. Но работающие в ЦОД приложения, как правило, имеют разный уровень критичности, а надежность одноуровневого ЦОД должна соответствовать уровню доступности наиболее критичного приложения. Такой неэффективный подход неизбежно увеличивает расходы на строительство и дальнейшее обслуживание ЦОД, поскольку повышение доступности и отказоустойчивости объекта ведет к его удорожанию (см. Рисунок 3).

Рисунок 3. Стоимость строительства ЦОД различных уровней (Tier II, Tier III, Tier IV) при разной плотности мощности.

Чтобы избежать явно избыточных инвестиций в обеспечение доступности менее критичных приложений, HP разработала методологию создания многоуровневых гибридных ЦОД — Multi-Tiered Hybrid Design. В таких ЦОД выделяются отдельные зоны, называемые Performance Optimized Data Center (POD), которые обеспечивают разный уровень отказоустойчивости. Например, для наиболее критичных приложений доступность систем соответствует уровню Tier IV, менее критичные приложения не требуют такой высокой доступности инженерных систем и располагаются в других зонах POD. Гибридный дизайн позволяет не только снизить затраты на инженерную инфраструктуру, но и экономить пространство в ЦОД.

Принципы, лежащие в основе многоуровневого гибридного дизайна, были применены при разработке модульного решения FlexDC. Кроме того, перед разработчиками стояла задача перевести расходы со строительной площадки ЦОД в сферу производства материалов и компонентов. Технология FlexDC основана на индустриальном подходе к проектированию и строительству ЦОД, что нашло свое выражение в возможности выбора компонентов инженерной системы и системы электропитания, предварительном подборе и изготовлении строительных материалов, управлении цепочкой поставок.

ЦОД FlexDC имеет форму бабочки и состоит из четырех квадрантов (блоков) и центральной секции управления (см. Рисунок 4). Каждый блок рассчитан на установку оборудования мощностью до 800 кВт (600 м², максимум 160 стоек), из которых 700 кВт выделяется на ИТ-устройства и 100 кВт — на сетевое оборудование. При сборке и оснащении всех четырех блоков общая мощность объекта достигает 3,2 МВт: отсюда общее название объекта с четырьмя квадрантами — модуль М32. Средняя нагрузка на одну стойку составляет 5 кВт, при использовании вытяжных труб она может быть увеличена до 30 кВт.

Рисунок 4. Компоненты ЦОД FlexDC.

Конфигурация центральной секции управления обеспечивает выполнение различных функций, которые типичны для традиционных ЦОД, но, как правило, не реализуются в полном объеме в контейнерных ЦОД. Это, в частности, функции мониторинга, обеспечения безопасности, контроля допуска и пр. По словам Александра Зайцева, если заказчики заинтересованы в концепции FlexDC, но по каким-либо причинам им не подходит реализация модуля в форме бабочки, компания может адаптировать параметры этого решения к конкретным условиям заказчиков.

Здание ЦОД FlexDC представляет собой стандартную металлическую конструкцию. Резервные генераторы устанавливаются вне объекта в заранее изготовленном автономном блоке, под которым находится подфюзеляжный топливный бак. Стойки для ИТ-оборудования размещаются с учетом системы «горячего коридора». Фальшпола в ИТ-залах нет, а отработанный горячий воздух направляется в подвесной потолок и возвращается в камеры обработки воздуха через его пазухи.

По словам специалиста HP, высокая энергоэффективность ЦОД достигается за счет изоляции горячих коридоров, использования естественного охлаждения и систем ИБП с высоким КПД. Механические системы охлаждения представляют собой готовые автономные камеры обработки воздуха с теплообменниками типа «воздух – воздух» на основе непосредственного охлаждения. При повышении наружной температуры выше определенного уровня подключается режим испарительного охлаждения, а затем, в случае необходимости, и обычный кондиционер. Подобный алгоритм работы реализован в новом решении EcoBreeze компании APC by Schneider Electric (подробнее см. статью «Модули холода» в июньском номере «Журнала сетевых решений/LAN»).

Модульный ЦОД Enterprise Modular Data Center (EMDC), разработанный компанией IBM, также формируется из четырех модулей — каждый площадью 500 м². В ходе эксплуатации объекта наряду с четырехкратным увеличением его площади возможно трехкратное увеличение мощности каждого модуля, что в итоге обеспечивает 12-кратное масштабирование по мере повышения потребностей заказчика. На первом этапе повышение мощности — и соответствующее увеличение теплоотвода — достигается простым добавлением ИБП и кондиционерных блоков. На втором применяются более сложные способы, например установка теплообменников на двери монтажных шкафов, изоляция зон высокой плотности и т. п. Дизель-генераторы и чиллеры размещаются за пределами модулей.

По данным IBM, на строительство ЦОД EMDC, состоящего из быстровозводимых конструкций, потребуется в среднем на 25% меньше времени, чем на возведение объекта по традиционной технологии. Виктор Смирнов подчеркивает, что решение имеет открытую архитектуру и в нем применяются технические решения ведущих производителей. Энергоэффективность такого ЦОД в терминах PUE составляет 1,5 (для характеристики своего решения IBM предпочитает использовать обратную PUE величину DCiE — до 66%) — это отличный показатель для объекта, конструкция которого превосходит требования Tier III. Как утверждают специалисты IBM, использование типовых модульных решений EMDC позволяет на 50% снизить капитальные затраты на создание ЦОД и на 40% — расходы на его эксплуатацию.

Похоже, отрасль «нащупала» оптимальный размер модуля, и все представленные на форуме «МИР ЦОД» решения имеют схожий «квант» площади — от 500 до 750 м². Изучив различные шаги наращивания ЦОД, специалисты компании «Ай-Теко» пришли к выводу, что при 200 стойках достигается оптимизация капитальных затрат. Именно на такое число стоек рассчитан разработанный российским интегратором модуль ЦОД. Его площадь составляет 750 м², а срок построения — 2–3 месяца (!). Оборудование устанавливается в помещении из металлоконструкций и огнестойких сэндвич-панелей.

Как рассказывает Алексей Медунов, прежде чем выйти на рынок с таким предложением, эксперты «Ай-Теко» проанализировали все имеющиеся модульные варианты и постарались взять лучшее от каждого из них. В контейнерных ЦОД это прежде всего комплексность решения, в модульных защищенных ИТ-помещениях — гибкость наполнения, а в решениях наподобие предлагаемых компанией Colt — хорошая масштабируемость. (Colt выпускает модули размером со стандартный контейнер, из которых можно формировать ЦОД площадью 125, 250, 375 и 500 м².) Кроме того, был сделан вывод о том, что для реального сокращения сроков поставки производственные мощности должны находиться в России.

Разработанный «Ай-Теко» комплексный модуль можно установить как в имеющемся здании, так и в «чистом поле». Потребляемая электрическая мощность машзалов составляет 2500 кВА, а время поддержки оборудования ЦОД по питанию — до 8 ч на одной заправке ДГУ. Ясно, что для своего решения интегратор выбрал наиболее современные инженерные компоненты, включая систему кондиционирования с фрикулингом, поддержкой испарительного охлаждения и герметизацией горячего коридора. Для системы электропитания, наряду со статическими, предусмотрена возможность установки динамических ИБП. По данным «Ай-Теко», стоимость такого модульного ЦОД составляет 7–8 млн долларов за 1 МВт. Но пока примеров внедрения нет.

ВСЕ ДЕЛО В ИНЖЕНЕРКЕ

Главная проблема масштабирования любого ЦОД связана с инженерной инфраструктурой. По темпам совершенствования соответствующие технические решения значительно отстают от основного ИТ-оборудования — серверов, систем хранения данных, сетевых устройств. При этом системы, установленные в процессе проектирования и строительства ЦОД, должны поддерживать его развитие на протяжении 10–20 лет и обеспечить смену нескольких поколений ИТ-оборудования. Как с сожалением замечает Александр Зайцев, при резком росте потребности в вычислительных мощностях подходы к проектированию ЦОД зачастую оказываются устаревшими и неэффективными с точки зрения капиталовложений, поскольку единственным аргументом разработчиков таких проектов является убежденность в том, что «так строили всегда». В результате заказчик получает объект, не способный предоставить надлежащую среду для технологических инноваций.

Новая концепция проектирования и строительства модульных ЦОД основана на индустриальном подходе к формированию инженерной инфраструктуры и высоком уровне унификации компонентов. Она позволяет переместить строительные работы с объекта заказчика на завод производителя, что при повышении качества дает возможность ускорить развертывание ЦОД. Насколько эта концепция, бросающая вызов традиционной схеме организации ЦОД, будет востребована рынком, зависит от воплощения имеющихся ожиданий. Если существенное снижение капитальных и операционных затрат, хорошее масштабирование, высокая скорость внедрения и энергоэффективность будут подтверждены на практике, модульные решения просто «обречены» на успех.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.