Этим материалом мы продолжаем серию публикаций, посвященных строительству и эксплуатации коммерческих (или аутсорсинговых) дата-центров.

В предыдущей статье (см. «Сети», 2006, № 13, «Расцвет в эпоху аутсорсинга») мы рассказали о классификации дата-центров и об основных требованиях к ним. Очевидно, что эти требования определяют процесс планирования работ при создании ЦОД. В дальнейшем мы решили не обсуждать вопросы, связанные с телехаузами, поскольку эти специализированные ЦОД (предназначенные для операторов связи) являются объектами особого рода.

Требования к коммерческим дата-центрам, которые предлагают услуги корпоративного хостинга, существенно жестче, чем к ЦОДам, обеспечивающим публичный хостинг. В последнем случае допустим весьма значительный разброс качественных параметров, что позволяет серьезно экономить при строительстве ЦОД. Естественно, сервис-провайдеры могут предоставлять относительно дешевые услуги хостинга, но им приходится брать на себя риски, связанные с экстраординарными ситуациями. Поэтому мы сфокусируемся преимущественно на дата-центрах, ориентированных на корпоративный хостинг. Однако стоит помнить, что реализация любого коммерческого проекта — это всегда компромисс между качеством, рисками и стоимостью.

Местоположение

Начнем с выбора места для размещения будущего дата-центра. На такой выбор влияют три группы факторов: это обеспечение физической безопасности объекта, наличие внешних телекоммуникаций и близость транспортных коммуникаций

Перечислим основные требования с позиций физической защиты ЦОД:

  • поблизости не должно быть аэропортов, химических заводов, нефтеперерабатывающих предприятий и ядерных объектов;
  • здание должно находиться вне зон потенциальных затоплений, землетрясений, других климатических катаклизмов и удовлетворять нормам безопасности;
  • желательно учитывать загрязненность среды в том или ином районе города, уровень преступности и другие факторы.

Вам придется строго следовать этим условиям, особенно если вы собираетесь работать с зарубежными клиентами.

Требования к внешним телекоммуникациям таковы:

  • возможность подключения к нескольким (минимум двум) канальным операторам — для исключения зависимости от одного поставщика услуг;
  • возможность независимого хостинга разных сервис-провайдеров. Как следствие, требуется наличие в самом дата-центре точки обмена трафиком или обеспечение доступа к ней;
  • возможность установки антенн для приема сигналов со спутников (отсутствие рядом с объектом высотных зданий может оказаться существенным фактором).

На этапе планирования подключений к внешним коммуникациям уже появляется пространство для экономического маневра. По крайней мере, в крупных городах нужно учитывать близость выбранного здания к местам стыковки с магистральными каналами операторов, стоимость аренды каналов у разных операторов, близость к точкам обмена трафиком и т.д.

В зоне корпоративного хостинга оборудование клиентов размещается в закрытых шкафах

Наконец, требования к транспортным коммуникациям: нужно обеспечить подъездные автомобильные пути и автостоянку. Для дата-центра, ориентированного на корпоративный хостинг, необходима возможность подъезда к зданию грузового автотранспорта, поскольку на площадке ЦОД часто приходится размещать нестандартное крупногабаритное оборудование. Удобство доступа на общественном транспорте имеет второстепенное значение. Надо сказать, в крупных городах проблем с транспортными коммуникациями обычно не возникает.

Модель аренды помещения или здания для размещения ЦОД используется в России наиболее часто. Однако если у вашей компании появился стратегический инвестор, то строительство собственного здания может, в перспективе, оказаться более выгодным. В таком случае удастся максимально полно реализовать требования к будущему центру обработки данных.

Размещение

В России пока нет стандартов на помещения дата-центров, да и на Западе они только начинают формироваться. При подборе здания для ЦОД, видимо, стоит учитывать общие требования к строительным сооружениям и к объектам связи (если предполагается размещение оборудования операторов связи).

Несколько слов — для прояснения ситуации. В 1978 году был выпущен нормативный документ СН 512-78 «Инструкция по проектированию зданий и помещений для электронно-вычислительных машин». За прошедшее с тех пор время вычислительная техника претерпела такие изменения, что часть положений этого документа утеряла актуальность. Однако некоторые общие требования (например, «3.3. Помещения для ЭВМ размещать в подвалах не допускается») остаются актуальными, и они должны стать базовыми ориентирами при проектировании дата-центра.

При поиске готовых зданий надо обращать внимание на их состояние, ибо в последние 20 лет эксплуатация сооружений в России проводилась из рук вон плохо. Наиболее подходящие объекты — здания АТС/ГТС/МТС и вычислительные центры, построенные в 70-80-е годы прошлого века, а также некоторые промышленные здания. Если вы намерены предоставлять услугу поддержки непрерывности бизнеса, то следует предусмотреть возможность аренды площадей для организации резервных офисов клиентов в самом здании либо в близлежащих строениях.

В помещении ЦОД следует запланировать несколько зон — публичного доступа, серверную и инженерную. Такая планировка предполагает разные функциональные нагрузки на эти части помещения, использование различных систем доступа и защиты.

В инженерной зоне располагаются инженерно-технологические комплексы, которые обычно называют «системами жизнеобеспечения ЦОД». К ним относятся системы электропитания, кондиционирования и автоматического пожаротушения. Для этой зоны характерны наибольшая физическая защищенность и самый жесткий режим физического доступа (в ней разрешено находиться лишь обслуживающему персоналу дата-центра).

Основная рабочая зона ЦОД — серверная. Именно ее размер определяет масштабы всего проекта. Доступ в серверную зону имеют специалисты дата-центра и уполномоченные представители клиентов, размещающие в нем свое оборудование. При планировке серверной зоны нужно, в свою очередь, предусмотреть ее разделение на несколько специализированных зон (например, это площадки публичного и корпоративного хостинга, места для размещения монтажных помещений и хранения ЗИП клиентов). Допустима организация выделенных зон для тех клиентов, которые требуют особых правил доступа (все условия согласовываются в индивидуальном порядке).

Для обеспечения надлежащих климатических условий и защиты от внешних воздействий (вода, пыль, электромагнитные излучения и т.п.) желательно разместить серверную зону в дополнительном саркофаге (сэндвиче). Возможно выделение специального помещения для технического и обслуживающего персонала дата-центра.

Электропитание

Как правило, потребитель услуг коммерческих дата-центров обращает особое внимание на уровень доступности услуг дата-центра, который напрямую зависит от надежности системы электропитания. Капитальные и эксплуатационные затраты на системы электропитания являются для владельца ЦОД наиболее весомой статьей расходов (не считая возможных затрат на строительство здания). Система электропитания дата-центра состоит из трех основных блоков — бесперебойного электропитания, автономного электропитания и внешних вводов электропитания от двух независимых источников.

Однако даже на несколько независимых источников внешнего питания нельзя полагаться полностью, что и подтвердило веерное отключение электроэнергии в мае 2005 года. Выход из строя одной из подстанций центральной энергосистемы приводит к резкому повышению нагрузки на соседние, а потому риск потери стабильного внешнего питания остается достаточно большим. Следовательно, надо позаботиться о комплектации дата-центра модулями автономного электропитания — газовыми или дизель-генераторами достаточной мощности. Систему автономного электропитания можно держать постоянно включенной (без нагрузки либо с частичной нагрузкой) или автоматически запускать при пропадании внешнего напряжения.

Проектируя систему электропитания, надо учитывать следующее:

  • КПД источников бесперебойного электропитания составляет примерно 88-95%;
  • внутренняя кабельная разводка должна быть построена так, чтобы на стойках с клиентским оборудованием ни при каких обстоятельствах не пропадало питание;
  • в каждое серверное помещение нужно устанавливать по две фермы бесперебойного питания;
  • системы кондиционирования и вентиляции требуют в среднем 90-100% мощности, потребляемой серверным и телекоммуникационным оборудованием ЦОД.

В некоторых зарубежных статьях указывается несколько большая доля электроэнергии, необходимой для поддержки систем жизнеобеспечения (кондиционирования). Мы полагаем, что это связано с различиями климатических зон: в России среднегодовая температура ниже, чем в среднем по Европе, и существенно меньше, чем в США. Если расчетная мощность электропитания, потребляемого серверным оборудованием, составляет условные 1 МВт, то минимальная мощность внешних источников/дизель генератора должна рассчитываться по формуле 1х(1/0,88 + 0,9) = 2,05 МВт. При этом желательно заложить определенный резерв на случай возникновения экстренных перегрузок и планового обслуживания модулей питания.

Уходят в прошлое времена, когда нормы потребления электроэнергии серверным и телекоммуникационным оборудованием составляли 500-1000 Вт на 1 кв. м площади серверного помещения. В последнее время из-за увеличения плотности монтажа серверного оборудования потребляемая мощность растет примерно на 10-15% в год, и в ближайшие годы эта тенденция сохранится. Мало того, она может усилиться, если получат широкое распространение вычислительные blade-системы.

Таким образом, при создании современных ЦОД изначально следует заложить достаточный резерв наращивания мощностей. Например, энергонасыщенность ЦОД компании «Стек», расположенного на улице Б.Академическая, составляет всего 2 кВт на 1 кв. м серверного помещения. А в недавно запущенном в строй дата-центре на Варшавском шоссе предусмотрена нагрузка до 8 кВт на 1 кв. м.

Система электропитания должна быть зарезервирована по схеме N+1 (необходимые модули плюс один резервный). Однако для дата-центра класса IV нужно использовать схему 2хN (все модули дублируются).

Кондиционирование и вентиляция

Серверы являются высокоточными прецизионными электронными устройствами, которые выделяют большое количество тепла. При эксплуатации такого оборудования необходимо строго поддерживать определенные температурные режимы и выполнять требования к климатическим условиям.

Объем выделяемого серверным оборудованием тепла напрямую зависит от потребляемой им мощности. А мощность системы охлаждения и схема ее монтажа зависят от размеров и конфигурации серверной зоны, схемы размещения стоек, числа специалистов, обслуживающих серверную, и многих других факторов. Кроме того, для разных типов ЦОД требуются различные системы кондиционирования.

В качестве примера рассмотрим систему подачи охлажденного воздуха. При подаче воздуха сверху (из воздуховодов) в серверной зоне устанавливаются открытые стойки, ряды которых располагаются последовательно («горячий»-«холодный»). А значит, возможен общий доступ к устройствам, так как они ничем не отделены друг от друга. Данная схема кондиционирования в большей степени подходит для дата-центра, обеспечивающего публичный хостинг. Подача воздуха снизу позволяет устанавливать закрытые стойки или стойки с нестандартными схемами обдува, что соответствует условиям корпоративного хостинга. Не стоит забывать и о суточных колебаниях объемов тепловыделения, которые обусловлены изменениями нагрузки: как правило, днем она выше, чем в ночные часы.

Параметры ЦОД в теории и на практике. Сравнение характеристик ЦОД группы компаний «Стек» на улице Б. Академическая с рекомендуемыми параметрами аналогичного дата-центра, приведенными APC.

Оборудование со значительным энергопотреблением желательно разместить в отдельном помещении или даже в специальных шкафах со встроенной системой климат-контроля. В последнее время для эффективного отвода тепла начали использовать специальные шкафы с так называемым «водяным» охлаждением. Планируя их установку, нужно помнить, что помещения дата-центров (особенно серверной) должны быть максимально изолированы от воды.

Систему кондиционирования и вентиляции следует резервировать по такой же схеме, которая применяется для системы электропитания.

Защита оборудования

Безопасность вычислительного оборудования поддерживают системы пожаротушения, заземления, молниезащиты и физической защиты.

Любой ЦОД необходимо оборудовать средствами автоматического газового пожаротушения. Именно они обеспечивают сохранность электронного оборудования при ликвидации очагов возгорания. Система заземления должна включать в себя несколько уровней защиты: заземление и молниезащита здания, заземление помещения серверной, индивидуальное заземление стоек и устройств. Систему физической защиты тоже нужно разделить на несколько уровней: контроль доступа по периметру здания, контроль доступа в помещение ЦОД, в технические и инженерные зоны.

Доступ в техническую зону представителей клиента для работы с его оборудованием должен осуществляться под контролем персонала дата-центра. В зоне корпоративного хостинга оборудование клиента размещается в закрытых шкафах или на отгороженных участках серверной — для обеспечения еще большей защищенности и конфиденциальности хранимой информации. В зоне публичного хостинга требования к безопасности оборудования и данных существенно ниже, поэтому серверы клиентов располагаются преимущественно в открытых стойках.

Сетевая инфраструктура

Центр данных, оказывающий услуги публичного хостинга, должен располагать минимум двумя независимыми оптоволоконными каналами, связывающими его с крупной точкой обмена трафиком. Лучше всего, чтобы он был соединен с двумя и более точками, — это обеспечит непрерывность подключения клиентского оборудования к Internet. Провайдеру стоит предусмотреть установку комплексных решений для защиты клиентских систем от внешних атак. Хотя защита от сетевых вторжений считается дополнительной услугой, в ней заинтересовано достаточно большое число клиентов ЦОД.

При организации корпоративного хостинга желательно, чтобы все внешние линии связи заводились в общее кроссовое помещение. Необходимо также предусмотреть возможность ввода в то же помещение каналов, следующих от размещаемого в серверной зоне клиентского оборудования. При этом, как и в случае публичного хостинга, владельцу дата-центра придется обеспечить клиентов надежными высокоскоростными каналами соединения с Internet.

Рустем Накипов — директор по маркетингу, Михаил Коротаев — заместитель генерального директора группы компаний «Стек» (www.stack.net)