Как показывает практика, резервирование и умелая организация обслуживания позволяют добиться 100-процентной надежности информационных систем. Проблемы с их устойчивым функционированием возникают в сферах, далеких от области знаний ИТ-специалистов. Они умеют создавать совершенные по архитектуре решения, но, увы, не являются профессионалами в энергетике, строительстве, проектировании инженерных коммуникаций и т.п. А ведь именно инженерная инфраструктура — это уязвимое звено, влияющее на работоспособность серверного и сетевого оборудования.

Вот — лишь несколько типичных примеров сбоев, происходящих по вине такой инфраструктуры. Это перегрев оборудования в тех случаях, когда кондиционеры не справляются с тепловыделением. Это отключение централизованного электропитания и нехватка мощностей UPS (вспомните энергетический кризис в Москве, возникший в мае 2005 года). Это пожар, который не удается вовремя локализовать (возгорание на московской АТС 288 в 2002 году), повреждение внешних коммуникаций (недавно на Ленинградском шоссе экскаваторщик порвал ковшом оптический кабель) и многое другое. Во всех случаях пострадавшим казалось, что риски простоя их ИТ-систем сведены к минимуму.

Возникает необходимость в использовании для обеспечения непрерывной работы ИТ-систем специализированных сооружений, называемых центрами обработки данных (ЦОД). Не путайте это понятие с термином «хостинг-центр». Ответственность хостинг-центров ограничивается гарантиями скорости доступа к Internet (часто без обеспечения QoS) и обслуживанием серверов заказчиков-непрофессионалов, а решение ими инфраструктурных задач не соответствует потребностям корпоративного заказчика.

Применение ЦОД подразумевает учет потребностей конкретной организации. Попытаемся обобщить опыт российских и западных компаний, чтобы определить факторы, формирующие стоимость ЦОД. Эта информация поможет сориентироваться в выборе стратегии компаниям, намеренным построить собственный ЦОД либо воспользоваться услугами коммерческого оператора.

Распределение бюджета на содержание ЦОД класса 4

ЦОД представляет собой специализированное сооружение с особыми требованиями к физической и инженерной инфраструктуре. Размещенное в нем оборудование должно функционировать в режиме 24х365, а регламентные и профилактические работы необходимо проводить без отключения ИТ-ресурсов. На физическом уровне гарантируется защита оборудования от любых вредоносных воздействий, будь то огонь, вода, электромагнитное излучение, несанкционированный доступ, вандализм, пыль, дым или падающие обломки здания. В помещениях ЦОД поддерживаются определенные климатические условия. Владельцы этих объектов обязаны предусмотреть разделение зон доступа к разным устройствам в зависимости от задач, возложенных на конкретных сотрудников. Наконец, инфраструктура ЦОД должна быть масштабируемой, что обеспечивает переносимость ИТ-решений, рост производительности, резервирование и выполнение ряда других задач.

Итак, перед крупными компаниями зачастую встает дилемма: строить собственный ЦОД или стать клиентом провайдера услуг дата-центров. Корпоративный ЦОД (КЦОД) создается для обеспечения непрерывной работы вычислительных ресурсов организации. В нем может располагаться основной либо резервный ИТ-узел компании. КЦОД «вписывается» в рамки общей системы информационной защиты, но зачастую рассматривается как ее отдельный компонент.

Развитию рынка коммерческих ЦОД способствуют глобальные тенденции и факторы:

  • принятие законов, требующих обязательного резервирования ИТ-систем;
  • появление рекомендаций по использованию модели аутсорсинга ИТ-инфраструктуры (например, Basel II);
  • стандартизация технологий в области информационной безопасности;
  • применение риск-ориентированных подходов к ведению бизнеса, составление планов обеспечения непрерывности бизнеса, переход на новые корпоративные стандарты в области ИТ-инфраструктуры;
  • необходимость защиты бизнеса от природных и техногенных катастроф.

Для многих крупных компаний и холдингов становятся стандартными требования доступности ИТ-ресурсов на уровне 99,995%. Необходимость удовлетворять данным требованиям и обеспечивать непрерывность управления бизнесом обуславливает построение на территории коммерческих ЦОД резервных ИТ-офисов. Фактически, ЦОДы превращаются в центры непрерывности бизнеса (ЦНБ) заказчиков.

Подходы к построению и принципам функционирования корпоративных ЦОД аналогичны: фактически, они тоже являются ЦНБ. В них даже предусмотрены резервуары с водой на случай отключения системы коммунального водоснабжения. Характеристики крупнейших КЦОД США можно найти на сайте авторитетной консалтинговой и инжиниринговой компании CSI Engineering (www.csie.com) (таб. 1).

Помимо инженерной инфраструктуры ЦОД должен располагать и телекоммуникационными ресурсами. Требования непрерывности бизнеса предопределяют подводку 2-5 внешних каналов связи от независимых провайдеров. Для коммерческого ЦОД сделать это — не проблема, тогда как корпоративный вынужден решать задачу собственными силами. Объем инвестиций в создание ЦОД сильно зависит от гарантированной степени доступности корпоративных ИТ-ресурсов. На основе данных ABR Consulting Group мы составили обобщенную таблицу (таб. 2), согласно которой необходимый уровень затрат определяется размером площади машинного зала и мощностью внедряемых систем бесперебойного питания.

Весь комплекс задач, связанных с созданием ЦОД, можно разделить на несколько групп:

  • выбор места для строительства здания ЦОД либо его аренды. Если речь идет о коммерческом дата-центре, то первоначальный выбор может определить дальнейший коммерческий успех (читай — доход) всего предприятия;
  • организация электропитания объекта. Этот блок задач включает в себя обеспечение внешних энерговводов и прокладку силовых кабелей по самому зданию с использованием продуктов только высшего качества;
  • обеспечение в рабочих помещениях климатического контроля (теплоотвода), оценка совокупной мощности систем кондиционирования HVAC (Heating Ventillation-Air-Conditioning). Заказчикам предлагаются на выбор две технологии охлаждения стоек — чиллер и фреоновая;
  • построение кабельной инфраструктуры локальных сетей и подключение внешних каналов телекоммуникаций;
  • обеспечение пожарной безопасности и соответствия объекта принятым нормативам и ГОСТам;
  • обеспечение физической безопасности объекта и разграничения доступа персонала к оборудованию. Необходимым условием является внедрение в ЦОД полномасштабной системы видеонаблюдения (Closed Circuit TeleVision Secuгity System, CCTV);
  • коммерческая эксплуатация дата-центра и размещение резервных офисов.

Ориентировочные затраты на жизненно важные службы ЦОД желательно подсчитать отдельно (в дополнение к стоимости, основанной на площади фальш-пола машинного зала и мощности ИБП). Кроме того, следует оценить необходимость в масштабируемости этих служб в случае модернизации парка вычислительной техники или развития компании в целом. Например, можно вычислить производительность системы кондиционирования ЦОД в текущий момент, определить, какая ее производительность понадобится в перспективе и оценить объем соответствующих капиталовложений.

Простая методика, предложенная президентом Data Processing Air Conditioning Биллом Манном, широко используется в США при проектировании ЦОД и хостинг-центров. В помещении, где находятся стойки с оборудованием, активно выделяется тепло, что приводит к росту температуры выше нормативных 19-22 град. Для поддержания заданной температуры система кондиционирования должна выделять определенное (измеряемое в тоннах) количество охлажденного воздуха. Один ватт мощности установленного серверного и сервисного оборудования обуславливает выделение 3,41 британских единиц тепла (British Thermal Unit, BTU), а 12 тыс. BTU компенсируются 1 т охлажденного воздуха.

Каково выделение тепла в компьютерных помещениях ЦОД разного размера? Билл Манн приводит ориентировочные цифры. Его методика позволяет в считанные минуты оценить производительность систем HVAC на перспективу.

Выявить прочие статьи затрат можно, ознакомившись со стандартами на ЦОД. Пока единственным комплексным документом в этой сфере является принятый США в 2005 году ANSI/EIA/TIA-942. Большое значение в нем уделяется кабельной инфраструктуре, затраты на которую оказываются хоть и меньшими, чем стоимость HVAC-системы, но далеко не нулевыми.

На основе ANSI/TIA/EIA-942 можно определить максимально допустимое количество стоек в помещении ЦОД. Рекомендуемое расстояние между фасадами стоек соседних рядов должно составлять 0,9-1, 2 м, а между их тыльными частями — 0,6-0,9 м. Таким образом, с учетом площадей, выделяемых под обязательные системы газового пожаротушения и HVAC, одна стойка с серверным оборудованием занимает 2,5 кв. м. Получается, что в ЦОД размером 200 кв. м можно установить 75-85 девятнадцатидюймовых стоек.

Данные об энергопотреблении размещаемого в ЦОД оборудования может предоставить ИТ-отдел. На основании этих сведений оценивается мощность ИБП и дизель-генераторов, используемых в случае прерывания централизованного энергоснабжения (таб. 3). Масштабируемость систем бесперебойного питания — залог успеха, поскольку энергопотребление современных серверов стремительно растет. Если сегодня мы считаем, что 5-6 кВт электроэнергии на одну стойку вполне достаточно, то уже завтра среднее потребление может возрасти до 10-15 кВт.

Таблица 3. Примерный расчет потребления электроэнергии

Поставщики специализированного оборудования для ЦОД на основе собственного опыта определяют стоимостные аспекты владения дата-центрами. Компания APC приводит весьма любопытную оценку стоимости владения ЦОД в течение всего жизненного цикла объекта, который составляет примерно 10 лет. Оказывается, небольшой ЦОД четвертого класса с энергопотреблением 100 кBт и средней энергонагрузкой 1,5 кBт на стойку обойдется в 120 тыс. долл. на каждую стойку. В эту сумму включены и расходы на телекоммуникационную составляющую, которая обеспечивает высокую доступность на четвертом уровне отказоустойчивости. На основе этих ориентировочных сведений фирмы могут определить период возврата инвестиций и наметить мероприятия по снижению затрат на организацию и содержание ЦОД.

Создание корпоративного ЦОД занимает довольно продолжительное время. Если компания не может ждать и должна срочно разместить критичные для бизнеса ИТ-ресурсы на надежной площадке, то ей стоит воспользоваться услугами коммерческого дата-центра — на постоянной или временной основе. В Москве расценки на подобные услуги, фактически, соответствуют стоимости аренды одной 19-дюймовой стойки в рамках сервиса Colocation. В зависимости от площадок провайдеров (их можно легко классифицировать по ANSI-стандартам) эта стоимость колеблется в пределах от 500 до 2 тыс. долл. Кроме того, она зависит от требований к безопасности, наличия канальных ресурсов, от энергопотребления и организационных вопросов.

Стоимость аренды помещений для резервных офисов, безусловно, не может равняться цене офисных помещений в бизнес-центрах класса А и В. Для справки: в Москве она составляет 800-1200 долл. за 1 м2 ежегодно. Сумма должна быть разумной, а основные требования (безопасность персонала и коммуникаций, необходимая доступность корпоративных ИТ-систем) выполняться безукоризненно. Иначе пропадает смысл в резервном офисе как таковом.

Людмила Старикова (Ludmila.Starikova@ionip.ru) — директор по маркетингу компании WideXs (ООО «Связь ВСД»)