«Горячие» проблемы ЦОД

«Журнал сетевых решений/LAN» и агентство корпоративных коммуникаций OSP-Con провели конференцию по инженерной инфраструктуре ЦОД.

Во всем мире стремительно растет число серверов, увеличиваются плотность размещения и мощность оборудования центров обработки данных (ЦОД). Компании, в последние четыре-пять лет откладывавшие модернизацию своих ЦОД, приступили к активному обновлению ИТ-инфраструктуры, чтобы вписаться в рамки новых бизнес-требований. А в России самой актуальной темой остается строительство ЦОД «с нуля».

За рубежом есть организации, объединяющие специалистов по построению и эксплуатации центров данных. Например, Institute for Data Center Professionals (IDCP) разрабатывает стандарты на инфраструктуру ЦОД и накапливает обширную статистику. В России действующих ЦОД еще слишком мало, чтобы делать обобщения, но можно использовать зарубежные опыт и модели расчетов, например Uptime Institute. Проходящие в нашей стране конференции позволяют знакомиться с достижениями в этой области, с вариантами реализации ЦОД, в которых учитывается специфика деятельности предприятия и решаемых задач.

20 июня «Журнал сетевых решений/LAN» и агентство корпоративных коммуникаций OSP-Con провели конференцию «Какой должна быть инфраструктура современного центра обработки данных». Внимание ее участников было сфокусировано на основных тенденциях проектирования, построения и эксплуатации инженерно-технической инфраструктуры современных ЦОД.

Инфраструктура по стандарту

Главный редактор «Журнала сетевых решений/LAN» Дмитрий Ганьжа отметил важность стандартизации как процесса выработки единого подхода к организации ЦОД. По данным опроса IDC, повышение уровня сервиса, консолидация и стандартизация ИТ-инфраструктуры являются первоочередными задачами CIO. Результаты опроса CMP свидетельствуют об актуальности обеспечения непрерывности бизнес-процессов и масштабируемости. Насущными проблемами остаются защита данных и сокращение расходов на ИТ, электропитание и охлаждение, причем потребность в охлаждении оборудования ЦОД ежегодно растет примерно на 8%. За рубежом на ЦОД приходятся от 50 до 75% корпоративных ИТ-бюджетов. В ближайшие три года потребуется модернизировать примерно 40% эксплуатируемых ЦОД.

Стандартизация рассматривается как один из принципов системного подхода к построению инфраструктуры, обеспечивающий масштабируемость решений и сокращение капитальных расходов. Она помогает унифицировать реализацию взаимосвязанных инфраструктурных систем ЦОД. Сейчас проектировщики руководствуются стандартом EIA/TIA-492 (США), но близок к завершению и европейский стандарт EN 50173-5, на основе которого будет сформирован соответствующий российский ГОСТ.

Консолидация управления

По мнению директора департамента автоматизации инженерных систем «КРОКа» Александра Ласого, требования к инженерной инфраструктуре ЦОД определяются консолидацией ресурсов и приложений, а также соответствием ИТ-приложений бизнес-процессам. Эти требования распространяются на СКС, кондиционирование, электропитание, пожаротушение, защиту машинного зала от протечек, контроль над доступом в помещение. СКС центра данных должна обеспечивать высокую плотность портов, гибкость проектных решений и удобство эксплуатации, характеризоваться механической прочностью, помехоустойчивостью и высокой пропускной способностью. В «КРОКе» для реализации информационной кабельной инфрастуктуры ЦОД используют медные и оптические решения Systimax/Commscope. Увеличение стоимости медных кабелей может стать стимулом к развитию более дешевой оптоэлектроники.

Алексей Солодовников: «На инженерные подсистемы приходится две трети капитальных затрат, необходимых для построения крупного ЦОД»

Кабельные системы и специальные решения для ЦОД предлагают целый ряд производителей СКС и кабельной продукции. Например, в Corning разработаны готовые оптические сборки с увеличенной плотностью соединений, позволяющие быстро монтировать оптическую кабельную инфраструктуру ЦОД. В RiT Technologies считают, что в ЦОД имеет смысл применять систему управление физическим уровнем кабельной инфраструктуры. Она помогает быстро выявлять проблемы, контролировать процесс коммутации портов и вносить изменения в конфигурацию сети.

В одном центре данных, как правило, используются несколько типов сетей, поэтому возникает задача консолидации систем управления. Интеграция подсистем ЦОД и создание общей системы диспетчеризации сопоставимы с проектами построения «интеллектуального здания»; для выполнения таких задач требуется увязка с системой управления верхнего уровня. Заказчики пока уделяют этому недостаточно внимания, а, кроме того, разными подсистемами ЦОД обычно занимаются не связанные между собой подразделения.

По словам директора по развитию бизнеса APC Алексея Солодовникова, в ЦОД насчитывается до 15-16 подсистем (основное и резервное питание, слаботочная, силовая и иные типы проводки, прецизионные системы кондиционирования и климат-контроля, средства пожаробезопасности и физической защиты помещений). На них приходятся две трети капитальных затрат, необходимых для создания крупного ЦОД. Солодовников полагает, что по зарубежной статистике типовых затрат можно с высокой точностью (до 10%) оценить стоимость любого российского проекта в области ЦОД.

Лед и пламень

Энергопотребление и охлаждение оборудования ЦОД становятся приоритетными задачами по отношению к объектам любого масштаба — от занимающих одно помещение до распределенных катастрофоустойчивых сетей центров обработки данных. Мощность современных ЦОД увеличилась в разы — в среднем с 5 до 15 и даже 24 кВт (у модульных серверов) на стойку. Уже установлена новая планка энергопотребления — 80 КВт на стойку. Это вынуждает производителей переходить с традиционного кондиционирования на локальное охлаждение шкафов и жидкостное охлаждение процессоров. Emerson, Rittal, APC предлагают комплексные системы управления электропитанием и охлаждением, существенно снижающие количество отказов и затраты на сервис.

Предполагаемый рост бюджетов на ЦОД в 2002-2012 гг.

По данным APC, резервирование систем электропитания и охлаждения позволяет сокращать время простоев с 22 до 1,2 ч в год, но такой вариант обходится в 1,5 раза дороже обычной архитектуры. Одна из тенденций — создание модульных, гибких, масштабируемых систем охлаждения и электропитания. По данным Knuerr, жидкостное охлаждение может оказаться на 40% экономичнее воздушного. Оно повышает энергоэффективность ЦОД до 30% и дает возможность сэкономить до 80% рабочих площадей. Для отвода более 5 кВт тепла на стойку обычно применяют жидкостные системы. Система CoolTherm производства Knuerr с разделением контуров водяного и воздушного охлаждения позволяет отводить до 35 кВт тепловой энергии от стойки с модульными серверами.

Пример инвестиций в ЦОД

В Emerson подчеркивают, что оборудование в машинных залах должно устанавливаться с учетом требований климатики, с организацией «горячих» и «холодных» коридоров. Подобный подход стал общепринятым. Как многофакторная система ЦОД требует сбалансированного электроснабжения и энергообеспечения. В HP разработана методика трехмерного моделирования требований к электропитанию и охлаждению, которую можно применять к существующим и строящимся ЦОД. В Rittal также используют специальное ПО для расчета и выбора подходящего типа охлаждения.

На страже безопасности

Защита данных — не менее важная проблема, чем охлаждение. По словам Станислава Заржецкого, регионального менеджера компании Lampertz (она предлагает решения для физической защиты информационных ресурсов), функциональная безопасность ЦОД включает в себя техническую безопасность (надежность) оборудования, логическую (программное обеспечение) и физическую защиту от внешних факторов — будь то вандализм, огонь, вода, скачки напряжения и т.п. Lampertz создает ЦОД «под ключ» на основе модульных «комнат безопасности» разных типов.

Управляющий директор Reiche & De Massari в России Сергей Логинов полагает, что нужно обращать особое внимание на «человеческий» фактор, подчас приводящий к катастрофическим последствиям. Разработанные R&M средства защиты физических соединений на уровне СКС (цветовое кодирование, блокирование язычка соединителя RJ-45, заглушки для портов RJ-45) — это простые, но эффективные решения для защиты от ошибок персонала. В RiT также считают защиту физических и логических уровней соединений актуальной задачей ЦОД именно из-за «человеческого» фактора. Безопасность обеспечивается за счет ограничения доступа, четкого разделения ответственности за состояние отдельных систем, установки систем мониторинга и видеонаблюдения.

Уроки строительства

Обычно проектировщики ЦОД исходят из целесообразности и стоимости реализации тех или иных функций. В презентациях специалистов IntelinePro, DataDome, «Утилекс АйТи 2000» говорилось о примерах строительства, развертывания и эксплуатации ЦОД, позволяющих извлечь уроки из типичных ошибок.

По мнению системного архитектора IBS Сергея Ошерова, факторами успеха проектов построения ЦОД являются грамотность заказчика, определяющего четкие цели и технические требования, опыт исполнителя, а также постоянное сотрудничество между ними. Строительство ЦОД предусматривает более десятка этапов, и подчас от начала проектирования до ввода в эксплуатацию проходят 1,5-2 года.

В управляющей компании IntelinePro считают самой важной предпроектную часть, так как именно на этом этапе проще всего решать возможные проблемы. По словам Александра Мартынюка, технического директора IntelinePro, возникает немало сложностей при поиске подходящей площадки, подготовке и согласовании требований, сборе документов, формировании структуры подрядных договоров и т.п. Мартынюк считает, что при выборе оборудования лучше следовать зарубежному опыту.

Генеральный директор DataDome Андрей Павлов отметил, что необходимо заранее планировать возможность масштабирования ЦОД без остановки его работы, а также обеспечивать экономичность проектирования системы пожаротушения для отдельных зон центра данных. Руководитель отдела кабельных систем «Утилекс АйТи 2000» Руслан Арасланов считает, что строительство ЦОД требует комплексного подхода и соблюдения требований ТЗ. Он рассказал о проекте построения ЦОД для оператора «Мегафон-Сибирь», который отличался высокими требованиями к масштабированию (за год количество шкафов увеличилось в восемь раз).

Изменения в составе используемых технологий и оборудования, обусловленные появлением новых задач, влекут за собой ужесточение требований к инженерной инфраструктуре дата-центров. Нередко ЦОД проектируются «на авось», без учета многих моментов, требующих предварительного просчета. Однако с ростом числа подобных проектов у исполнителей и заказчиков будет накапливаться необходимый опыт.