Планировать с умом

Основная же трудность заключается в том, как одновременно добиться энергоэффективности, модульности, безопасности и устойчивости развития.

В последние годы требования, предъявляемые к инфраструктурам ИТ, значительно возросли вследствие все более широкого распространения централизации и виртуализации при повышении удельной мощности оборудования. Как планировать оснащение ЦОД в таких условиях? Практический опыт показывает, что многие из представленных на рынке готовых решений не соответствуют реальным запросам предприятий. Часто предлагаемые концепции недостаточно продуманны, слишком дороги в эксплуатации или чрезмерно ограничивают возможности для дальнейшего развития ЦОД, поэтому имеет смысл уделить больше времени этапу планирования, чтобы найти такое решение, которое идеально впишется в ИТ-ландшафт предприятия и будет соответствовать конкретным потребностям.

При планировании инфраструктуры корпоративного ЦОД всегда следует помнить о необходимости обеспечения энергоэффективности, модульности, безопасности и устойчивого развития. Согласовать выполнение этих четырех задач в рамках единого решения зачастую очень сложно, но только при таком условии можно создать интеллектуальный ЦОД.

ЭКОНОМИЯ ЭЛЕКТРОЭНЕРГИИ С ПОМОЩЬЮ ИННОВАЦИОННЫХ ТЕХНОЛОГИЙ

На фоне непрерывно растущих тарифов на электроэнергию достижение энергоэффективности стало в последние годы приобретать все большее значение для предприятий. Если верить обещаниям производителей, сейчас практически все выпускаемые компоненты уже соответствуют требованиям, предъявляемым к «зеленым» ИТ, но при более пристальном рассмотрении во многих случаях обнаруживается, что они дают лишь незначительный эффект. К примеру, сегодня ЦОД с изолированными коридорами по умолчанию считаются экологичными. Изоляция коридоров в ЦОД действительно позволяет оптимизировать его охлаждение, но только в том случае, если используемые климатические установки оснащены вентиляторами EEC и независимой системой регулирования. В остальных случаях разделение холодных и горячих коридоров лишь препятствует смешению воздушных потоков с разной температурой и предотвращает дополнительные потери энергии.

Но для обеспечения долгосрочной эффективности охлаждения ЦОД гораздо более важным является выбор способа отвода тепла от серверов. Предприятиям стоит поискать альтернативу все еще очень широко распространенным компрессорным холодильным установкам с непосредственным испарением. Из-за невысокой стоимости их по-прежнему считают наиболее выгодным приобретением, но следует иметь в виду, что при непрерывной круглосуточной эксплуатации расход электроэнергии у них самый большой. В долгосрочной перспективе более экономичными оказываются решения, в которых доля механических процессов при получении холода сведена к минимуму.

Значительная экономия достигается, к примеру, в результате комбинации климатической установки, использующей водяное охлаждение, с технологией естественного охлаждения (Free Cooling). Опыт показывает, что применение только естественного охлаждения оправдывается, если уличная температура не превышает 17°C. Так, в зависимости от характера распределения показателей температуры, в конкретный год в европейской части подобные условия обеспечиваются на протяжении 7,6–8 тыс. часов. Соответственно, выработка холода посредством компрессорной холодильной установки требуется только в самое жаркое время, то есть в течение 10–15% от общего времени. При таких условиях, как показывает опыт, установки, где для охлаждения используется холодная вода, оказываются эффективнее, чем компрессорные системы с синтетическими хладагентами, — не в последнюю очередь из-за того, что вода является лучшим носителем энергии, способным поглощать большее количество тепла и легче его отдавать.

Но такой высокий годовой КПД систем естественного охлаждения возможен только в том случае, если при температуре подводимой воды около 19°C используемые внутри ЦОД технологии охлаждают подаваемый воздух до 22–23°C. При этом наиболее выгодными могут оказаться решения, охлаждающие не все помещение, а лишь стойки с оборудованием (см. Рисунок 1).

Рисунок 1. Решения для климатизации ЦОД по степени эффективности (с нижнего правого угла в верхний левый): системы охлаждения с подачей воздуха через двойной пол имеют множество точек отвода воздуха, при этом наблюдается потеря давления и большая разница температур на уровне 1U и 42U. Системы климатизации для рядов стоек обеспечивают точечное охлаждение в нужных местах.

Теоретически долю механических способов получения холода в ЦОД можно свести к нулю, к примеру, посредством геотермального охлаждения с использованием артезианской воды или геотермальных зондов. Но при этом специалисты по планированию и владельцы ЦОД должны предварительно учесть множество факторов — от структуры почвы до правовых вопросов, касающихся охраны водных ресурсов. Во многих случаях недостаточная проработка этих нюансов мешала достижению желаемых результатов. Реализовать геотермальное охлаждение обычно оказывается значительно сложнее, чем получать тепло при помощи геотермальных систем, но при точном расчете всех параметров комбинации непрямого естественного охлаждения и геотермальных охлаждающих систем коэффициент энергоэффективности PUE может составить около 1,1 или ниже. Таким образом, этот подход позволит многократно повысить энергоэффективность, а дополнительные инвестиции в новые технологии быстро окупятся.

МОДУЛЬНОСТЬ: РАСШИРЕНИЕ ИНФРАСТРУКТУР ПО МЕРЕ НЕОБХОДИМОСТИ

Соответствие инфраструктуры ЦОД потребностям предприятия легко распознать по использованию модульного принципа. В данном случае модульность означает, что по мере необходимости клиент может перестраивать отдельные элементы своей архитектуры, поэтому ему не приходится изначально приобретать большие и, как правило, дорогостоящие решения. В идеале модульное наращивание оборудования по мере необходимости должно обеспечиваться для различных подсистем: от оборудования электропитания и устройств ИБП до климатических установок и серверных стоек, причем желательно без значительных конструктивных изменений.

Рисунок 2. Фронтальный кулер с возможностью замены отдельных вентиляторов без прерывания его эксплуатации. На практике модульность означает упрощение технического обслуживания и ремонтных работ.

В большинстве случаев наиболее сложным моментом являются климатические установки. Если шкафной кондиционер достигает предела своих возможностей, то, как правило, требуется его полная замена. Кроме того, при возрастании требований, предъявляемых к охлаждающему оборудованию, специалисту по планированию необходимо убедиться, что наружные блоки смогут выдержать дополнительную нагрузку, а диаметр имеющихся трубопроводов допускает такое расширение. В противном случае потребуется вносить изменения в инфраструктуру здания и прокладывать дополнительные трубопроводы (см. Рисунок 2).

Что касается шкафов и стоек для ИТ-оборудования, компоненты от разных поставщиков до сих пор плохо комбинируются друг с другом. Многие производители по-прежнему придерживаются только собственных форматов и производят, к примеру, серверные стойки самых причудливых размеров. Поэтому, чтобы создать настоящие модульные решения, не привязанные к конкретным вендорам и сочетающие в себе преимущества оборудования разных компаний, требуются обширные знания данного сегмента рынка.

В сфере электропитания реализовать принцип модульности гораздо проще. Модульные установки сейчас присутствуют в портфеле практически всех производителей, а тщательно спланированную и реализованную схему вторичного распределения электроэнергии всегда можно изменить с помощью новых защитных автоматов. В любом случае предприятиям следует уделить повышенное внимание модульным ИБП. Во многих ЦОД используются моноблочные системы избыточной мощности, эксплуатация которых влечет за собой большие расходы. Дело не только в количестве потребляемой электроэнергии, но и в затратах на обеспечение избыточности: чтобы обеспечить надежную защиту от сбоев, приходится приобретать две моноблочные установки, в то время как для модульных систем достаточно лишь одного дополнительного модуля.

Вообще, расширять модульную систему следует лишь в том случае, когда ее загруженность достигает 80%, но большинство современных модульных систем ИБП состоит из трехфазных блоков, а нагрузка на отдельные фазы зачастую распределяется неравномерно. В результате может понадобиться дополнительный модуль, даже если само устройство ИБП еще не достигло своей предельной мощности. Но при добавлении модуля происходит одновременное увеличение мощности для всех трех фаз, а значит, устройство ИБП оказывается снова излишне мощным.

Хороший выход из этой ситуации — использование систем ИБП, которые можно расширять пофазово. Альтернативным вариантом является точное измерение отдельных фаз для более равномерного распределения нагрузки в процессе эксплуатации систем, что достаточно просто реализовать, к примеру, посредством блоков розеток с функцией измерения фаз.

Вопросы обеспечения безопасности и доступности систем играют ключевую роль при создании интеллектуального ЦОД. Многим предприятиям с трудом удастся пережить продолжительный отказ критически важных систем, поэтому в тщательно проработанном решении нарушение работы отдельных компонентов не должно приводить к общему отказу.

МИНИМИЗАЦИЯ РИСКОВ И ПРЕДОТВРАЩЕНИЕ СБОЕВ

Необходимо принять во внимание и побочные эффекты. К примеру, что произойдет, если в ЦОД отключится электричество? При самом удачном раскладе ИБП компенсирует его отсутствие до возобновления подачи тока от внешней сети. Если же отключение будет длительным, то тогда в качестве вариантов действий возможно упорядоченное отключение систем или подключение установки резервного питания. При реализации таких сценариев климатические системы часто не принимаются во внимание.

В принципе, энергоснабжение компрессорной установки можно было бы обеспечить с помощью устройства ИБП соответствующей мощности, однако пусковые токи компрессора часто в четыре-пять раз превышают номинальную величину тока, а системы ИБП не смогут справиться с такими пиковыми нагрузками — как длительными, так и краткосрочными — без отрицательных последствий.

Кроме того, из соображений экономии часто применяются потолочные сплит-системы, не способные автоматически включаться после восстановления подачи электроэнергии. Получается, что благодаря ИБП сбой питания удается благополучно пережить, но оборудование ИТ позднее может полностью выйти из строя из-за перегрева серверного помещения. Как раз такие наихудшие варианты развития событий необходимо исключить с помощью предусмотрительного планирования мер по обеспечению защиты и доступности систем.

Помимо сбоев при подаче электроэнергии, существуют и другие угрозы, способные нарушить работу ИТ-инфраструктур. Так, чтобы защититься от повреждений в результате возгораний, следует установить систему раннего обнаружения пожаров или аспирационную дымовую систему, оснастив ее соответствующими мониторинговыми инструментами. Такие меры помогают своевременно выявить факт возникновения задымления в результате короткого замыкания, а отключение или обесточивание пострадавшего участка поможет предотвратить пожар. Кроме того, в централизованную систему мониторинга рекомендуется интегрировать камеры наблюдения, температурные датчики, датчики утечки и другие измерительные устройства, что позволит реализовать сквозной и упреждающий контроль за всей ИТ-инфраструктурой.

Интеллектуальные системы могут значительно повысить надежность и отказоустойчивость ЦОД, но они неэффективны, если все заинтересованные стороны на этапе планирования ЦОД не договорились о четком разграничении своих сфер ответственности. На многих предприятиях существует более или менее урегулированное распределение обязанностей между отделом ИТ, занимающимся оборудованием внутри ЦОД, и отделом эксплуатации зданий, отвечающим за инфраструктуру и инженерные коммуникации. Но для обеспечения бесперебойной эксплуатации требуется наладить очень тесное взаимодействие. Кроме того, необходимо создать некое связующее звено, обеспечивающее быструю передачу информации и отвечающее за то, чтобы отдел ИТ, к примеру, сразу же был поставлен в известность о сбое одного из климатических модулей.

В самом простом варианте такое связующее звено может представлять собой каталог мероприятий, включающий отдел ИТ во все важные процессы. Оптимальным решением было бы назначение ответственного в лице менеджера по ИТ и инженерным системам, знакомого с особенностями обеих сфер деятельности и хорошо разбирающегося не только в требованиях ИТ, но и в объектах недвижимости и их характеристиках.

УСТОЙЧИВОЕ РАЗВИТИЕ: КУДА ВЕДЕТ ПУТЬ?

Когда речь заходит об устойчивом развитии ЦОД, все большее внимание уделяется теме управления инфраструктурой ЦОД (Data Center Infrastructure Management, DCIM).

Приложения DCIM собирают информацию от всех важных систем, позволяя оценить их по различным критериям и облегчить таким образом процесс планирования ресурсов. К примеру, моделирование сценариев «что если» может оказать ценную помощь на этапе планирования размещения нового аппаратного обеспечения.

В отрасли еще не утвердилось единое общепринятое толкование понятия DCIM, ведь каждый производитель понимает поставленную задачу по-своему. Объединяет все разнообразные подходы одно: образно говоря, они делят ЦОД на множество долек и могут рассматривать как каждую дольку отдельно, так и все вместе.

Какие параметры при этом являются решающими? Для планирования будущего ЦОД важны, прежде всего, наличие свободных монтажных единиц, допустимая предельная нагрузка на полы/двойные полы, доступная сила тока по фазам или для отдельных стоек, а также доступная мощность охлаждения. Кроме того, при расширении ЦОД необходимо следить за тем, чтобы дополнительные ресурсы отображались в системе мониторинга.

Система DCIM, получающая необходимые данные, способна своевременно распознать потенциальные узкие места и предупредить об этом. При учете всех аспектов единственным ограничением становится доступная площадь. Специалистам по планированию следует максимально подробно изучить имеющуюся инфраструктуру, а при возрастании требований своевременно предпринять необходимые шаги. Однако даже при самом тщательном планировании возможно возникновение некоторых расхождений между ожидаемым и действительным положением вещей, ведь техническое развитие не стоит на месте, так что некоторые из принятых допущений могут оказаться неверными.

К примеру, если бы 10–15 лет назад специалиста по планированию ИТ спросили бы о том, как будут развиваться инфраструктуры ЦОД, его ответ, скорее всего, был бы чем-то вроде «больше, лучше, быстрее, дальше». Тот факт, что вследствие виртуализации сейчас применяется меньшее количество более интенсивно используемых серверов, а возросшие нагрузки помещаются на меньшей площади, тогда нельзя было предвидеть. Сегодня аналогичную неопределенность привносит в прогнозы тема облачных вычислений. На данный момент очень сложно предсказать, как эта тенденция повлияет на развитие ИТ-инфраструктур, поэтому, оснащая будущие ЦОД, следует предусмотреть их готовность к изменениям. Интеллектуальный ЦОД, эффективный и надежный в эксплуатации, а кроме того, поддерживающий возможность модульного расширения в соответствии с возникающими потребностями, позволит предприятиям оперативно и гибко реагировать на требования эпохи облачных вычислений.