В архитектуре ЦОД и больших компьютерных залов всегда предусматривается система охлаждения. При этом многие ИТ-устройства по-прежнему располагаются за пределами машинных залов в локальных серверных, филиалах и других местах, при проектировании которых никаких требований к охлаждению оборудования не предъявлялось. Плотность размещения ИТ-оборудования со временем увеличивается, а в результате распределенное ИТ-оборудование (маршрутизаторы VoIP, коммутаторы и серверы) преждевременно выходит из строя из-за перегрева.

Как правило, эти вопросы попросту игнорируются: организации начинают предпринимать необходимые меры только при возникновении проблем. Однако все больше и больше пользователей находят такой подход неудовлетворительным и требуют более активных действий по обеспечению должного уровня готовности распределенного ИТ-оборудования. Ниже излагаются основные принципы охлаждения небольших распределенных ИТ-сред и даются рекомендации по выработке эффективных спецификаций и проектированию вспомогательных систем охлаждения.

ПРИЕМЛЕМАЯ РАБОЧАЯ ТЕМПЕРАТУРА В СЕРВЕРНЫХ

Чтобы правильно подобрать решение для охлаждения серверной, сначала необходимо определить температуру, при которой будет функционировать оборудование в этом помещении. Поставщики обычно указывают максимальную температуру окружающей среды, при которой оно способно работать: для активного ИТ-оборудования средний показатель составляет 40°C (речь идет о температуре, при которой поставщик может обеспечить должную производительность и устойчивость работы своих устройств в течение гарантийного периода).

При этом необходимо помнить, что функционирование в таких условиях не обеспечивает такого же уровня готовности и долговечности, как при более низких температурах. Именно поэтому некоторые поставщики, помимо максимальной, указывают также рекомендованную рабочую температуру. Обычно она составляет от 21 до 24°C.

Рекомендованную и разрешенную для ИТ-оборудования рабочую температуру публикует также технический комитет TC 9.9 Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха (American Society of Heating, Refrigeration, and Air Conditioning Engineers, ASHRAE). Цель заключается в том, чтобы предоставить ориентир для обеспечения необходимой устойчивости и производительности аппаратных средств. Соответствующие показатели представлены в табл. 1.

Таблица 1. Ограничения рабочей температуры ASHRAE TC 9.9
Таблица 1. Ограничения рабочей температуры ASHRAE TC 9.9

Температуру следует поддерживать не выше 25°C. Если же это невозможно, в серверных с менее критичным оборудованием верхний предел составляет 32°C. В случае превышения этого показателя есть риск выхода оборудования из строя. 32°C — это тот максимум, который Международная организация по стандартизации (International Organization for Standardization, ISO) считает допустимым при небольшой нагрузке.

Особое внимание следует уделить серверным с установленными в них источниками бесперебойного питания (ИБП). Повышение температуры гораздо сильнее влияет на долговечность батарей, чем на другие типы ИТ-оборудования. При 40°C батарея типового ИБП проработает всего 1,5 года, тогда как в нормальных рабочих условиях — 3–5 лет. Поэтому обязательным требованием должна стать температура ниже 25°C. Альтернативным вариантом может быть размещение централизованных ИБП в хорошо охлаждаемом месте за пределами серверной.

ОСНОВНЫЕ ПРИНЦИПЫ ОТВОДА ТЕПЛА

Для лучшего понимания сути вопроса полезнее было бы сформулировать его по-другому — с точки зрения отвода тепла, а не подачи холодного воздуха. Если тепло не отводить, оно будет накапливаться во всех замкнутых пространствах, где находится оборудование, а значит, температура станет повышаться. Каждый киловатт потребляемой ИТ-оборудованием электроэнергии создает киловатт тепла, которое необходимо отвести.

Тепло можно сравнить с предметом, который катится вниз. Оно передается от объекта или среды с более высокой температурой к объекту или среде, у которых температура ниже. Чтобы отвести тепло, его нужно направить в более холодное место. Во многих реальных ситуациях такая возможность отсутствует.

Тепло может покинуть небольшое замкнутое пространство, каковым являются офис или серверная, пятью различными способами:

  • Естественная теплопроводность. Тепло уходит через стены во внешнюю среду.
  • Пассивная вентиляция. Тепло уходит в более холодную среду через вентиляционное отверстие или решетку без применения вентилятора.
  • Принудительная вентиляция. Тепло отводится с помощью вентилятора в более холодную среду через вентиляционное отверстие или решетку.
  • Климат-контроль. Тепло удаляется с помощью охлаждающих систем здания.
  • Выделенная система охлаждения. Тепло отводится с помощью специального кондиционера.

Пять перечисленных методов имеют разные эффективность, ограничения и стоимость. Пользователи должны понимать, какой метод используется или предлагается в конкретной ситуации, какой больше подходит с учетом существующих ограничений и предпочтений и как должны определяться требования к проекту.

На рис. 1 представлена общая схема для стратегии охлаждения в зависимости от текущей и целевой температуры в зале при обычных условиях. На ней показаны диапазоны производительности для различных методов. Не надо пытаться перевести эти ограничения в абсолютные цифры, поскольку стратегии перекрываются, а окончательное решение должно учитывать все факторы, от которых зависит степень охлаждения. Системы климат-контроля здесь не представлены, поскольку они могут быть очень разными, а их функционирование — непредсказуемым. Ниже мы рассмотрим этот вопрос более подробно.

Рис. 1. Сопоставление методов охлаждения в зависимости от энергопотребления и целевой температуры в зале
Рис. 1. Сопоставление методов охлаждения в зависимости от энергопотребления и целевой температуры в зале

ЕСТЕСТВЕННАЯ ТЕПЛОПРОВОДНОСТЬ: ТЕПЛО УХОДИТ ЧЕРЕЗ СТЕНЫ

В закрытых подсобных помещениях, которые встречаются довольно часто, единственным способом отвода тепла является кондуктивный теплообмен через стены. Чтобы этот метод работал, воздух внутри помещения должен быть более теплым, чем снаружи. Причем температура в нем растет тем сильнее, чем выше уровень энергопотребления работающего ИТ-оборудования.

Рис. 2. Зависимость температуры в серверной от уровня энергопотребления ИТ-оборудования. Эффективность естественной теплопроводности
Рис. 2. Зависимость температуры в серверной от уровня энергопотребления ИТ-оборудования. Эффективность естественной теплопроводности

Пример соотношения между средней температурой в серверной (в предположении ее равномерного распределения) и энергопотреблением оборудования приведен на рис. 2. Данное соотношение предполагает наличие закрытого помещения размером 3 × 3 × 3 м с утечкой воздуха со скоростью 23,6 л в секунду, стенами из гипсокартона и комфортным охлаждением снаружи до уровня 20°C (см. подробнее врезку «Предполагаемые условия для типовой серверной»).

Предполагаемые условия для типовой серверной

Для описания типовой серверной обычно используется экстенсивная модель, учитывающая теплопроводность стен, конвекцию и излучение. Под конвекцией понимаются естественный теплообмен со стенами комнаты и заданный воздушный поток (в результате утечки воздуха). Предположения об условиях в «типовой» серверной приведены ниже.

Параметры типовой серверной
Параметры типовой серверной

Как видно из рисунка, такая типовая серверная поддерживает энергопотребление до 400 Вт, если температура в ней не должна превышать 25°C, и 1000 Вт, если приемлемым уровнем считается значение 32°C.

Впрочем, серверные отличаются своими размерами и использованными стройматериалами, а на соотношение между температурой и энергопотреблением влияют и другие факторы, которые ограничивают использование этого метода. Основные факторы и характер их влияния перечислены в табл. 2.

Таблица 2. Факторы, оказывающие влияние на температуру в серверной, и ожидаемый результат их воздействия

Наиболее очевидный фактор — размеры помещения. Чем больше комната, тем лучше рассеивается тепло благодаря большей площади стен, потолка и пола. И чем она меньше, тем ниже эффективность охлаждения за счет естественной теплопроводности. Разница в эффективности представлена на рис. 3.

Рис. 3. Влияние размеров помещения на эффективность охлаждения за счет естественной теплопроводности
Рис. 3. Влияние размеров помещения на эффективность охлаждения за счет естественной теплопроводности

Материалы, используемые при строительстве стен, потолка и пола, тоже оказывают влияние на соотношение между температурой и рабочей нагрузкой, поскольку способность пропускать тепло у разных материалов разная. Если мы заменим стены из гипсокартона и панельный подвесной потолок, приведенные в примере выше, на 10-сантиметровые бетонные стены и 10-сантиметровые железобетонные перекрытия, эффективность охлаждения заметно повысится. Это наглядно можно увидеть на рис. 4.

Рис. 4. Влияние строительных материалов на эффективность охлаждения за счет естественной теплопроводности
Рис. 4. Влияние строительных материалов на эффективность охлаждения за счет естественной теплопроводности

Зачастую эффективность охлаждения за счет естественной теплопроводности снижается из-за повышения температуры внутри здания после отключения систем кондиционирования на выходные. Когда такое происходит, температура в серверной с ИТ-оборудованием синхронно увеличивается. В нашем примере при увеличении в выходные дни температуры внутри здания с 20 до 29°C (то есть на 9°C) можно ожидать соответствующего увеличения на 9°C и внутри серверной. Это означает, что в критичной серверной, где температура не должна превышать 25°C, придется отключить всю нагрузку, а в некритичной, где можно допустить 32°C, уровень энергопотребления не должен быть выше 250 Вт.

Еще одно ограничение такого метода охлаждения связано с тем, что, если стены помещения одновременно являются внешними стенами здания, температура внутри будет зависеть от температуры внешней стены, на которую влияют как состояние окружающей среды, так и нагрев под воздействием солнца. Поэтому помещение, примыкающее к наружным стенам, в солнечные дни может перегреваться. В нашем примере в комнате размером 3 × 3 × 3 м при температуре 38°C на улице и солнечной теплоотдаче 1000 Вт/м2 можно ожидать повышения температуры внутри помещения на 4–7°C.

Эффективность охлаждения за счет естественной теплопроводности в закрытых помещениях варьируется в зависимости от их размеров, конструкционных материалов и внешних условий. В общем случае охлаждения исключительно за счет теплопроводности в критичных залах оказывается достаточно, если общее энергопотребление внутри помещения не превышает 400 Вт. При этом следует учитывать влияние и других факторов, перечисленных выше. В некритичных помещениях такой тип охлаждения можно использовать, если энергопотребление оборудования не превышает 1000 Вт.

Итак, этот метод пригоден только при использовании маломощных ИТ-устройств, например стековых сетевых коммутаторов. Как видно из приведенных выше примеров, при увеличении энергопотребления температура быстро увеличивается. Учтите, что тепло выделяют и другие потребители энергии, в частности электрические лампочки. Поэтому освещение зала нужно организовать с использованием экономичных источников, которые автоматически отключались бы, когда в помещении никого нет.

ПАССИВНАЯ И ПРИНУДИТЕЛЬНАЯ ВЕНТИЛЯЦИЯ: ТЕПЛО ОТВОДИТСЯ В БОЛЕЕ ХОЛОДНУЮ СРЕДУ ЧЕРЕЗ ВЕНТИЛЯЦИОННЫЕ ОТВЕРСТИЯ И РЕШЕТКИ

Залы можно охлаждать с помощью воздуха, поступающего из остальной части здания. При этом применяется как пассивная вентиляция через специальные отверстия и воздухозаборники, так и активная — с помощью вентиляторов. Основное условие заключается в том, чтобы температура в зале не превышала значительно температуру в здании.

Примеры систем вентиляции представлены на рис. 5. Как показано на рис. 6, температура в вентилируемом помещении меняется в соответствии с уровнем энергопотребления ИТ-оборудования.

Рис. 5. Примеры двух типов вентиляции помещений:? а — пассивная вентиляция; б — принудительная вентиляция
Рис. 5. Примеры двух типов вентиляции помещений: а — пассивная вентиляция; б — принудительная вентиляция

В графическом виде эта ситуация представлена на рис. 5. Кривая пассивной вентиляции характеризует работу оборудования, изображенного на рис. 5, а. В случае принудительной вентиляции (рис. 5, б) температура повышается медленнее (по сравнению с пассивной), при этом предполагается, что поток воздуха генерируется со скоростью 226,5 л в секунду. Рост температуры снижается по мере увеличения потока воздуха. Для этого необходимо установить вентиляторы большей мощности или дополнительную вентиляционную систему.

Рис. 6. Зависимость температуры в помещении от энергопотребления? ИТ-оборудования при пассивной и принудительной вентиляции
Рис. 6. Зависимость температуры в помещении от энергопотребления ИТ-оборудования при пассивной и принудительной вентиляции

Вентиляция — очень практичный метод охлаждения зала. Для критичных помещений при энергопотреблении ниже 700 Вт вполне достаточно пассивной вентиляции, а если энергопотребление составляет от 700 до 2000 Вт, справится принудительная. Поддержка еще более высоких уровней энергопотребления достигается путем увеличения мощности вентиляторов или установки дополнительных вентиляционных систем.

В некритичных помещениях для энергопотребления, не превышающего 1750 Вт, достаточно пассивной вентиляции, а в случае 1750–4500 Вт — принудительной. Правильное размещение вентиляционных отверстий и вентиляторов по отношению к ИТ-оборудованию тоже способствует эффективному охлаждению. При этом методе важное значение имеют внешние факторы, роль которых была проиллюстрирована на рис. 4 и 5.

КЛИМАТ-КОНТРОЛЬ: ТЕПЛО МОЖНО ОТВОДИТЬ С ПОМОЩЬЮ ОХЛАЖДАЮЩИХ СИСТЕМ ЗДАНИЯ

Во многих зданиях уже установлены системы кондиционирования воздуха или объединенные системы кондиционирования и обогрева, позволяющие создать комфортные условия для персонала. Обычно у таких решений имеется система каналов и воздуховодов, которой можно воспользоваться при прокладке дополнительных вентиляционных каналов. Однако с помощью простого добавления последних редко удается решить проблему охлаждения залов, зачастую, напротив, ситуация только усугубляется.

Системы комфортного кондиционирования периодически включаются и отключаются. В качестве стандартного средства контроля обычно используется термостат, который размещается в заданной зоне, но не в серверной. Для небольшого пространства серверной, в которой находятся ИТ-устройства, это означает, что температура будет то снижаться, то возрастать. Однако ее существенные перепады наносят еще больший вред оборудованию.

Передовой опыт использования систем комфортного кондиционирования предусматривает ослабление заданных настроек температуры по ночам и в выходные с целью экономии электроэнергии. Некоторые системы вообще отключаются. Если серверная является частью более крупной зоны, средняя температура в ней увеличивается в соответствии с заданным ограничением. При добавлении канала придется сделать выбор между напрасным расходом электроэнергии по ночам и выходным и еще большим увеличением температурных скачков в серверной.

Чтобы использовать систему комфортного кондиционирования для охлаждения серверной, ее нужно превратить в выделенную зону с собственными прямыми и возвратными каналами, воздухораспределительными устройствами (вентиляторным доводчиком, системой кондиционирования с переменным расходом воздуха) и управляющими устройствами (термостатами). Но такое решение непрактично.

Организация выделенной зоны для серверной сопряжена со следующими трудностями:

  • Обеспечение адекватного постоянного статического давления во входном канале системы кондиционирования с переменным расходом воздуха (Variable Air Volume, VAV), особенно в жаркие летние дни, когда охлаждающее оборудование работает на полную мощность.
  • Очень низкая плотность рассеиваемой мощности. Большинство систем комфортного охлаждения должны обеспечивать охлаждение на уровне 43–54 Вт/м2, что эквивалентно 150 Вт на стойку (если считать, что каждая стойка занимает 2,8 м2).
  • Недостаточная масштабируемость.
  • Высокая стоимость реализации.

Зачастую центральная система охлаждения является частью основной или дополнительной системы отопления. В таких ситуациях входной воздуховод, построенный для охлаждения серверной, в зимние месяцы будет подавать туда тепло. А это всегда нежелательно.

Вмешательство в систему комфортного кондиционирования здания для охлаждения ИТ-помещений в общем случае недопустимо. Если воздуховод уже существует, его нужно убрать или отключить либо заменить или дополнить одним из других ранее уже описанных подходов.

СПЕЦИАЛЬНОЕ ОХЛАЖДЕНИЕ: ТЕПЛО МОЖЕТ ОТВОДИТЬСЯ ВЫДЕЛЕННЫМ КОНДИЦИОНЕРОМ ВОЗДУХА

Наиболее эффективный способ обеспечить контроль за температурой в серверной — это установка выделенного оборудования для кондиционирования помещения. Однако, по сравнению с использованием пассивной или принудительной вентиляции, выделенное кондиционирование может оказаться слишком сложным и дорогостоящим решением. Такой вариант следует выбирать, только когда это действительно требуется.

В общем случае выделенную систему кондиционирования рекомендуется устанавливать, когда уровень мощности превышает примерно 2000 Вт для критичных серверных помещений и 4500 Вт для некритичных. При определении мощности очень важно учитывать подробные спецификации энергопотребления, предоставленные поставщиком ИТ-оборудования, и установить уровень мощности для конкретной конфигурации ИТ-оборудования.

Как правило, фактическая мощность конкретного оборудования значительно ниже номинальной, которая указывается на задней панели, и ее правильное определение может избавить от существенных затрат и уменьшить сложность системы охлаждения. К примеру, конфигурируемые маршрутизаторы с номинальной мощностью 5–6 кВт на самом деле потребляют всего 1–2 кВт. При правильных расчетах, возможно, кондиционер и не понадобится.

Бывают ситуации, когда выделенный кондиционер нужен, даже если вентиляция представляется технически жизнеспособной альтернативой. К таковым относятся:

  • наличие в вентиляционном воздухе за пределами серверной значительной доли пыли и других загрязняющих веществ;
  • подверженность вентиляционного воздуха за пределами серверной существенным перепадам температуры;
  • невозможность добавления вентиляционных воздуховодов в связи с особенностями условий аренды или ремонта.

В таких случаях вентиляция, в которой используется воздух, находящийся внутри здания, оказывается нежизнеспособной альтернативой и остается единственный вариант — монтаж выделенной системы кондиционирования.

ВЛИЯНИЕ ИБП НА СИСТЕМУ ОХЛАЖДЕНИЯ СЕРВЕРНОЙ

Общая и рекомендованная практика заключается в использовании в серверных небольших распределенных систем ИБП для обеспечения непрерывности бизнеса. В зависимости от предъявляемых требований они могут предоставлять резервное питание ИТ-нагрузки в течение короткого или увеличенного (больше часа) периода времени. В любом случае тепловая нагрузка, создаваемая ИБП, значительно ниже соответствующей нагрузки ИТ-оборудования, и ее можно проигнорировать.

При наличии ИБП ИТ-оборудование по-прежнему будет в течение какого-то времени генерировать тепло в случае прекращения энергоснабжения. Поэтому охлаждающая система не должна отключаться. Если продолжительность расчетной работы от ИБП меньше 10 мин, термальная масса воздуха и поверхности стен внутри серверной сохраняют температуру в разумных пределах. Никаких предварительных мер предпринимать не требуется.

Если же ИБП спроектированы для поддержки нагрузки на протяжении более чем 10 мин, системы охлаждения должны работать в течение всего этого периода. Это означает, что при использовании системы принудительной вентиляции или воздушного кондиционера вентилятор и кондиционер должны получать энергоснабжение от ИБП. Потребность в энергоснабжении вентилятора или кондиционера нужно учитывать при расчете необходимой мощности ИБП.

В случае принудительной вентиляции эта проблема стоит не так остро, но для кондиционеров нужны значительно более мощный ИБП и более емкие батареи (зачастую пусковой ток кондиционера в 4–6 раз превышает номинальный). Поэтому при наличии возможности следует использовать не кондиционеры, а принудительную вентиляцию.

Практичной и экономичной альтернативой кондиционеру, выделенному для ИБП, считается установка принудительной вентиляции. В идеале вентиляционная система должна получать энергоснабжение при любых условиях, чтобы обеспечивать определенный уровень воздухообмена в комнате. При этом выделенный кондиционер не задействован. Система принудительной вентиляции выполняет резервную роль до момента восстановления энергоснабжения (и автоматического повторного запуска кондиционера).

АТРИБУТЫ ЭФФЕКТИВНОЙ ПРИНУДИТЕЛЬНОЙ ВЕНТИЛЯЦИИ

На основании вышеизложенного можно сделать вывод, что чрезмерное тепло в серверной должно вызывать обоснованное беспокойство, а самыми простыми решениями в данном случае являются пассивная или принудительная вентиляция. Несмотря на то что пользователям доступен большой выбор таких систем, существуют и готовые решения с хорошими характеристиками, предназначенные специально для охлаждения серверных. В табл. 3 указано, на что следует обратить внимание при создании вентиляционной системы для серверной.

Таблица 3. Функции и преимущества вентиляционной системы
Таблица 3. Функции и преимущества вентиляционной системы

ЗАКЛЮЧЕНИЕ

Для большинства ИТ-помещений наиболее эффективной и практичной стратегией охлаждения является вентиляция. Хорошо спроектированная и реализованная система пассивной вентиляции эффективна при низких уровнях нагрузки. Для серверных, где установлены маршрутизаторы VoIP и серверы с высоким уровнем энергопотребления, рекомендуется спроектировать принудительную вентиляцию.

Когда уровень энергопотребления в критичных серверных превышает 2000 Вт (4500 Вт в некритичных серверных) либо окружающий воздух за их пределами становится горячим, неконтролируемым или загрязненным, предпочтительна установка выделенного кондиционера воздуха. Использовать существующие системы комфортного кондиционирования для охлаждения серверной нежелательно, поскольку почти всегда возможны колебания температуры внутри помещения.

Появление вентиляционных систем, специально разработанных для ИТ-помещений, упрощает процесс выбора и позволяет внедрять стандартизированные решения для их охлаждения.

Нил Расмуссен, старший президент по инновациям в Schneider Electric,

Брайан Стэндли, менеджер линейки малых систем охлаждения в American Power Conversion