Быть ли ЦОДам без компрессоров?

Основной потенциал повышения энергоэффективности ЦОДов, а также, что не менее важно, снижения их энергопотребления кроется в сокращении использования компрессорного охлаждения, а в перспективе — полного отказа от него. По данным ASHRAE, на системы охлаждения приходится 38% электроэнергии, потребляемой ЦОДами, причем 30% расходуется компрессорами.

ЕСЛИ +27°С ВАС УСТРАИВАЮТ

Один из вариантов построения бескомпрессорной системы охлаждения основан на использовании роторного теплообменника «воздух — воздух» с установкой секции адиабатического охлаждения. Специалисты компании Ayaks Engineering убедительно доказывают привлекательность такого рода решений.

Схема системы охлаждения на базе роторного теплообменника «воздух — воздух» с секцией адиабатического охлаждения

Проведя анализ погодных условий в Московском регионе за прошедшие 20 лет, они выявили наиболее неблагоприятный (для системы адиабатического охлаждения) случай: в июле 1996 года наблюдалась температура воздуха +34°С при относительной влажности 44%. При таких условиях система на базе роторного теплообменника «воздух — воздух» с адиабатической секцией позволяет охладить наружный воздух до +25°С, тогда температура воздуха на входе в ИТ-стойку составит +27°С. Это значение укладывается в температурный диапазон, рекомендуемый ASHRAE для ИТ-оборудования (см. Таблицу 1). По мнению экспертов этой организации, серверы вполне «комфортно» могут функционировать при температурах вплоть до +27°С.

Таблица 1. Рекомендации ASHRAE относительно температурно-влажностного режима для функционирования ИТ-оборудования

Ряд экспертов полагают, что ИТ-оборудование способно надежно функционировать и при более высоких температурах. Андрей Андреев, технический директор Ayaks Engineering, привел на конференции данные тестирования, проведенного Dell. Серверы этой компании более 12 тыс. часов работали при температуре +40°С и влажности 85%, что соответствует примерно семи годам эксплуатации в условиях естественного охлаждения (фрикулинга). При этом число отказов лишь незначительно превысило число отказов серверов при температуре +22°С и влажности 50%.

Итак, в случае реализации бескомпрессорной системы охлаждения (с роторным теплообменником и адиабатическим увлажнителем) в Московском регионе, возможно, раз в 20 лет на считанные часы температура в ИТ-зале повысится до верхнего значения (+27°С) рекомендованного ASHRAE диапазона. Но если заказчик боится даже этого или объект находится в регионе с менее благоприятными для применения адиабатики условиями (к слову, Москва — тоже далеко не самое лучшее в этом отношении место на земле), то такую систему можно оснастить блоком дополнительного охлаждения, например фреоновым (DX). При этом его мощность может быть значительно меньше, чем общая потребность в холодопроизводительности. Так, по данным Андрея Андреева, при холодопроизводительности системы 500 кВт установка DX-модуля на 65 кВт позволит гарантировать, что температура в ИТ-зале не превысит +25°С.

Схема системы охлаждения на базе роторного теплообменника «воздух — воздух» с секцией адиабатического охлаждения и дополнительно установленной во внутренний контур секцией фреонового (DX) охлаждения

Экономика систем с адиабатическим охлаждением выглядит очень привлекательно. В Таблице 2 приведены данные для сравнения двух классических систем охлаждения — фреонового (DX) и чиллерного — с системами на базе роторного теплообменника (FFC) для ЦОД мощностью 1,5 МВт. Решения на базе роторного теплообменника представлены в трех вариантах:

• с адиабатическим увлажнителем во внешнем контуре (FFC AD);
• с фреоновым охладителем во внутреннем контуре (FFC DX);
• комбинированный — с адиабатическим увлажнителем (во внешнем контуре) и фреоновой системой (во внутреннем), при этом последняя рассчитана только на 15% от полной холодопроизводительности (FCC DX AD).

Таблица 2. Сравнение различных систем охлаждения (данные Ayaks Engineering)

Как видно из таблицы, установленная мощность систем с адиабатическим охлаждением значительно меньше, чем других систем. Это позволяет существенно сэкономить на энергоснабжении объекта, причем как на подключении к электросети, так и на оборудовании для обеспечения бесперебойного и гарантированного электропитания. Достигаемая экономия сравнима со стоимостью всей системы охлаждения!

ВОДА И UPTIME

Как сообщил на конференции Александр Мироненко, консультант российского офиса Uptime Institute, из всех проектов, которые когда-либо рассматривались этой организацией, примерно в 25% случаев используются фреоновые или чиллерные системы охлаждения без каких-либо энергосберегающих опций. В половине проектов применяется чиллерная система с различными вариантами фрикулинга. Наконец, в оставшихся 25% задействуются такие инновационные решения, как теплообменники «воздух — воздух» и/или адиабатика. Причем по суммарной мощности последняя группа значительно превосходит 25%, то есть это, как правило, очень крупные ЦОДы.

Как только адиабатическая система из привлекательной опции, служащей для понижения энергопотребления, переходит в категорию штатной системы охлаждения, к ней начинают применяться все те требования, которые предъявляются к основным инженерным системам в соответствии с уровнем Tier III. В частности, согласно рекомендациям Uptime Institute, должен быть обеспечен резервный запас воды на 12 часов автономной работы. Кроме того, для любого элемента, например бака, необходимо предусмотреть возможность отключения без снижения времени автономной работы. Требования по резервированию распространяются на трубопроводы, насосы, клапаны и пр.

НЕ ВСЯ АДИАБАТИКА ГОДИТСЯ ДЛЯ ЦОД

Тепло, которое можно отвести от воздуха при испарении воды, сильно зависит от его влажности. Как предупреждает Александра Эрлих, генеральный директор компании Cabero, если влажность воздуха по природным причинам повышенная, например во время дождя, классические мокрые градирни «захлебываются»: они не в состоянии ничего охладить — воздух насыщен почти до максимума, и испарение практически невозможно. Поэтому эти решения не подходят для использования в качестве основных систем охлаждения на таких объектах, как ЦОД.

Представитель Cabero критически относится и к перспективам использования в ЦОДах систем дисперсного охлаждения, когда вода разбрызгивается из форсунок и орошает теплообменник. Такие решения на базе технологии Low Pressure Spray System (LPPS) имеются почти у каждого производителя теплообменников, включая Caberо. Но, по результатам исследований независимых немецких институтов, они способны насытить воздух не более чем до 70%, что снижает эффективность охлаждения. (К слову, на практике максимально достижимая влажность воздуха составляет около 96% — состояние со 100-процентной влажностью метастабильно, а потому труднодостижимо.) Кроме того, при сильном боковом ветре облако капелек воды может сдуть, что поставит под угрозу охлаждение ЦОД.

Драйкулер с системой адиабатического охлаждения LPPS

Александра Эрлих полагает, что для ЦОДов больше подходят два других типа систем адиабатического охлаждения. Первый — это гибридная система, которая представляет собой симбиоз мокрой градирни и сухого теплообменника. Она реализует технологию испарительного охлаждения: вода стекает по теплообменнику, смачивает его полностью и испаряется со всей его поверхности. В этом случае воздух насыщается до максимума, то есть до 96%. Недостаток таких систем в том, что вода циркулирует по замкнутому контуру, а значит, может зацвести — в ней могут завестись бактерии. Чтобы этого не произошло, необходима химическая подготовка воды, в результате решение становится сложнее и дороже.

Драйкулер с системой адиабатического охлаждения HPPS

Другой вариант — система High Pressure Spray System (HPSS). В ней испарительный эффект достигается без использования замкнутого контура: вода под давлением от 3 до 5 бар «вбрасывается» внутрь теплообменника, затем, стекая по его поверхности, она испаряется. При впрыскивании внутрь теплообменника вода смачивает примерно две трети его поверхности. Максимальная степень насыщения воздуха — 90%. Если в гибридных системах адиабатический режим включается при температурах 17–19°С (здесь и далее оценки даются для Московского региона), то в системах HPSS — при 24–25°С. Следовательно, только небольшую часть времени в году используется вода, остальное время теплообменник работает всухую. Представленные Александрой Эрлих расчеты для ЦОД мощностью 700 кВт показывают значительные преимущества системы адиабатического охлаждения, причем не только HPSS, но и LPSS.

Хотя эти системы обходятся несколько дороже обычного сухого теплообменника (драйкулера), выбрав их, можно не только сэкономить на эксплуатационных расходах (как видно из Таблицы 3), но и снизить общие капитальные инвестиции. Секрет прост: поскольку, по словам эксперта Cabero, в паре чиллер-драйкулер 70% стоимости приходится на чиллер и только 30% — на драйкулер, то, увеличив стоимость драйкулера, можно сэкономить на чиллере (выбрав менее мощный агрегат) и таким образом значительно снизить бюджет проекта.

Таблица 3. Расходы на различные системы охлаждения для ЦОД 700 кВт (данные Cabero)

АДИАБАТИКА В ЦОД FACEBOOK

Один из знаковых проектов по использованию адиабатического охлаждения — новый ЦОД Facebook в г. Лулео (Швеция), в котором применяются системы компании Condair. Заказчик изначально предъявил очень жесткие условия к системе — в частности, потребовал обеспечить максимально возможную энергоэффективность и минимальные потери давления в системе наряду с реализацией интеллектуального управления водоснабжением. Очень важно было оптимизировать расход воды на объекте.

Поскольку объект в Лулео стал первым ЦОД Facebook за пределами США, он послужил испытательным полигоном, на котором компания обкатывала новые для себя технологии. Поэтому в одном здании этого ЦОД установлен один тип системы адиабатического охлаждения (с форсунками высокого давления), а во втором — другой (с орошаемыми насадками). В первом решении вода подается под большим давлением (Condair HP, 70 бар) и распыляется через форсунки. При этом создается мелкодисперсный туман, который быстро абсорбируется воздушным потоком. В решении Condair форсунки установлены на коллекторах из нержавеющей стали и распределены по всему сечению воздуховода, что гарантирует быстрое и эффективное испарение воды в воздушном потоке. Вся вода, которая не испарилась в пределах предусмотренного расстояния, улавливается каплеотделителем и отводится в дренажную линию. Один из недостатков этого решения — необходимость специальной подготовки воды (деминерализации).

В одном здании ЦОД Facebook в Лулео установлена система адиабатического охлаждения с форсунками высокого давления (на фото слева), в другом — с орошаемыми насадками (справа)

В Швеции местные власти строго следят за расходом воды. Поэтому для второго здания ЦОД было решено максимально его снизить. С этой целью были применены системы с орошаемыми насадками. В таких системах вода подается в верхнюю часть специальной матрицы и стекает вниз вдоль ее гофрированной поверхности, а воздух, проходя через этот влажный материал, абсорбирует пары воды, вследствие чего увеличивается его влажность и снижается температура. Как утверждают специалисты Condair, на этот процесс требуется очень мало энергии — намного меньше, чем при других технологиях увлажнения. Это решение может работать на обычной водопроводной воде — ее специальная подготовка не требуется.

ВНИМАНИЕ ВЫБОРУ ВЕНТИЛЯТОРОВ

Повышение эффективности систем охлаждения затрагивает много компонентов. Даже в представленных выше инновационных решениях (с использованием роторных теплообменников и системы адиабатического охлаждения), где не требуется установка компрессоров, вентиляторы все равно нужны. При выборе этих компонентов следует обратить внимание на вентиляторы с электронным управлением — их еще называют электронно-коммутируемыми (EC). Как утверждает Алексей Кратынский, менеджер по развитию бизнеса немецкой компании ebm-papst, по сравнению с традиционными вентиляторами переменного тока (АС), работающими в режиме включен/выключен, они позволяют экономить минимум 30% энергии.

Сравнение мощности, потребляемой вентиляторами переменного тока, работающими в режиме включен/выключен (AC), и вентиляторами с электронным управлением (EC). Последние обеспечивают существенную экономию за счет непрерывного регулирования скорости вращения

Такие вентиляторы выходят на необходимые обороты постепенно, и при их работе отсутствуют пусковые токи, что, в частности, позволяет применять провода меньшего сечения. Они отличаются низким уровнем шума (особенно на малых оборотах) и компактным исполнением. Благодаря отсутствию деталей, подвергающихся быстрому износу, электронно-коммутируемые вентиляторы имеют большой срок службы (примерно 4,5 года непрерывной работы) и не требуют сервисного обслуживания. Специалисты ebm-papst рекомендуют не только устанавливать вентиляторы EC в новых проектах, но и использовать их в качестве замены обычным в уже эксплуатируемых системах. Окупаемость таких проектов обычно не превышает двух лет.

В качестве примера подобного проекта можно привести модернизацию ЦОД одного из финансовых учреждений, расположенного в Лондоне. Ключевая задача модернизации заключалась в снижении энергопотребления объекта. После обследования ЦОД и анализа характеристик используемого оборудования было решено для повышения эффективности системы охлаждения заменить все вентиляторы на центробежные вентиляторы с прямым приводом на базе технологии GreenTech EC компании ebm-papst. В итоге вентиляторы были заменены на системах охлаждения трех различных типов — всего был установлен 191 новый вентилятор, окупаемость проекта составила порядка 1,4 года. Экономия электроэнергии, в зависимости от системы, — от 20 до 49%. Общая годовая экономия средств за счет снижения энергопотребления ожидается на уровне 240–270 тыс. фунтов.

РОТОРНЫЕ ТЕПЛООБМЕННИКИ… ИЗ КИТАЯ

Электронно-коммутируемые вентиляторы производства ebm-papst используют многие поставщики комплексных решений по охлаждению ЦОД, причем не только европейские, но и азиатские, в частности компания Huawei. Последняя предстала на конференции в новом для многих качестве — как поставщик инженерной инфраструктуры ЦОД. Как рассказал Валентин Зеленов, эксперт Huawei, в портфеле продуктов компании имеется полный спектр решений по охлаждению, включая различные модели комнатных и межрядных кондиционеров, роторные теплообменники и пр.

На базе решения с роторным теплообменником компанией Huawei построен, в частности, ЦОД в г. Харбин. Как рассказывает Валентин Зеленов, среди целей проекта — максимальное использование режима фрикулинга и пространства здания. Скудные водные ресурсы Харбина предопределили выбор в пользу системы воздушного охлаждения, а высокий уровень загрязнения воздуха вынудил склониться к косвенному фрикулингу. Другим словами, воздух, циркулирующий внутри машинного зала, изолирован от внешних воздушных потоков. Охлаждение внутренних потоков внешними происходит через роторный теплообменник.

Один из блоков (модулей) ЦОД, построенного компанией Huawei в Харбине. Кондиционер с роторным теплообменником расположен на втором этаже и соединен с улицей для забора воздуха. 48 стоек и система питания постоянного тока размещаются на первом этаже. Потолочное пространство на первом этаже и герметичный холодный коридор служат для подачи воздуха

Для максимального использования имеющегося пространства в ЦОД реализована двухуровневая схема размещения: на первом этаже — ИТ-залы, на втором — система охлаждения. Последняя построена по модульному принципу. Аппаратный зал тоже состоит из микромодулей, которые легко установить и обслуживать. Еще одна особенность проекта — система питания постоянного тока (48 В) без использования ИБП. Реальный коэффициент энергоэффективности (PUE) этого ЦОД составил 1,22 (среднегодовое значение). Максимальное значение PUE было зафиксировано в июле — 1,46; минимальное — в ноябре — 1,12. В этом проекте в качестве дополнительного источника охлаждения также применена адиабатическая система.

ВОДА — К ПРОЦЕССОРУ

Вода все активнее применяется в системах охлаждения ЦОД, повышая их эффективность. Следующий шаг — подвод воды непосредственно к микросхемам и процессорам, что позволит снимать более сотни киловатт тепла со стойки. И это не какие-то теоретические разработки. Такие решеницоя уже внедрены, в том числе в России. Об одном из таких проектов — в статье «Суперинженерка для суперкомпьютера», опубликованной в этом номере журнала.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.