От PUE к WUE

По данным CNet (см. Рисунок 1), в среднем 35% потерь в ЦОД приходится на системы охлаждения, а в 55% случаев именно дефицит охлаждающих мощностей становится основным фактором, ограничивающим развитие ЦОД. При этом отсутствие электрической мощности препятствует масштабированию ЦОД только в 23% случаев, а нехватка технологического пространства для размещения оборудования — в 18%. Неудивительно, что вопросам повышения эффективности систем охлаждения уделяется много внимания на крупнейших российских форумах, таких как «МИР ЦОД». Эта тема была основной и на ежегодной конференции специалистов по кондиционированию ЦОД, которая в 2013 году прошла в середине ноября и была традиционно организована компанией Ayaks Engineering.

Рисунок 1. По данным CNet, в среднем 35% потерь в ЦОД приходится на системы охлаждения, а в 55% случаев именно дефицит охлаждающих мощностей становится основным фактором, ограничивающим развитие ЦОД.

«БЕСКОМПРЕССОРНЫЙ И БЕСКОМПРОМИССНЫЙ»

Существенно повысить энергоэффективность систем охлаждения позволяет отказ от компрессорных схем — другими словами, от традиционных чиллеров и фреоновых кондиционеров. Мировая практика показывает, что это вполне возможно. Пример такого проекта в России, который сейчас находится в стадии реализации, представил на конференции Андрей Андреев, технический директор Ayaks Engineering.

Этот ЦОД, возводимый в Подмосковье (НТЗ «Алабушево») для компании «Ай-Эм-Ти», рассчитан на размещение ИТ-оборудования мощностью 1500 кВт. Использование решения на основе роторного теплообменника позволит обеспечить отвод тепла при мощности установленных систем охлаждения всего 228 кВт. Согласно расчету, среднегодовой PUE составит величину 1,10, при этом его минимальное значение будет опускаться до 1,03 (максимальное значение — 1,15). Впечатляет и показатель энергоэффективности системы охлаждения EER (вырабатываемое количество киловаттов холода на один киловатт электроэнергии) — его расчетное среднегодовое значение равно 11.

Итак, основу предлагаемой системы составляет роторный теплообменник. Он обеспечивает передачу холода от уличного воздуха к воздуху, который циркулирует во внутреннем контуре и служит для непосредственного охлаждения ИТ-залов (см. Рисунок 2). Теплообменник представляет собой массивную конструкцию из микроканалов, которая постоянно вращается между двумя потоками. Поступающий с улицы воздух проходит через двойную систему фильтрации: сначала через фильтр грубой очистки (G2) (фактически металлическую сетку), затем через фильтр тонкой очистки (G4). Для внутреннего воздуха, подаваемого в машинные залы, применяются фильтры класса F7, которые задерживают все микрочастицы размером более 2 мкм. Для подогрева поступающего с улицы воздуха в холодное время года предусмотрена камера смешения (см. Рисунок 2).

Рисунок 2. Схема системы охлаждения, предлагаемая Ayaks Engineering для ЦОД, возводимого в НТЗ «Алабушево» для компании «Ай-Эм-Ти».

Среди преимуществ роторных теплообменников перед другими их разновидностями (например, пластинчатыми) Андрей Андреев называет более высокую эффективность при большИх расходах воздуха (КПД доходит до 80%), простоту очистки, меньшие габариты и потери напора. В портфеле проектов Ayaks уже имеется ЦОД (мощностью около 2,5 МВт), где более двух лет успешно применяются роторные теплообменники. Сейчас в монтаже находятся системы охлаждения (на базе роторных теплообменников) общей холодопроизводительностью 8 МВт, на стадии проектирования — системы на 5 МВт.

Для доохлаждения воздуха в жаркое время года дополнительно предусмотрена система адиабатического охлаждения, которая запускается при температуре наружного воздуха свыше +21°С (то есть примерно 3% всего времени в году). Специалисты Ayaks Engineering проанализировали погоду в Московском регионе за период с 1996 года. Самые неблагоприятные (для адиабатического охлаждения) условия наблюдались в июле 1996 года: +34°С при относительной влажности 44%. В таком случае данная технология позволяет охладить наружный воздух до +25°С, тогда температура воздуха на входе в стойку составит +27°С. Заметим, что самая высокая температура наружного воздуха за указанный период была зафиксирована в июле 2010 года и составила +38°С. Но при этом относительная влажность была всего 11%, а такие условия гораздо лучше подходят для адиабатического охлаждения. Даже при +40°С и влажности 15% эта система позволяет охладить воздух до +21,5°С (температура воздуха на входе в стойку будет +24°С).

По утверждению Андрея Андреева, максимальное потребление воды системой адиабатического охлаждения (когда на улице очень жарко и сухо) не превысит 3 м³/час, или 1200 м³/год. На оплату такого объема воды у заказчика будет уходить примерно 30 тыс. руб. в год, что, по мнению технического директора Ayaks Engineering, «совсем немного». Важное преимущество используемых в проекте увлажнителей состоит в том, что для их работы не требуется подготовка воды.

Поскольку проект планируется сертифицировать в Uptime Institute, для всех компонентов системы охлаждения предусмотрено резервирование в соответствии с требованиями Tier III. В частности, на роторе теплообменника установлено два двигателя, что обеспечивает резервирование 2N. Все активные элементы адиабатического охладителя зарезервированы, включая насосы, которые подают воду в кассеты, патрубки и пр. Двух емкостей с водой по 14 тонн достаточно для поддержания работы в течение минимум 12 ч. даже в самых неблагоприятных условиях. Проектом преду-

смотрена резервная система подачи воздуха напрямую с улицы (минуя теплообменник) — через несколько ступеней фильтрации и камеру смешения. Переключение на эту систему позволяет остановить роторный теплообменник и произвести его обслуживание. Ресурс такого теплообменника составляет 20 лет, однако каждые 5–6 лет необходимо производить сервисное обслуживание (замену масла) подшипника.

Следует отметить и техническое решение, которое специалисты Ayaks предложили для распределения охлаждающего воздуха непосредственно в машинном зале. Для каждой стойки предусмотрен свой приточный и вытяжной воздуховоды, причем вытяжной оборудован автоматически регулируемым клапаном. При уменьшении нагрузки в стойке система автоматики прикрывает клапаны в вытяжных воздуховодах. Это приводит к повышению общего давления в системе, что фиксируется средствами автоматики, которые отключают часть вентиляторов. «Поскольку на практике ни один ЦОД не работает при полной загрузке, очень важно гарантировать энергоэффективность при низком уровне нагрузки ИТ-оборудования, — объясняет Андрей Андреев. — Предложенное нами решение позволяет и при загрузке ЦОД в 10% обеспечить примерно ту же эффективность, что и при нагрузке 100%».

В рассматриваемом проекте большую часть времени температура на входе в стойку будет равна +23°С. И только незначительную часть времени (не более 100 ч. в году) она может подниматься максимум до +27°С, что допустимо для современного серверного оборудования. Однако в ряде проектов заказчики формулируют более жесткие температурные условия на входе в стойку, требуя, чтобы этот показатель не превышал +24°С или даже +18°С. Для выполнения таких условий в рассмотренную выше систему можно дополнительно включить водяные или фреоновые охладители, которые будут еще больше понижать температуру воздуха во внутреннем контуре после его прохождения через роторный теплообменник.

Компания Ayaks предлагает три типовых варианта системы охлаждения на базе роторного теплообменника. Один из них — это подробно рассмотренная схема с адиабатическим увлажнителем (FFC AD, см. Рисунок 3). От такого увлажнителя можно отказаться, установив во внутренний контур фреоновый охладитель (FFC DX) — в этом случае он должен быть рассчитан на 100-процентную холодопроизводительность, поскольку при высокой температуре наружного воздуха, когда роторный теплообменник становится неэффективным, будет работать только фреоновая система. Третий вариант — FCC DX AD — предполагает использование и адиабатического увлажнителя (во внешнем контуре), и фреоновой системы (во внутреннем), но при этом последняя рассчитывается только на 15% от полной холодопроизводительности. В этом случае адиабатический увлажнитель обеспечит охлаждение до температуры +27°С, а фреоновая система — дополнительное охлаждение до температуры, указанной в техническом задании.

Рисунок 3. Три варианта системы охлаждения на базе роторного теплообменника: с адиабатическим охладителем во внешнем контуре (FFC AD), с фреоновым охладителем во внутреннем контуре (FFC DX), а также с адиабатическим и фреоновым охладителями (FCC DX AD).

В Таблице 1 приведены сравнительные характеристики рассмотренных вариантов на основе роторных теплообменников, а также традиционных чиллерных и фреоновых систем. Видно, что адиабатические воздушные системы имеют меньшие установленную мощность и стоимость при высокой эффективности. По стоимости решение с роторными теплообменниками приближается к фреоновым системам. Пожалуй, их главный минус — большие габариты, поэтому еще на этапе проектирования и строительства объекта необходимо предусмотреть соответствующие площади.

Таблица 1. Сравнительные характеристики решений на основе роторных теплообменников, а также традиционных чиллерных и фреоновых систем.

ВОДА, ВОДА…

Решения, где предусматривается возможность использования комбинации из теплообменников воздух – воздух, систем адиабатического охлаждения, а также дополнительных блоков фреонового или чиллерного охлаждения, предлагают все больше компаний, в частности Munters и Stulz.

«Сердце» блока адиабатического охлаждения системы Oasis от Munters — запатентованный теплообменник, состоящий из полимерных трубок (см. Рисунок 4). Именно наличие пластиковых трубок позволяет использовать практически любую воду (кроме морской), в том числе дождевую — без какой-либо ее подготовки. При перепадах температуры такие трубки сжимаются и разжимаются (вибрируют), в результате солевые отложения скалываются и падают вниз в поддон. Вода самотеком стекает в поддон, откуда забирается на рециркуляцию. Повторное использование воды отличает это решение от системы прямого адиабатического охлаждения, в котором вода испаряется. Кроме того, косвенное адиабатическое охлаждение, когда циркулирующий в ЦОД воздух полностью изолирован, не приводит к необходимости дополнительно регулировать влажность.

Рисунок 4. Основные блоки системы Oasis компании Munters.

Режим адиабатического охлаждения (см. Рисунок 5) специалисты Munters рекомендуют использовать в теплую и жаркую погоду, но при невысокой влажности. Когда на улице холодно, задействуется только теплообменник воздух – воздух, так называемый сухой режим. В условиях жаркой влажной погоды в дополнение к «адиабатике» может потребоваться подключить фреоновое или чиллерное охлаждение — соответствующие блоки также предусмотрены в системе Oasis.

Рисунок 5. Распыление воды в блоке адиабатического охлаждения Munters.

Система охлаждения Munters используется уже в более 25 ЦОД по всему миру (см. Рисунок 6), общая холодопроизводительность установленных систем превышает 95 МВт. При этом, как рассказал Джон Петит (Jon Pettitt), менеджер по развитию бизнеса компании в области ЦОД, есть объекты, где для системы адиабатического охлаждения применяется дождевая или талая вода (для ее получения зимой запасают снег).

Рисунок 6. Пример установки системы Munters на объекте.

Представленные менеджером Munters расчетные данные относительно перспектив применения бескомпрессорного охлаждения в ряде крупных мировых центров, включая Москву (см. Рисунок 7), показывают, что если в холодном коридоре необходимо обеспечить температуру не выше +23°С, то без компрессоров не обойтись. Однако в случае, если допускается повышение температуры до +27°С, система Oasis справится и без механического охлаждения. Что касается потребности в воде, то для климатической зоны Москвы установка адиабатического охлаждения на 500 кВт потребляет примерно 800 м³ воды в год.

Рисунок 7. Возможность обеспечения охлаждения (с помощью системы Oasis) без применения механического охлаждения в разных городах мира.

Одна из проблем использования воды — риск роста различных бактерий, в первую очередь бактерий легионеллы. Однако, как пояснил Джон Петит, они активно развиваются только при наличии света и при температуре воды выше +25°С. Конструкция системы Oasis такова, что свет не проникает туда, где расположен поддон с водой, а температура в нем постоянно измеряется: если она становится выше указанного значения, вода сливается.

Разработанное компанией Stulz решение CyberHandler собирается из готовых модулей, в качестве которых могут быть использованы блоки прямого и непрямого адиабатического охлаждения, прямые и непрямые воздушные экономайзеры, модули механического охлаждения (DX-испаритель или CW-теплообменник) и т. д. Дабы не возникла путаница, сразу отмечу, что специалисты Stulz и представляющей ее продукцию в России компании HTS предпочитают применять термин «экономайзер» вместо «фрикулинга». Как пояснил Сергей Шагалов, директор по развитию HTS, слово «free» по-английски означает в том числе бесплатный, однако получаемый с помощью соответствующих систем холод таковым отнюдь не является, поэтому в компании предпочитают использовать другой термин.

В данном случае под прямым воздушным экономайзером понимается не что иное, как подача наружного воздуха (естественно, после прохождения через систему фильтров и камеру смешения) напрямую в машзал. Основу непрямого воздушного экономайзера составляет теплообменник воздух – воздух; в данном случае потоки внешнего воздуха и внутреннего (поступающего в машинный зал) не смешиваются.

Рисунок 8. Один из вариантов компоновки системы Stulz CyberHandler.

На Рисунке 8 показан один из вариантов компоновки системы CyberHandler (число возможных вариантов велико, а выбор конкретного определяется задачами заказчика и спецификой проекта). Такая конструкция может устанавливаться, например, на крыше (см. Рисунок 9) — в этом случае горячий воздух из машзалов забирается снизу, через секцию фильтрации. Далее он направляется в секцию непрямого адиабатического охлаждения, которая представляет собой орошаемый теплообменник. Через него снизу вверх вентиляторами прогоняется наружный воздух, который дополнительно охлаждается за счет распыления воды. Этот воздух охлаждает воздух во внутреннем контуре (потоки изолированы друг от друга), который затем направляется во фреоновый (DX) испаритель. Последний призван компенсировать недостаток холодопроизводительности в жаркие летние дни. На рисунке показан также ультразвуковой увлажнитель (в принципе, для этого может использоваться и секция прямого адиабатического увлажнителя). Для обслуживания фреонового испарителя применяется компрессорно-конденсаторный блок (ККБ). Он может как входить в состав контейнера, так и быть вынесен наружу и подключен фреоновым трубопроводом.

Рисунок 9. Один из вариантов установки системы Stulz CyberHandler.

В качестве одной из ключевых тенденций в области охлаждения ЦОД Сергей Шагалов называет все более широкое использование систем центрального кондиционирования. Уже сейчас в США подобные системы применяются примерно в четверти ЦОД. А такие гиганты, как Microsoft, Google и Facebook, в своих строящихся ЦОД устанавливают преимущественно системы центрального кондиционирования. Данные решения помогают владельцам ЦОД освободить максимум полезного пространства в машзалах, снизить капитальные затраты (уменьшить количество единиц используемого оборудования) и сократить операционные расходы (энергопотребление, стоимость обслуживания).

При этом специалист HTS предупреждает о недопустимости использования в ЦОД систем комфортного кондиционирования, на которых базировались первые проекты со схемами центрального кондиционирования. Они не предназначены для работы в режиме 24/7 и не подходят для поддержания заданных значений температуры и влажности в ЦОД. Кроме того, системы комфортного кондиционирования разрабатывались в расчете на низкую температуру возвращаемого воздуха, а работа при более высоких температурах может привести к срабатыванию защиты компрессоров.

ВИДЫ АДИАБАТИЧЕСКОГО ОХЛАЖДЕНИЯ

Специалисты компании Condair выделяют три типа систем адиабатического охлаждения. В основе систем первого типа — испарительный модуль, который может устанавливаться, например, в центральный кондиционер или воздуховод. Вода подается в верхнюю часть специальной матрицы и стекает вниз вдоль ее гофрированной поверхности, а воздух, проходя через этот влажный материал, абсорбирует пары воды, в результате чего увеличивается его влажность и снижается температура. Как утверждают специалисты Condair, для этого процесса необходимо очень мало энергии, намного меньше, чем при других технологиях увлажнения. Неиспарившаяся вода участвует в очистке материала матрицы и стекает в поддон из нержавеющей стали в основании установки, откуда повторно подается наверх матрицы.

Системы второго типа основаны на распылении воды через форсунки под большим давлением (в решении Condair HP — 70 бар), вода при этом должна быть специальным образом подготовлена (деминерализована). Распылительные форсунки создают мелкодисперсный туман, который быстро абсорбируется воздушным потоком. В решении Codair форсунки установлены на коллекторах из нержавеющей стали и оптимально распределены по всему сечению воздуховода, что гарантирует быстрое и эффективное испарение воды в воздушном потоке. Вся вода, которая не испарилась, улавливается и отводится в дренажную линию каплеотделителем.

Третий вариант — гибридный, в нем применяется и распыление воды, и ее испарение в пластинах из пористой керамики. Необходимое давление (при распылении воды через форсунки) составляет всего от 2 до 10 бар. Водяной туман после короткого «путешествия» попадает на элементы доиспарения из специальной керамики, расположенные подобно черепице. Как утверждают специалисты Condair, низкое давление и быстрое испарение позволяют добиться очень высокого коэффициента полезного действия при минимальном потреблении энергии.

Один из самых известных объектов, где используются системы адиабатического охлаждения Condair, — новый ЦОД Facebook в Швеции (Рисунок 10). На положительном примере двух ЦОД в США, где иcпользовано увлажнение/охлаждение с приборами высокого давления, Facebook решила задействовать ту же технологию и в Европе. Новый ЦОД будет состоять из трех зданий, к каждому из которых планируется подвести 30 МВт. Пока построено только первое здание, где установлено сразу два типа адиабатических систем Condair: HE c испарительным охлаждением и HP с форсунками высокого давления.

Рисунок 10. В ЦОД Facebook в г. Лулео. Справа — системы адиабатического охлаждения/увлажнения Condair, слева — система фильтрации воздуха.

Несколько более подробную информацию компания Condair приводит о 26 развернутых в ЦОД Facebook системах Condair HP. Они обеспечивают холодопроизводительность 9,3 МВт при максимальном энергопотреблении 60 кВт. В проекте установлено 5500 форсунок, проложено 2450 м труб и смонтировано 546 м2 каплеотделителя. Чиллеры в этом проекте не применяются, а все охлаждение обеспечивается системой фрикулинга с дополнительным охлаждением за счет адиабатики.

В России системы адиабатического охлаждения Condair установлены в краснодарском ЦОД компании «Тандер» (сеть магазинов «Магнит»).

ГЕОТЕРМАЛЬНОЕ ОХЛАЖДЕНИЕ

В Европе есть несколько центров обработки данных, где вместо холодильных машин используются системы геотермального охлаждения. О двух таких проектах на конференции рассказал Виктор Гаврилов, технический директор компании «АМДтехнологии».

Первый ЦОД принадлежит страховой компании WWK и находится в Мюнхене. При проектировании выяснилось, что на месте будущего офиса этой компании под землей находится река. Еще на этапе строительства в фундамент были заложены коллекторы из полиэтиленовых трубопроводов суммарной длиной несколько километров. Эти трубопроводы заполнены раствором пропиленгликоля, температура которого (благодаря естественному охлаждению от реки) в течение всего года составляет около +12°С. Через теплообменники первичный контур взаимодействует с вторичным, в котором циркулирует вода с температурой +14... +16°С. Эта вода и поступает в серверные шкафы с водяным охлаждением. Тепловыделение каждого шкафа составляет от 8 до 16 кВт, а суммарная холодопроизводительность системы — 400 кВт.

Принцип геотермального охлаждения задействован и в ЦОД компании Toshiba, расположенном недалеко от Мюнхена. Этот ЦОД строился в существующем здании, поэтому установка горизонтальных коллекторов была невозможна, в связи с чем было решено использовать вертикальные тепловые зонды, достигающие глубины 100 м. Зонды состоят из полиэтиленовых труб, по которым тоже циркулирует раствор пропиленгликоля. Холодопроизводительность системы составляет 80 кВт. Особенностью работы схемы является то, что система охлаждения ЦОД совмещена с системой отопления здания.

Компания «АМДтехнологии» использовала геотермальное охлаждение в одном из проектов в России. Спецификой этого проекта было то, что технологические площадки находились в бункерах глубоко под землей. Заказчик хотел, чтобы на уровне земли не было видно никаких следов источников холодоснабжения. Для геотермального охлаждения шкафных кондиционеров были использованы зонды и змеевик, закопанные в землю (см. Рисунок 11). Для резервирования были установлены сухие градирни.

Рисунок 11. В одном из своих проектов компания «АМДтехнологии» применила геотермальное охлаждение: для охлаждения шкафных кондиционеров были использованы зонды и змеевик, закопанные в землю.

А ЕСЛИ БЕЗ ВЕНТИЛЯТОРОВ?

В первой половине статьи были рассмотрены решения, позволяющие охладить ЦОД без использования чиллеров. Несколько иной подход к реализации энергоэффективного охлаждения представил на конференции Артем Хурамшин, технический менеджер подразделения HP Critical Facilities Services компании HP. В системе конвекционного охлаждения Overhead Convection Cooling (OCC), совместной разработке HP с компанией Yahoo (изначально для ее ЦОД), исключен другой традиционный элемент — вентиляторы. Причем именно отказ от вентиляторов Артем Хурамшин считает одной из основных тенденций по снижению энергозатрат.

В системе OCC установленные поверх стоек теплообменники напрямую подключены к системе холодоснабжения объекта, формируемого чиллерами с экономайзерами (см. Рисунок 12). Изюминка решения заключается в том, что рециркуляция воздуха обеспечивается за счет разности плотности горячего и холодного воздуха (естественная конвекция) — без каких бы то ни было вентиляторов.

Рисунок 12. В системе Overhead Convection Cooling (OCC) установленные поверх стоек теплообменники напрямую подключены к системе холодоснабжения объекта, формируемого чиллерами с экономайзерами, а рециркуляция воздуха обеспечивается за счет разности плотности горячего и холодного воздуха (естественная конвекция).

В системе используется график воды +20°C/+26,5°C: повысив температуру воды, разработчики увеличили эффективность чиллерной системы и обеспечили переход на фрикулинг при более высокой температуре на улице. Все разъемные соединения системы расположены вне рабочей зоны ИТ-оборудования, что исключает негативное воздействие воды в случае аварии. Более того, система может работать при отрицательном давлении, то есть когда давление в системе ниже атмосферного. В этом случае при возникновении повреждения происходит не утечка воды, а подсос воздуха в систему, который затем удаляется.

Решение OCC успешно эксплуатируется около семи лет в сети ЦОД Yahoo; оно развернуто на пяти крупных объектах в Швейцарии, США и в Сингапуре. Артем Хурамшин привел расчет эффективности использования системы ОСС в климатической зоне Санкт-Петербурга. Для ЦОД с мощностью ИТ-оборудования 5,6 МВт расчетный коэффициент PUE оказался равен 1,11. Причем в отличие от большинства подобных расчетов, в которых обычно учитывается только система охлаждения, указанное значение PUE охватывает все системы, включая системы бесперебойного гарантированного электропитания (с динамическими ИБП), освещения и пр.

РАССЧИТАТЬ WUE

И геотермальное охлаждение, и естественная конвекция выглядят очень привлекательно, и архитекторы современных ЦОД обязательно должны взять их на карандаш. Но пока эти решения еще мало распространены, а вот адиабатическое охлаждение применяется уже достаточно часто, чтобы претендовать на роль основного метода повышения энергоэффективности охлаждения.

Для адиабатического охлаждения требуется определенный расход воды, в случае больших объектов это могут быть тысячи кубометров в год. Поэтому прежде всего необходимо определиться с возможностью получения такого ресурса, ну и конечно рассчитать эффективность его использования. С этой целью был введен коэффициент эффективности использования воды (Water Usage Effectiveness, WUE), который определяется как отношение объема потребленной за год воды (в литрах) к потребленной ИТ-оборудованием энергии (в киловатт-часах).

Пока еще очень мало ЦОД публикуют свои показатели WUE. Такие данные анонсирует Facebook: например, для его ЦОД в г. Прайнсвиль с адибатической системой охлаждения WUE составляет 0,22 л/кВт×ч. По данным Munters, ее система охлаждения Oasis имеет схожий показатель — около 0,18 л/кВт×ч. А по расчетным данным для ЦОД, спроектированного Ayaks Engineering для компании «Ай-Эм-Ти», он не превышает 0,1 л/кВт×ч. А вы знаете WUE своего объекта или предлагаемого вам решения?

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.