Фрикулинг 2.0

Совершенствование систем охлаждения — главный резерв повышения энергоэффективности центров обработки данных. В свою очередь, основным инструментом реализации его потенциала служит внедрение технологий естественного охлаждения. И если еще пару лет назад средства фрикулинга использовались исключительно как вспомогательные, сегодня во все большем числе ЦОД они становятся основой системы охлаждения.

Технологии фрикулинга известны давно, но до недавнего времени они использовались лишь небольшую часть времени — когда на улице было достаточно холодно. Связано это было во многом с тем, что долгое время считалось, что температура в вычислительном зале должна быть не выше 20–22°C. При этом измеряли ее обычно в точках, где нагретый воздух возвращался обратно в кондиционер. Какие-либо средства изоляции воздушных потоков отсутствовали (идея закрывать холодные или горячие коридоры появилась позже) — и разницу между температурой воздуха, поступающего к серверам, и температурой на входе в кондиционер просто никто не отслеживал. А она может составлять до 10°C, поэтому даже при столь жестких ограничениях на температуру в зале, нагрев воздуха до 30–32°C был вполне допустим.

Если исходить из того, что температура возвращающегося в кондиционер «горячего» воздуха равна 22°C, значит, температура поступающего к стойкам с ИТ-оборудованием воздуха из-под фальшпола (такая схема была самой популярной) должна быть уже 12°C. Чтобы обеспечить необходимое охлаждение воздуха, вода, поступающая от чиллера в теплообменник кондиционера, должна быть еще холоднее — обычно 6°C. Соответственно, чтобы обеспечить охлаждение воды до такой температуры, воздух на улице должен быть не теплее 2–3°C. При размещении ЦОД, скажем, в средней полосе России это условие выполняется лишь несколько месяцев в году.

Со временем архитекторы ЦОД прониклись пониманием преимуществ разделения воздушных потоков, а температуру стали отслеживать там, где это действительно важно — на входе в серверы. Одно это позволило примерно на десять градусов повысить предельную температуру для применения фрикулинга. Вместе с тем организация ASHRAE, главный мировой авторитет в определении допустимых для ИТ-оборудования температурно-влажностных условий, стала регулярно повышать предельную температуру.

В первой редакции своих рекомендаций (Thermal Guidelines for Data Processing Environments), опубликованной в 2004 году, ASHRAE установила температурный предел в +25°С, во второй (2008 год) повысила его до +27°С. В последних рекомендациях 2011 года появились два новых класса оборудования для ЦОД — А3 и А4, которые отсутствовали ранее. Допустимый температурный диапазон для такого оборудования увеличен до +40°С и +45°С соответственно. И хотя такое «жаростойкое» оборудование пока еще не стало массовым, передовые владельцы ЦОД идут на повышение допустимой температуры. Это позволяет существенно расширить географию применения «зеленого» охлаждения.

КЛАССИКА ФРИКУЛИНГА

Классическая система естественного охлаждения, или Фрикулинг 1.0, предполагает использование сухих градирен (драйкулеры). Конструкция такой градирни проста: это теплообменник, по которому циркулирует теплая жидкость (вода или этиленгликоль), охлаждаемая потоками уличного воздуха. Такая градирня называется сухой, потому что жидкость течет по герметичным трубкам. (В обычной, мокрой, градирне для охлаждения вода разбрызгивается из специальных форсунок и дополнительно обдувается при помощи вентиляторов.) В градирнях обычно происходит лишь предварительное охлаждение жидкости (например, с 40 до 25°С), затем она направляется в чиллер, где и доводится до нужных кондиций — скажем, до температуры 7°С (см. Рисунок 1).

Рисунок 1. Классическая схема фрикулинга с использованием сухой градирни.

Для доставки холода от чиллеров до работающих на воде кондиционеров — их обозначают CW (от Chilled Water) или CRAH (Computer Room Air Handler) — часто используется двухконтурная система трубопроводов. Внешний контур связывает чиллеры, сухие градирни и промежуточные теплообменники. Хладоносителем в нем служит водный раствор этиленгликоля, который не замерзает даже при минусовых температурах на улице. Во внутреннем контуре, объединяющем теплообменники и кондиционеры (шкафные и/или внутрирядные), циркулирует обычная вода. Двухконтурная схема позволяет снизить объем потребления дорогого этиленгликоля и является более экологичной (этиленгликоль — ядовитое, химически активное вещество).

Как видим, в такой схеме присутствует большое число теплообменников (в сухой градирне, между двумя контурами и в кондиционерах CRAH), вентиляторов и насосов для прокачки промежуточного холодоносителя. В каждом из этих элементов происходят потери, что, безусловно, снижает общую эффективность. По оценке экспертов, КПД подобной системы редко превышает 60%. Повысить эффективность системы можно, убрав часть элементов. Посмотрим, какие варианты решений возможны.

МАТЬ-ПРИРОДА КАК ЕСТЕСТВЕННЫЙ ЧИЛЛЕР

Один из них — использование холодной воды из естественных источников: озер, рек, каналов, морей, подземных источников и т. д. И в мире реализовано немало таких проектов. Например, система охлаждения расположенного в Стокгольме ЦОД компании Interxion базируется на использовании морской воды, которая качается глубинными насосами. Эта система охлаждения напоминает традиционную чиллерную, вот только в качестве «водоохлаждающей машины» выступает море. Как заявляют представители Interxion, реализация такого подхода позволяет им экономить около 80% энергии, а коэффициент PUE данного объекта составляет фантастическое значение 1,09. Нагретая ИТ-оборудованием вода идет на обогрев расположенных рядом с ЦОД офисных помещений и близлежащих жилых зданий.Использование морской воды для охлаждения крупных ЦОД активно продвигает компания Makai Ocean Engineering. В предлагаемом ею решении SeaWater Air Conditioning (SWAC) холодная морская вода забирается глубинными насосами и подается на промежуточную станцию, где установлены теплообменники, проходя через которые она охлаждает воду или иной теплоноситель из контура, который используется непосредственно для охлаждения ЦОД (см. Рисунок 2). Хотя в названии предлагаемого решения используется определение «морская», оно предусматривает возможность забора воды и из других природных источников, например из озер.

Рисунок 2. В решении SeaWater Air Conditioning (SWAC) холодная морская вода забирается глубинными насосами и подается в промежуточную станцию, где установлены теплообменники, проходя через которые, она охлаждает воду или иной теплоноситель из контура, который используется непосредственно для охлаждения ЦОД.

Как подчеркивают эксперты Makai Ocean Engineering, система SWAC может быть внедрена и на уже эксплуатируемых объектах. При этом традиционные чиллеры заменяются на станцию с теплообменниками, обеспечивающими передачу холода от одного контура в другой. Имеющаяся в ЦОД инфраструктура для подачи и использования чиллерной воды при этом будет сохранена. По оценкам Makai Ocean Engineering, при внедрении системы SWAC расходы на обслуживание и электроэнергию снижаются на 85%. Наиболее эффективно применение SWAC на объектах мощностью от 3,5 МВт.

По схеме, подобной той, что показана на Рисунке 2, построена система охлаждения в новом ЦОД компании Google, размещенном в местечке Хамина (Финляндия) на берегу Финского залива и введенном в строй в 2009 году. Объект разместился на территории бывшего бумажного комбината и использует 450-метровый туннель в море, построенный еще в 50-е годы прошлого века. Через этот туннель морская вода поступает в гигантский теплообменник (см. Рисунок 3), где она охлаждает воду, которая затем уже направляется в серверные залы. Google тоже использует нагретую морскую воду для обогрева здания, поэтому возвращаемая обратно в море вода имеет примерно ту же температуру, что и забираемая, — это минимизирует вмешательство в природу.

Рисунок 3. В новом ЦОД компании Google, размещенном в Финляндии, морская вода поступает в гигантский теплообменник, где она охлаждает воду, направляемую в серверные залы. Синие трубы переносят холодную воду, желтые — горячую.

Первым же ЦОД, в котором Google построила системы охлаждения без использования чиллеров, стал объект в Бельгии, введенный в эксплуатацию в 2008 году. Основу этой системы составляют гигантские градирни, в которых охлаждение воды происходит за счет испарения (см. Рисунок 4). Сама вода тоже поступает из естественного источника — из расположенного рядом промышленного канала. Интересно отметить, что если условия окружающей среды не позволяют полностью решить задачу охлаждения ИТ-оборудования, то Google просто переводит нагрузку в другой ЦОД. Что ж, такой интернет-гигант может себе это позволить. Технические эксперты компании обсуждают реализацию схемы «вслед за луной», когда нагрузка будет перераспределяться между ЦОД с учетом оптимальных условий для охлаждения в конкретный момент времени. В ночной период нагрузка будет увеличиваться, а днем — снижаться.

Рисунок 4. В бесчиллерном ЦОД Google в Бельгии охлаждение воды происходит в гигантских градирнях.

В своих ЦОД Google вообще не использует кондиционеры CW. В серверных залах формируются закрытые горячие коридоры — Hot Huts, по терминологии Google. Сверху таких коридоров располагаются трубки с холодной водой (см. Рисунок 5). Горячий воздух, выдуваемый вентиляторами серверов, поднимается вверх, где охлаждается, проходя между трубок, и далее он выводится в основное пространство серверного зала и поступает на вход серверов. Температура на входе серверов поддерживается на уровне 27°C.

Рисунок 5. В своих ЦОД Google использует горячие коридоры — Hot Huts, сверху которых располагаются трубки с холодной водой.

В России решения с использованием холодной воды из естественных резервуаров пока не получили особого распространения, что может быть связано со сложной процедурой получения соответствующих разрешений. Единственный известный нам проект такого рода — строящийся в Иркутске ЦОД мощностью 12 МВт. Он располагается неподалеку от ТЭЦ (от нее, кстати, и будет получать электроэнергию напрямую), которая для своих технологических нужд использует подготовленную речную воду. В теплообменники ЦОД вода будет забираться непосредственно из имеющейся магистрали, что позволит минимизировать капитальные затраты (см. статью автора «Все цвета «зеленого» ЦОД» в «Журнале сетевых решений/LAN» № 7–8 за 2012 год). По расчетам, 90% всего времени эксплуатации ЦОД будет охлаждаться речной водой, и только когда температура окружающего воздуха будет подниматься выше +25°С, планируется задействовать чиллеры.

УБИРАЕМ ПРОМЕЖУТОЧНЫЙ ТЕПЛОНОСИТЕЛЬ

Если вариант с получением холодной воды из естественных источников по тем или иным причинам не подходит, есть и другой способ упростить классическую схему охлаждения, убрав из нее воду вообще. Почему бы не направлять в серверные залы непосредственно холодный воздух с улицы? Тогда «посредника» в виде промежуточного холодоносителя не будет и эффективность системы должна существенно повыситься.

Рисунок 6. Расположенные на крыше ЦОД компании Microsoft в Дублине вентиляционные установки через специальную систему очистки направляют холодный воздух непосредственно в залы с серверами.

Одним из самых известных примеров реализации такой схемы, получившей название прямого фрикулинга (Direct Free Сooling), является ЦОД компании Microsoft в Дублине. Расположенные на его крыше вентиляционные установки через специальную систему очистки направляют холодный воздух непосредственно в залы с серверами (см. Рисунок 6). По словам представителей Microsoft, климат в Дублине с температурой от -5 до +27°C позволяет круглогодично использовать естественное охлаждение. Установленное в ЦОД серверное оборудование спокойно выдерживает повышение температуры до 35°C. Для страховки — в случае если лето окажется слишком жарким или воздух — слишком грязным (например, из-за дыма пожара) — в ЦОД установлены обычные фреоновые кондиционеры (Direct eXpansion, DX), а не чиллеры. Для повышения эффективности охлаждения в серверном зале организованы закрытые горячие коридоры (см. Рисунок 7).

Рисунок 7. Для повышения эффективности охлаждения в серверном зале ЦОД компании Microsoft организованы закрытые горячие коридоры. Зеленая дверь (справа) ведет в один из таких коридоров.

Главное препятствие на пути внедрения систем прямого фрикулинга — загрязнение воздуха. Пыль и пыльца, смог и копоть от машин, различные выбросы предприятий — все это в большом количестве присутствует в атмосфере крупных городов, таких как Москва. Для прямого фрикулинга в этом случае необходимо несколько ступеней очистки, с использованием фильтров высокой степени очистки, но, как считают в компании Ayaks Engineering, даже их применение не гарантирует 100-процентной защиты дорогостоящего ИТ-оборудования от грязи. Неправильный подбор фильтров, возникновение побочных перетоков воздуха, нерегулярная очистка фильтров — все это может привести к тому, что в поступающем к ИТ-оборудованию воздухе окажется недопустимо много примесей.

Вдали от крупных городов условия для прямого фрикулинга гораздо лучше. Как сообщили нам в Ayaks Engineering, компания недавно внедрила такую систему в ЦОД одного из крупнейших поставщиков интернет-сервисов. Этот ЦОД мощностью ИТ-нагрузки 10 МВт находится в средней полосе России. Предусмотренная проектом средняя нагрузка на стойку составляет 15 кВт, при максимуме 20 кВт, при этом перепад температур между входом и выходом равен 20°С, что повышает эффективность работы системы охлаждения. Среднегодовой расчетный PUE объекта — 1,14.

Анализ качества воздуха в месте размещения ЦОД подтвердил малое содержание взвешенных частиц и других примесей, что позволило с помощью относительно недорогих фильтров обеспечить необходимую для работы ИТ-оборудования степень очистки. При температуре на улице до 25°C применяется исключительно прямой фрикулинг: очищенный уличный воздух подается в холодный коллектор, затем — к стойкам; нагретый ими до 45°C воздух попадает в горячий коллектор и выводится наружу. При температуре на улице выше 25°C воздух дополнительно охлаждается, проходя через теплообменники с холодной водой, которая готовится в холодильном центре резервного холодоснабжения (ЦХС).

Уникальность данного объекта заключается еще и в том, что ЦХС построен на основе абсорбционных холодильных машин (АБХМ). По сравнению с традиционными (компрессорными) чиллерами, АБХМ расходует значительно меньше электроэнергии. По словам представителей Ayaks, в описываемом ЦОД (на 10 МВт) абсорбционный чиллер потребляет максимум 700 кВт, да и то в пиковых режимах. В АБХМ охлаждение достигается за счет затрат не электрической, а тепловой энергии, которая может быть получена как путем непосредственного сжигания топлива (например, природного газа), так и при утилизации тепла, являющегося побочным продуктом другого технологического процесса. Установленная в ЦОД АБХМ работает по первой схеме, то есть представляет собой систему прямого горения. Для ее функционирования используются газовые горелки, а в случае пропадании газа горелка может работать на дизельном топливе, которого на объекте в избытке, поскольку на нем также установлены дизельные динамические ИБП.

Абсорбционные чиллеры привлекают все больше внимания владельцев крупных ЦОД. Недавно «Журнал сетевых решений/LAN» (см. статью «Экскурсия в ЦОД Linxdatacenter» в мартовском номере за 2013 год) рассказывал о внедрении такого решения компанией Linxdatacenter. Причем она использует для работы АБХМ тепло, выделяемое газопоршневой электростанцией, что еще больше повышает энергоэффективность решения.

КОГДА ВОЗДУХ СЛИШКОМ ГРЯЗНЫЙ

Несмотря на простоту и изящество решений с прямым фрикулингом, они имеют множество подводных камней. Как уже говорилось, стоимость системы фильтрации может оказаться очень высокой. К тому же чем более эффективные фильтры установлены (то есть задерживающие загрязняющие частицы меньшего размера), тем более мощные надо использовать вентиляторы, чтобы прогонять через фильтры воздух. Это увеличивает стоимость и повышает энергопотребление, за снижение которого и идет борьба. Кроме того, при использовании прямого фрикулинга надо предусмотреть дополнительные меры по увлажнению или осушению уличного воздуха до предусмотренных ASHRAE значений.

Хотя в начале статьи мы говорили о желательной минимизации числа теплообменников, часто возникают ситуации, когда установка дополнительного воздушного теплообменника помогает устранить многие из упомянутых выше проблем. Речь идет о формировании двух изолированных воздушных контуров (с уличным воздухом и воздухом, циркулирующим непосредственно в машинных залах) с обменом тепла/холода между ними. Изоляция исключает перемешивание потоков, а значит, и попадание примесей извне в серверные комнаты. Фильтры при этом тоже требуются — теплообменники надо защищать от грязи, — но значительно более дешевые и минимально задерживающие проходящий воздух.

Между двумя воздушными контурами могут устанавливаться различные типы теплообменников — например, пластинчатые рекуператоры и роторные регенераторы. Согласно исследованию, проведенному компанией Ayaks Engineering, при сопоставимых размерах, КПД роторных регенераторов (их еще называют тепловыми колесами) существенно выше. Именно этот тип теплообменников использует в своих решениях названная российская компания, а также известный голландский производитель систем охлаждения Kyoto Cooling.

Специалисты Ayaks Engineering провели сравнение систем прямого фрикулинга и системы с роторным рекуператором для ЦОД с базовым блоком на 500 кВт (и возможностью наращивания емкости такими блоками). Капитальные затраты на систему с роторным рекуператором оказались на 13% выше, однако операционные расходы — на 25% ниже. При таких исходных данных общая стоимость владения системами (TCO) сравняется через 10 лет. При этом, как подчеркивают в Ayaks, эффективность и общая стоимость владения системой прямого фрикулинга очень сильно зависят от региона строительства (уровень влажности и загрязненности воздуха).

Своим опытом эксплуатации системы Kyoto Cooling поделилась с нами литовская компания Hostex BDC, входящая в корпорацию TeliaSonera и являющаяся владельцем семи ЦОД. По ее данным, при более высокой стоимости (по сравнению с традиционным и жидкостным охлаждением) эта система позволяет повысить энергонагруженность каждой стойки и существенно снизить коэффициент PUE (см. Рисунок 8). Она была установлена в ЦОД на 2 МВт площадью 500 м². Анализ данных эксплуатации показал, что 85% времени в году используется только естественное охлаждение, 14,7% — смешанное охлаждение, и только оставшиеся 0,3% — традиционное (фреоновое) охлаждение. Коэффициент PUE системы оказался равным 1,09. При этом, по словам представителей Hostex BDC, поставщик оборудования гарантирует контрактом, что среднегодовой показатель PUE не превысит 1,15.

Рисунок 8. Сравнение системы Kyoto Cooling с другими системами охлаждения.

ЧЕМ ЖАРЧЕ НА УЛИЦЕ, ТЕМ ЛУЧШЕ ДЛЯ ФРИКУЛИНГА

Как показывает большинство упомянутых выше проектов, сколь бы замечательной ни была система фрикулинга, параллельно с ней приходится сооружать традиционную систему (фреоновую или чиллерную), которая, возможно, будет востребована всего несколько дней в году, но должна присутствовать для подстраховки. Очевидно, что все это существенно увеличивает капитальные расходы. Можно ли вообще обойтись одним фрикулингом (если вы не Goggle и не имеете возможности перебрасывать нагрузки между разбросанными по планете ЦОД)?

На самом деле есть технология фрикулинга, которая эффективно функционирует в жару и таким образом позволяет «пережить» самые жаркие дни. Это адиабатическое охлаждение, которое основано на охлаждении воздуха за счет испарения воды. В сухой горячий воздух распыляется обыкновенная вода, которая, испаряясь, охлаждает воздух. Эта технология уже успешно используется в ЦОД многих известных компаний — например, в ЦОД компании eBay, расположенном в Фениксе (США), где дневная температура регулярно переваливает за отметку 37°С. К слову, этот объект интересен еще и тем, что в нем установлены жаростойкие серверы Dell, которые способны работать при предусмотренном ASHRAE максимуме в 45°С.

Камера адиабатического охлаждения может быть добавлена в систему с тепловыми колесами (см. Рисунок 9). Специалисты Ayaks провели расчеты для выяснения возможности использования такой системы без дополнительных средств охлаждения в условиях Центрального региона России (Москва), при этом в качестве предельных значений были приняты температура наружного воздуха +40°С и влажность 50%. Выяснилось, что ее применение возможно, но при условии, что серверы могут работать, когда температура на входе превышает +34°С. В случае более щадящих условий (температура +35°С и влажность 30%) получилось, что дополнительное охлаждение не потребуется, если серверы будут работать при +27,5°С.

Рисунок 9. Добавление камеры адиабатического охлаждения в систему с тепловыми колесами.

Вывод таков: применение адиабатной системы в ЦОД без дополнительного компрессорного охлаждения в Центральном регионе России со среднегодовой относительной влажностью более 50% рискованно. Несколько дней в году может наблюдаться очень высокая температура с очень высокой влажностью, например летом после дождя, — на этот случай потребуется дополнительная система охлаждения. Но при выборе региона строительства с относительной влажностью в теплый период не более 30% или при использовании серверного оборудования, поддерживающего работу с температурой воздуха более +30°С на входе, адиабатное охлаждение можно применять без дополнительного компрессорного охлаждения. Будем ждать первых внедрений.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.