Инженерная инфраструктура ЦОД: курс на энергоэффективность

Традиционно большая часть форума «МИР ЦОД», который в этом году состоялся в конце мая, была посвящена вопросам организации и эксплуатации инженерной инфраструктуры центров обработки данных. В фокусе внимания находились методы снижения энергопотребления и повышения энергоэффективности. Они имеют чрезвычайно важное значение для отрасли ЦОД, поскольку позволяют не только сэкономить на счетах за электричество, но и существенно снизить затраты на подключение к энергосетям и на покупку средств бесперебойного электропитания и другого инженерного оборудования.

По данным Digital Power Group, сегодня ИТ-отрасль расходует 10% мировой электроэнергии — больше, чем весь воздушный транспорт. В этой оценке учтены затраты не только на эксплуатацию ИТ-оборудования, но и на его производство и транспортировку. На долю центров обработки данных приходится примерно 2–2,5% всей потребляемой электроэнергии, что тоже немало. Причем, как отмечает Сергей Амелькин, менеджер по продукции направления «Качественное электропитание» компании Eaton, спрос на ИТ-услуги растет быстрее, чем возможности традиционных технологий удовлетворить его при текущем уровне энергопотребления. Значит, отрасли ЦОД требуются радикальные изменения.

НА ПОМОЩЬ ПРИДУТ… ЭЛЕКТРОМОБИЛИ

Одно из таких изменений — увеличение доли альтернативных источников электроэнергии, в первую очередь солнечных батарей и ветровых генераторов. Но эти источники очень нестабильны и непредсказуемы — выдаваемая ими мощность зависит от погодных условий в конкретный момент. Поэтому, чтобы создать надежную систему электроснабжения, необходимо иметь достаточное количество возобновляемых источников энергии для компенсации их потенциальной нестабильности, модернизировать сети для управления распределенной генерацией энергии и поддерживать достаточные резервные мощности в виде традиционных источников энергии. По оценкам аналитиков, чтобы таким образом  модернизировать энергосистемы Европы, потребуется 1 трлн евро.

Компания Eaton намерилась решить подобную задачу для городских ЦОД, инициировав проект GreenDataNet. Одна из его целей — перевести ЦОД на преимущественное питание от возобновляемых источников (до 80% от общего потребления). Партнерами Eaton по этому проекту выступили Credit Suisse, Лозаннский технологический институт (EFPL), Университет Тренто, исследовательское подразделение французской комиссии по альтернативной и атомной энергии, компания ICTRoom, а также Nissan — автопроизводитель, известный своими разработками в области электромобилей.

В рамках проекта предполагается разработать буфер интеллектуального управления энергией, с помощью которого можно было бы эффективно задействовать обсуждаемые выше альтернативные источники. Кроме того, для хранения энергии планируется задействовать восстановленные автомобильные аккумуляторы, что позволит нивелировать дисбаланс по времени между генерацией и потреблением энергии. Литий-ионные АКБ становятся непригодны для использования в автомобилях, когда их емкость снижается до уровня менее 70%. Между тем после модернизации их вполне можно задействовать в ЦОД — см. Рисунок 1. (Подробнее о проекте GreenDataNet можно прочитать в статье Дмитрия Ганьжи «Экологичный городской ЦОД», опубликованной в апрельском номере «Журнала сетевых решений/LAN».)

Рисунок 1. Литий-ионные аккумуляторы становятся непригодными для использования в электромобилях, когда их емкость снижается до уровня менее 70%. Между тем после модернизации они вполне могут использоваться в ЦОД, что и предусмотрено проектом GreenDataNet.

КАК ОБУЗДАТЬ «ПРОЖОРЛИВЫЕ» КОМПРЕССОРЫ

Согласно данным ASHRAE, около 40% всей потребляемой ЦОД электроэнергии идет на систему охлаждения. Андрей Андреев, технический директор компании «Аякс Инжиниринг», обращает внимание на то, что 80% этой энергии расходуется компрессорами и лишь 20% — системами вентиляции. Поэтому для снижения энергозатрат важно прежде всего обратить внимание на компрессоры. Первый путь — сократить время их работы, одновременно увеличив продолжительность использования естественного охлаждения (фрикулинга); второй — снизить установленную мощность компрессоров, а в идеале вообще от них отказаться.

Обычно в ЦОД применяют чиллерную систему охлаждения с фрикулингом на уровне водоохлаждающей машины (теплообменники для охлаждения воды внешним воздухом монтируются в сам чиллер или устанавливаются рядом с ним). Андрей Андреев указывает, что эффект от применения подобной системы невысок: потери в теплообменнике воздух/вода доходят до 40%, к тому же при транспортировке вода постепенно нагревается (см. Рисунок 2). В результате, по его данным, общий КПД классической системы охлаждения ЦОД на основе чиллера с фрикулингом обычно не превышает 60%. Кроме того, даже в самом современном чиллере компрессоры включаются, когда температура наружного воздуха поднимается до 8°С, а значит, в средней полосе России полноценное естественное охлаждение возможно лишь половину дней в году.

Рисунок 2. Общий КПД классической системы охлаждения ЦОД на основе чиллера с фрикулингом обычно составляет не более 60%.

Гораздо более эффективными являются системы охлаждения без промежуточного теплоносителя, в которых применяются теплообменники воздух/воздух. Например, КПД предлагаемых «Аякс Инжиниринг» решений на основе роторных теплообменников достигает 85%. При этом фрикулинг может использоваться на протяжении 96–99% времени в течение года, а в оставшиеся дни (наиболее жаркие в году) может применяться установленная во внутреннем контуре недорогая фреоновая система охлаждения (см. Рисунок 3). Таким образом, длительность работы компрессоров сокращается до 1–4%.

Рисунок 3. Общая схема установки на базе роторного теплообменника с использованием дополнительной фреоновой системы охлаждения (DX).

ОХЛАЖДЕНИЕ ИСПАРЕНИЕМ

Дальнейшее снижение использования компрессорных систем, а при определенных условиях (см. ниже) и полный отказ от них, возможны в случае применения адиабатных систем охлаждения. Если в упомянутых выше классических чиллерных системах вода играет роль промежуточного теплоносителя, из-за чего снижается эффективность всей системы (по причине наличия теплообменников с обеих сторон контура и затрат на прокачку), то в адиабатных системах воздух охлаждается в результате ее испарения.

По словам Ольги Серенковой, специалиста по системам увлажнения компании Carel, испарение 100 кг воды в течение часа дает эффект охлаждения в 68 кВт при затратах электроэнергии всего 300 Вт. КПД очень высокий! Она проанализировала четыре различных типа систем адиабатного охлаждения (см. Рисунок 4):

• Сотовый увлажнитель. Одно из наиболее популярных технических решений. Вода льется на ячеистую структуру, через которую проходит поток воздуха. Система очень простая и недорогая, но ее эффективность невысокая.
• Камера орошения («мойка воздуха»). Вода подается в форсунки под давлением, типичным для водопровода: 2–5 бар. Эффективность ее испарения выше (по сравнению с сотовым увлажнителем), но капли крупные, поэтому не все успевают испариться.
• Система пневмофорсунок. В таком решении, помимо воды, в форсунки подается сжатый воздух. Эффективность еще выше, но не везде можно установить компрессор.
• Форсунки высокого давления. В этом случае вода подается под давлением 15–70 бар. Диаметр капель очень маленький (около 10 мкм), поэтому площадь соприкосновения воды с воздухом увеличивается в несколько тысяч раз, что обеспечивает практически мгновенное испарение воды. Коэффициент поглощения 80–95%, то есть только 5–20% воды уходит в дренаж.

Рисунок 4. Четыре типа систем адиабатного охлаждения.

Именно последний вариант специалист компании Carel рекомендует для применения в целях охлаждения воздуха в ЦОД. При этом она не советует использовать системы с прямым охлаждением воздуха, циркулирующего в машзалах (Direct Evaporative Cooling, DEC) — см. Рисунок 5. Ограничения на значение влажности в серверных помещениях (обычно до 60–70%) не позволяют сильно увлажнять воздух, а потому в этом случае эффективность системы адиабатного охлаждения невысока. Когда же последнее применяется во внешнем контуре, изолированном от внутреннего (Indirect Evaporative Cooling, IEC, — см. Рисунок 6), воздух можно увлажнять до 90–95%: это позволяет охладить его не на 5–10°С (как в случае DEC), а на 15°С, что расширяет температурный диапазон применения фрикулинга.

Рисунок 5. Схема системы с прямым охлаждением воздуха за счет адиабатного увлажнения (Direct Evaporative Cooling, DEC).

Рисунок 6. Схема системы с косвенным охлаждением воздуха за счет адиабатного увлажнения (Indirect Evaporative Cooling, IEC).

Проанализировав погоду в Московском регионе за последние 20 лет, специалисты «Аякс Инжиниринг» выявили самую неблагоприятную (для адиабатного охлаждения) ситуацию: в июле 1996 года при температуре +34°С относительная влажность достигла 44%. В таких условиях данная технология позволяет охладить наружный воздух до +25°С. При использовании роторного теплообменника температура воздуха во внутреннем контуре (на входе в стойку) составит +27°С. Заметим, что самая высокая уличная температура за указанный период (+38°С) была зафиксирована в июле 2010 года. При этом относительная влажность составила всего 11%, а такие условия гораздо более благоприятны для адиабатного охлаждения — воздух в секции адиабатного увлажнения охладится до +18,5°С.

Согласно рекомендациям ASHRAE, +27°С вполне допустимы для работы современных серверов. Даже если температурно-влажностные показатели июля 1996 года повторятся, указанная температура будет лишь незначительную часть времени (не более 10 ч в году), а большую часть времени температура на входе в стойку не превысит +23÷25°С.

Если такие параметры устраивают заказчика, он вполне может положиться на бескомпрессорные системы охлаждения. Если же появится желание подстраховаться или установить более жесткие температурные условия на входе в стойку, потребуется дополнительное устройство — фреоновый (DX) модуль доохлаждения — он обеспечит понижение температуры воздуха во внутреннем контуре после его прохождения через роторный теплообменник. При этом номинал такой системы DX может составлять только 10% от общей холодопроизводительности комплекса, что позволит существенно сократить CAPEX.

ХОЛОДНЫЕ СТЕНЫ И ПОЛЫ

При всей перспективности систем фрикулинга, дополненных модулями адиабатного охлаждения, подобных проектов немного — пока доминирует «чиллерная классика». Такие системы тоже совершенствуются, в том числе за счет нетрадиционных решений по размещению теплообменников в серверных залах. О двух из них рассказал Василий Новиков, руководитель группы продаж прецизионного кондиционирования компании «Трейд Групп» (ГК «Термокул»).

Рисунок 7. Система CoolWall — «холодная стена».

Первое — система CoolWall компании Weiss Klimatechnik. Как и следует из названия («холодная стена»), подобные теплообменники формируют стену, проходя через которую нагретый ИТ-оборудованием воздух охлаждается (см. Рисунок 7). Один модуль размером 2,4 × 1,8 м, потребляя всего 3 кВт, обеспечивает холодопроизводительность 150 кВт. Как утверждается, по сравнению с обычным прецизионным кондиционером, занимающим столько же места, решение CoolWall способно удвоить холодопроизводительность, а большая рабочая площадь теплообменника позволяет использовать чиллерную воду более высокой температуры.

Второе решение — активные плитки фальшпола Hydrologic компании Weiss Doppelbodensysteme, содержащие теплообменники с вентиляторами (фанкойлы). Одна такая плитка, потребляя всего 150 Вт, способна отвести до 10 кВт тепла (см. Рисунок 8). Размещая рядом с каждой стойкой две плитки (с одной стороны стойки — для подачи холодного воздуха, с другой стороны — для забора горячего), можно увеличить этот показатель до 20 кВт. Такие решения используются в модульных ЦОД Contain RZ (подробнее о модульных ЦОД см. статью «Модульные ЦОД 2.0» в этом номере журнала).

Рисунок 8. Активные плитки фальшпола Hydrologic.

ОТ КОТЛОВАНА ДО ЦОД

Большинство рассмотренных выше решений — от массивных роторных теплообменников до систем класса «холодная стена» — в идеале должны проектироваться одновременно со зданием ЦОД. Как отмечает Михаил Кувшинов, директор по маркетингу в России компании «Текстура Восток», при создании такого высокотехнологичного объекта, как ЦОД (который «скорее машина, чем сооружение»), требуется высочайший уровень взаимодействия субподрядчиков и буквальное исполнение всех инструкций по строительству и сдаче в эксплуатацию. В процессе реализации проекта могут возникать тысячи и десятки тысяч различных недоделок — важно вовремя их отследить и исправить.

По мнению Михаила Кувшинова, в подобных проектах необходима электронная система управления документацией и контроля качества строительства. Например, система, разработанная компанией Latista, активно используется при строительстве крупнейших зарубежных ЦОД. В облаке Latista размещается вся документация и описания процедур, из него же всем участникам проекта предоставляются инструменты для совместной работы. Доступ к этому облаку возможен как со стационарных ПК, так и с различных мобильных терминалов. Непосредственно на объекте обычно используются планшеты iPad, защита которых обеспечивается недорогими индустриальными кейсами. Поскольку наличие сети Wi-Fi на стройке пока нетипично, терминалы могут работать в автономном режиме, один раз в день (или несколько раз — в зависимости от ситуации) синхронизируясь с облаком: при этом все изменения, внесенные на терминале, транслируются в облако, а изменения облака — в терминал.

Система Latista реализует функции контроля за строительными работами, охраной труда и техникой безопасности. Возможность осуществлять различные виды надзора существенно облегчает процесс сдачи объекта в эксплуатацию. Кроме того, система предоставляет бизнес-аналитику, причем, как подчеркивает Михаил Кувшинов, «в тот момент, когда эта информация действительно важна, пока ее не скрыли субподрядчики». Согласно приведенным им данным, инженерному персоналу система позволяет сэкономить в среднем 20% рабочего времени и опередить графики строительства на те же 20% за счет своевременного выявления и устранения недоделок и дефектов. При этом сокращение трудозатрат на исправление недоделок составляет до 50%.

КОГДА ЦОД УЖЕ ЭКСПЛУАТИРУЕТСЯ

Далеко не всем архитекторам ЦОД выпадает счастье строить объект с нуля, да еще в специально возводимом для этого здании. Чаще перед ними ставится менее «монументальная» задача: повышение энергоэффективности и модернизация уже построенных кем-то объектов. По мере расширения в стране парка ЦОД все большую важность приобретает аудит уже эксплуатируемых объектов.

Рисунок 9. Термография является чрезвычайно удобным инструментом для выявления мест локального перегрева серверного оборудования, мест перетекания горячего воздуха, застойных зон.

Как отметил на форуме «МИР ЦОД – 2014» Леонид Шишлов, руководитель направления сервисов ЦОД компании Schneider Electric, «как при проектировании, так и при эксплуатации допускается большое количество ошибок, которые ведут к снижению отказоустойчивости и лишним расходам, поэтому со временем возникает необходимость проведения независимой комплексной оценки состояния инженерной инфраструктуры ЦОД». В ходе аудита специалисты Schneider Electric используют различные методы и инструментарий, включая нагрузочное тестирование, термографию (см. Рисунок 9), вычислительную гидродинамику (Computational Fluid Dynamics, CFD) (см. Рисунок 10).

Рисунок 10. Использование методов вычислительной гидродинамики (Computational Fluid Dynamics, CFD) позволяет предсказать распределение воздуха, направление его циркуляции, скорости распределения и температуру в любой точке помещения.

«Как правило, в ЦОД всегда имеются технические проблемы либо оборудование настроено не оптимально. Даже если утверждается, что «проблем нет», на самом деле заказчик про них просто пока не узнал, — уверен Леонид Шишлов. — В подавляющем большинстве случаев исправление ошибок (проектирования, эксплуатации, развития) дает либо ощутимый прирост энергоэффективности, либо повышение отказоустойчивости».

Одним из самых доступных способов повышения энергоэффективности является регулировка расхода воздуха через плитки фальшпола. Используемые в ходе аудита методы позволяют составить картину реального распределения воздушных потоков и выявить утечки воздуха. Последующая регулировка дает возможность подавать в каждый шкаф ровно столько воздуха, сколько необходимо, избежав локального перегрева оборудования и обеспечив экономию электроэнергии.

Как отмечает Леонид Шишлов, устранение выявленных в ходе аудита недостатков позволяет даже при минимальных затратах повысить надежность ЦОД и сэкономить значительные ресурсы. Кроме того, отчет по аудиту может стать хорошим основанием для начала модернизации, которую «так долго откладывали»…

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.