Вымышленная компания (далее Заказчик) попросила предложить систему охлаждения для строящегося коммерческого ЦОД. В основном зале планируется установить:
- 60 стоек с энергопотреблением по 5 кВт (всего 300 кВт) — все элементы, необходимые для обеспечения требуемой температуры и влажности, должны быть установлены сразу;
- 16 стоек с энергопотреблением по 20 кВт (всего 320 кВт) — это оборудование будет устанавливаться постепенно (по мере необходимости), и средства охлаждения планируется развертывать и задействовать по мере подключения и загрузки стоек.
Заказчик заявил, что предпочтение будет отдано энергоэффективным решениям, поэтому желательно задействовать «зеленые» технологии, в первую очередь фрикулинг (естественное охлаждение наружным воздухом — free cooling), и предоставить расчет окупаемости соответствующей опции (с учетом того, что объект находится в Московской области). Планируемый уровень резервирования — N+1, но возможны и другие варианты — при наличии должного обоснования. Кроме того, Заказчик попросил изначально предусмотреть средства мониторинга энергопотребления с целью оптимизации расхода электроэнергии.
ЧТО ПРОГЛЯДЕЛ ЗАКАЗЧИК
В сформулированной в столь общем виде задаче не учтен ряд существенных деталей, на которые не преминули указать эксперты. Так, Дмитрий Чагаров, руководитель направления вентиляции и кондиционирования компании «Утилекс», заметил, что в задании ничего не сказано о характере нагрузки. Он, как и остальные проектировщики, исходил из предположения, что воздушный поток направлен с фронтальной части стоек назад, но, как известно, некоторые коммутаторы спроектированы для охлаждения сбоку — для них придется использовать специальные боковые блоки распределения воздушного потока.
В задании сказано о размещении всех стоек (5 и 20 кВт) в основном зале, однако некоторые эксперты настоятельно рекомендуют выделить отдельную зону для высоконагруженных стоек. По словам Александра Мартынюка, генерального директора консалтинговой компании «Ди Си квадрат», «это будет правильнее и с точки зрения проектирования, и с позиций удобства эксплуатации». Такое выделение (изоляция осуществляется при помощи выгородок) предусмотрено, например, в проекте компании «Комплит»: Владислав Яковенко, начальник отдела инфраструктурных проектов, уверен, что подобное решение, во-первых, облегчит обслуживание оборудования, а во-вторых, позволит использовать различные технологии холодоснабжения в разных зонах. Впрочем, большинство проектировщиков не испытали особых проблем при решении задачи по отводу тепла от стоек 5 и 20 кВт, установленных в одном помещении.
Один из первых вопросов, с которым Заказчик обратился к будущему партнеру, был связан с фальшполом: «Необходим ли он вообще, и если нужен, то какой высоты?». Александр Мартынюк указал, что грамотный расчет высоты фальшпола возможен только при условии предоставления дополнительной информации: о типе стоек (как в них будет организована подача охлаждающего воздуха?); об организации кабельной проводки (под полом или потолком? сколько кабелей? какого диаметра?); об особенностях помещения (высота потолков, соотношение длин стен, наличие выступов и опорных колонн) и т. д. Он советует выполнить температурно-климатическое моделирование помещения с учетом вышеперечисленных параметров и, если потребуется, уточняющих данных. В результате можно будет подготовить рекомендации в отношении оптимальной высоты фальшпола, а также дать оценку целесообразности размещения в одном зале стоек с разной энергонагруженностью.
Что ж, мы действительно не предоставили всей информации, необходимой для подобного моделирования, и проектировщикам пришлось довольствоваться скудными исходными данными. И все же, надеемся, представленные решения окажутся интересными и полезными широкому кругу заказчиков. Им останется только «подогнать» решения «под себя».
«КЛАССИКА» ОХЛАЖДЕНИЯ
Для снятия тепла со стоек при нагрузке 5 кВт большинство проектировщиков предложили самый распространенный на сегодня вариант — установку шкафных прецизионных кондиционеров, подающих холодный воздух в пространство под фальшполом (см. Таблицу 1). Подвод воздуха к оборудованию осуществляется в зоне холодных коридоров через перфорированные плиты или воздухораспределительные решетки фальшпола, а отвод воздуха обратно в кондиционеры — из зоны горячих коридоров через верхнюю часть зала или пространство навесного потолка (см. Рисунок 1). Такая схема может быть реализована только при наличии фальшпола достаточной высоты.
В вопросе выбора места для установки шкафных кондиционеров единство мнений отсутствует, многие указали на возможность их размещения как в серверном зале, так и в соседнем помещении. Алексей Карпинский, директор департамента инженерных систем компании «Астерос», уверен, что для низконагруженных стоек лучшим решением будет вынос «тяжелой инженерии» за пределы серверного зала (см. Рисунок 2) — тогда для обслуживания кондиционеров внутрь зала входить не придется. «Это повышает надежность работы оборудования, ведь, как известно, наиболее часто оно выходит из строя вследствие человеческого фактора, — объясняет он. — Причем помещение с кондиционерами может быть совершенно не связанным с машинным залом и располагаться, например, через коридор или на другом этаже».
Если стойки мощностью 5 и 20 кВт устанавливаются в одном помещении, Александр Ласый, заместитель директора департамента интеллектуальных зданий компании «Крок», рекомендует организовать физическое разделение горячих и холодных коридоров. В ситуации, когда для высоконагруженных стоек выделяется отдельное помещение, подобного разделения для стоек на 5 кВт не требуется.
ФРЕОН ИЛИ ВОДА
Шкафные кондиционеры на рынке представлены как во фреоновом исполнении, так и в вариантах с водяным охлаждением. При использовании фреоновых кондиционеров на крыше или прилегающей территории необходимо предусмотреть место для установки конденсаторных блоков, а при водяном охлаждении потребуется место под насосную и водоохлаждающие машины (чиллеры).
Специалисты компании «АМДтехнологии» представили Заказчику сравнение различных вариантов фреоновых и водяных систем кондиционирования (см. Таблицу 2). Наиболее бюджетный вариант предусматривает установку обычных шкафных фреоновых кондиционеров HPM M50 UA (компании Emerson Network Power) с подачей холодного воздуха под фальшпол. Примерно на четверть дороже обойдутся модели кондиционеров с цифровым спиральным компрессором и электронным терморасширительным вентилем (HPM D50 UA, Digital). Мощность кондиционеров регулируется в зависимости от температуры в помещении, это позволяет добиться 12-процентной экономии электроэнергии, а также уменьшить количество стартов и остановок компрессора, что повышает срок службы системы. В случае отсутствия на объекте фальшпола (или его недостаточной высоты) предложен более дорогой по начальным вложениям, но экономичный в эксплуатации вариант с внутрирядными фреоновыми кондиционерами.
Как показывает представленный анализ (см. Таблицу 3), фреоновые кондиционеры менее эффективны по сравнению с системой водяного охлаждения. При этом, о чем напоминает Виктор Гаврилов, технический директор «АМДтехнологий», фреоновая система имеет ограничение по длине трубопровода и перепаду высот между внутренними и наружными блоками (эквивалентная общая длина трассы фреонопровода не должна превышать 50 м, а рекомендуемый перепад по высоте — 30 м); у водяной системы таких ограничений нет, поэтому ее можно приспособить к любым особенностям здания и прилегающей территории. Важно также помнить, что при применении фреоновой системы перспективы развития (увеличение плотности энергопотребления) существенно ограничены, тогда как при закладке необходимой инфраструктуры подачи холодной воды к стойкам (трубопроводы, насосы, арматура) нагрузку на стойку можно впоследствии увеличивать до 30 кВт и выше, не прибегая к капитальной реконструкции серверного помещения.
К факторам, которые могут определить выбор в пользу фреоновых кондиционеров, можно отнести отсутствие места на улице (например из-за невозможности обеспечить пожарный проезд) или на кровле (вследствие особенностей конструкции или ее недостаточной несущей способности) для монтажа моноблочных чиллеров наружной установки. При этом большинство экспертов единодушно высказывают мнение, что при указанных мощностях решение на воде экономически целесообразнее и проще в реализации. Кроме того, при использовании воды и/или этиленгликолевой смеси в качестве холодоносителя можно задействовать типовые функции фрикулинга в чиллерах.
Впрочем, функции фрикулинга возможно задействовать и во фреоновых кондиционерах. Такие варианты указаны в предложениях компаний RC Group и «Инженерное бюро ’’Хоссер‘‘», где используются фреоновые кондиционеры со встроенными конденсаторами водяного охлаждения и внешними теплообменниками с функцией фрикулинга (сухие градирни). Специалисты RC Group сразу отказались от варианта с установкой кондиционеров с выносными конденсаторами воздушного охлаждения, поскольку он не соответствует требованию Заказчика задействовать режим фрикулинга. Помимо уже названного они предложили решение на основе кондиционеров, работающих на охлажденной воде. Интересно отметить, что и проектировшики «Инженерного бюро ’’Хоссер‘‘» разработали второй вариант на воде.
Если компания «АМДтехнологии» предложила для стоек на 5 кВт решение на базе внутрирядных кондиционеров только как один из возможных вариантов, то APC by Schneider Electric (см. Рисунок 3), а также один из партнеров этого производителя, компания «Утилекс», отдают предпочтение кондиционерам, устанавливаемым в ряды стоек. В обоих решениях предложено изолировать горячий коридор с помощью системы HACS (см. Рисунок 4). «Для эффективного охлаждения необходимо снизить потери при транспортировке холодного воздуха, поэтому системы кондиционирования лучше установить рядом с нагрузкой. Размещение кондиционеров в отдельном помещении — такая модель применялась в советских вычислительных центрах — в данном случае менее эффективно», — считает Дмитрий Чагаров. В случае использования внутрирядных кондиционеров фальшпол уже не является необходимостью, хотя в проекте «Утилекса» он предусмотрен — для прокладки трасс холодоснабжения, электропитания и СКС.
Михаил Балкаров, системный инженер компании APC by Schneider Electric, отмечает, что при отсутствии фальшпола трубы можно проложить либо в штробах, либо сверху, предусмотрев дополнительный уровень защиты в виде лотков или коробов для контролируемого слива возможных протечек. Если же фальшпол предусматривается, то его рекомендуемая высота составляет не менее 40 см — из соображений удобства прокладки труб.
ЧИЛЛЕР И ЕГО «ОБВЯЗКА»
В большинстве проектов предусматривается установка внешнего чиллера и организация двухконтурной системы холодоснабжения. Во внешнем контуре, связывающем чиллеры и промежуточные теплообменники, холодоносителем служит водный раствор этиленгликоля, а во внутреннем — между теплообменниками и кондиционерами (шкафными и/или внутрирядными) — циркулирует уже чистая вода. Необходимость использования этиленгликоля во внешнем контуре легко объяснима — это вещество зимой не замерзает. У Заказчика возник резонный вопрос: зачем нужен второй контур, и почему нельзя организовать всего один — ведь в этом случае КПД будет выше?
По словам Владислава Яковенко, двухконтурная схема позволяет снизить объем дорогого холодоносителя (этиленгликоля) и является более экологичной. Этиленгликоль — ядовитое, химически активное вещество, и если протечка случится внутри помещения ЦОД, ликвидация последствий такой аварии станет серьезной проблемой для службы эксплуатации. Следует также учитывать, что при содержании гликоля в растворе холодоносителя на уровне 40% потребуются более мощные насосы (из-за высокой вязкости раствора), поэтому потребление энергии и, соответственно, эксплуатационные расходы увеличатся. Наконец, требование к монтажу системы без гликоля гораздо ниже, а эксплуатировать ее проще.
При использовании чиллеров функцию «бесперебойного охлаждения» реализовать довольно просто: при возникновении перебоев с подачей электроэнергии система способна обеспечить охлаждение серверной до запуска дизеля или корректного выключения серверов за счет холодной воды, запасенной в баках-аккумуляторах. Как отмечает Виктор Гаврилов, реализация подобной схемы позволяет удержать изменение градиента температуры в допустимых пределах (ведущие производители серверов требуют, чтобы скорость изменения температуры составляла не более 50С/час, а увеличение этой скорости может привести к поломке серверного оборудования, что особенно часто происходит при возобновлении охлаждения в результате резкого снижения температуры). При пропадании электропитания для поддержания работы чиллерной системы кондиционирования необходимо только обеспечить функционирование перекачивающих насосов и вентиляторов кондиционеров — потребление от ИБП сводится к минимуму. Для классических фреоновых систем необходимо обеспечить питанием весь комплекс целиком (при этом все компрессоры должны быть оснащены функцией «мягкого запуска»), поэтому требуются кондиционеры и ИБП более дорогой комплектации.
КОГДА РАСТЕТ ПЛОТНОСТЬ
Большинство предложенных Заказчику решений для охлаждения высоконагруженных стоек (20 кВт) предусматривает использование внутрирядных кондиционеров. Как полагает Александр Ласый, основная сложность при отводе от стойки 20 кВт тепла с помощью классической схемы охлаждения, базирующейся на шкафных кондиционерах, связана с подачей охлажденного воздуха из-под фальшпольного пространства и доставкой его до тепловыделяющего оборудования. «Значительные перепады давления на перфорированных решетках фальшпола и высокие скорости движения воздуха создают неравномерный воздушный поток в зоне перед стойками даже при разделении горячих и холодных коридоров, — отмечает он. — Это приводит к неравномерному охлаждению стоек и их перегреву. В случае переменной загрузки стоек возникает необходимость перенастраивать систему воздухораспределения через фальшпол, что довольно затруднительно».
Впрочем, некоторые компании «рискнули» предложить для стоек на 20 кВт систему, основанную на тех же принципах, что применяются для стоек на 5кВт, — подачей холодного воздуха под фальшпол. По словам Сергея Бондарева, руководителя отдела продаж «Вайсс Климатехник», его опыт показывает, что установка дополнительных решеток вокруг стойки для увеличения площади сечения, через которое поступает холодный воздух (а значит и его объема), позволяет снимать тепловую нагрузку в 20 кВт. Решение этой компании отличается от других проектов реализацией фрикулинга: конструкция кондиционеров Deltaclima FC производства Weiss Klimatechnik позволяет подводить к ним холодный воздух прямо с улицы.
Интересное решение предложила компания «ЮниКонд», партнер итальянской Uniflair: классическая система охлаждения через фальшпол дополняется оборудованными вентиляторами модулями «активного пола», которые устанавливаются вместо обычных плиток фальшпола. По утверждению специалистов «ЮниКонд», такие модули позволяют существенно увеличить объемы регулируемых потоков воздуха: до 4500 м3/час вместо 800–1000 м3/час от обычной решетки 600х600 мм. Они также отмечают, что просто установить вентилятор в подпольном пространстве недостаточно для обеспечения гарантированного охлаждения серверных стоек. Важно правильно организовать воздушный поток как по давлению, так и по направлению воздуха, чтобы обеспечить подачу воздуха не только в верхнюю часть стойки, но и, в случае необходимости, в ее нижнюю часть. Для этого панель «активного пола» помимо вентилятора комплектуется процессором, датчиками температуры и поворотными ламелями (см. Рисунок 5). Применение модулей «активного пола» без дополнительной изоляции потоков воздуха позволяет увеличить мощность стойки до 15 кВт, а при герметизации холодного коридора (в «ЮниКонд» это решение называют «холодным бассейном») — до 25 кВт.
Как уже говорилось, большинство проектировщиков рекомендовали для стоек на 20 кВт системы с внутрирядным охлаждением и изоляцию потоков горячего и холодного воздуха. Как отмечает Александр Ласый, использование высоконагруженных стоек в сочетании с внутрирядными кондиционерами позволяет увеличить плотность размещения серверного оборудования и сократить пространство (коридоры, проходы) для его обслуживания. Взаимное расположение серверных стоек и кондиционеров в этом случае сводит к минимуму неравномерность распределения холода в аварийной ситуации.
Выбор различных вариантов закрытой архитектуры циркуляции воздуха предложила компания «Астерос»: от изоляции холодного (решение от Knuеrr и Emerson) или горячего коридора (APC) до изоляции воздушных потоков на уровне стойки (Rittal, APC, Emerson, Knuеrr). Причем, как отмечается в проекте, 16 высоконагруженных стоек можно разместить и в отдельном помещении, и в общем зале. В качестве вариантов кондиционерного оборудования специалисты «Астерос» рассмотрели возможность установки внутрирядных кондиционеров APC InRowRP/RD (с изоляцией горячего коридора), Emerson CR040RC и закрытых решений на базе оборудования Knuеrr CoolLoop — во всех этих случаях обеспечивается резервирование на уровне ряда по схеме N+1. Еще один вариант — рядные кондиционеры LCP компании Rittal, состоящие из трех охлаждающих модулей, каждый из которых можно заменить в «горячем» режиме. В полной мере доказав свою «вендоронезависимость», интеграторы «Астерос» все же отметили, что при использовании монобрендового решения, например на базе продуктов Emerson, все элементы могут быть объединены в единую локальную сеть, что позволит оптимизировать работу системы и снизить расход энергии.
Как полагают в «Астерос», размещать трубопроводы в подпотолочной зоне нежелательно, поскольку при наличии подвесного потолка обнаружить и предотвратить протечку и образование конденсата очень сложно. Поэтому они рекомендуют обустроить фальшпол высотой до 300 мм — этого достаточно для прокладки кабельной продукции и трубопроводов холодоснабжения. Так же как и в основном полу, здесь необходимо предусмотреть средства для сбора жидкости при возникновении аварийных ситуаций (гидроизоляция, приямки, разуклонка и т. д.).
Как и шкафные кондиционеры, внутрирядные доводчики выпускаются не только в водяном, но и во фреоновом исполнении. Например, новинка компании RC Group — внутрирядные системы охлаждения Coolside — поставляется в следующих вариантах: с фреоновыми внутренними блоками, с внутренними блоками на охлажденной воде, с одним наружным и одним внутренним фреоновым блоком, а также с одним наружным и несколькими внутренними фреоновыми блоками. Учитывая пожелание Заказчика относительно энергосбережения, для данного проекта выбраны системы Coolside, работающие на охлажденной воде, получаемой от чиллера. Число чиллеров, установленных на первом этапе проекта, придется вдвое увеличить.
Для высокоплотных стоек компания «АМДтехнологии» разработала несколько вариантов решений — в зависимости от концепции, принятой для стоек на 5 кВт. Если Заказчик выберет бюджетный вариант (фреоновые кондиционеры), то в стойках на 20 кВт предлагается установить рядные кондиционеры-доводчики XDH, а в качестве холодильной машины — чиллер внутренней установки с выносными конденсаторами XDC, обеспечивающий циркуляцию холодоносителя для доводчиков XDH. Если же Заказчик с самого начала ориентируется на чиллеры, то рекомендуется добавить еще один чиллер SBH 030 и также использовать кондиционеры-доводчики XDH. Чтобы «развязать» чиллерную воду и фреон 134, используемый кондиционерами XDH, применяются специальные гидравлические модули XDP (см. Рисунок 6).
Специалисты самого производителя — компании Emerson Network Power — предусмотрели только один вариант, основанный на развитии чиллерной системы, предложенной для стоек на 5 кВт (см. Таблицу 1). Они отмечают, что использование в системе Liebert XD фреона R134 исключает ввод воды в помещение ЦОД. В основу работы этой системы положено свойство жидкостей поглощать тепло при испарении. Жидкий холодоноситель, нагнетаемый насосом, испаряется в теплообменниках блоков охлаждения XDH, а затем поступает в модуль XDP, где вновь превращается в жидкость в результате процесса конденсации. Таким образом, компрессионный цикл, присутствующий в традиционных системах, исключается. Даже если случится утечка жидкости, экологически безвредный холодоноситель просто испарится, не причинив никакого вреда оборудованию.
Данная схема предполагает возможность поэтапного ввода оборудования: по мере увеличения мощности нагрузки устанавливаются дополнительные доводчики, которые подсоединяются к существующей системе трубопроводов при помощи гибких подводок и быстроразъемных соединений, что не требует остановки системы кондиционирования.
СПЕЦШКАФЫ
Как считает Александр Шапиро, начальник отдела инженерных систем «Корпорации ЮНИ», тепловыделение 18–20 кВт на шкаф — это примерно та граница, когда тепло можно отвести за разумную цену традиционными методами (с применением внутрирядных и/или подпотолочных доводчиков, выгораживания рядов и т. п.). При более высокой плотности энергопотребления выгоднее использовать закрытые серверные шкафы с локальными системами водяного охлаждения. Желание применить для отвода тепла от второй группы шкафов традиционные методы объяснимо, но, как предупреждает специалист «Корпорации ЮНИ», появление в зале новых энергоемких шкафов потребует монтажа дополнительных холодильных машин, изменения конфигурации выгородок, контроля за изменившейся «тепловой картиной». Проведение таких («грязных») работ в действующем ЦОД не целесообразно. Поэтому в качестве энергоемких шкафов специалисты «Корпорации ЮНИ» предложили использовать закрытые серверные шкафы CoolLoop с отводом тепла водой производства Knuеrr в варианте с тремя модулями охлаждения (10 кВт каждый, N+1). Подобный вариант пре-дусмотрели и некоторые другие проектировщики (см. Таблицу 1).
Минусы такого решения связаны с повышением стоимости проекта (CAPEX) и необходимостью заведения воды в серверный зал. Главный плюс — в отличной масштабируемости: установка новых шкафов не добавляет тепловой нагрузки в зале и не приводит к перераспределению тепла, а подключение шкафа к системе холодоснабжения Заказчик может выполнять своими силами. Кроме того, он имеет возможность путем добавления вентиляционного модуля отвести от шкафа еще 10 кВт тепла (всего 30 кВт при сохранении резервирования N+1) — фактически это резерв для роста. Наконец, как утверждает Александр Шапиро, с точки зрения энергосбережения (OPEX) данное решение является наиболее эффективным.
В проекте «Корпорации ЮНИ» шкафы CoolLoop предполагается установить в общем серверном зале с учетом принципа чередования горячих и холодного коридоров, чем гарантируется работоспособность шкафов при аварийном или технологическом открывании дверей. Причем общее кондиционирование воздуха в зоне энергоемких шкафов обеспечивается аналогично основной зоне серверного зала за одним исключением — запас холода составляет 20–30 кВт. Кондиционеры рекомендовано установить в отдельном помещении, смежном с серверным залом и залом размещения ИБП (см. Рисунок 7). Такая компоновка имеет ряд преимуществ: во-первых, тем самым разграничиваются зоны ответственности службы кондиционирования и ИТ-служб (сотрудникам службы кондиционирования нет необходимости заходить в серверный зал); во-вторых, из зоны размещения кондиционеров обеспечивается подача/забор воздуха как в серверный зал, так и в зал ИБП; в-третьих, сокращается число резервных кондиционеров (резерв общий).
ФРИКУЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ
Как и просил Заказчик, все проектировщики включили функцию фрикулинга в свои решения, но мало кто рассчитал энергетическую эффективность ее использования. Такой расчет провел Михаил Балкаров из APC by Schneider Electric (см. Таблицу 4). Выделив три режима работы системы охлаждения — с температурой гликолевого контура 22, 20 и 7°С (режим фрикулинга), — для каждого он указал ее потребление (в процентах от полезной нагрузки) и коэффициент энергетической эффективности (Energy Efficiency Ratio, EER), который определяется как отношение холодопроизводительности кондиционера к потребляемой им мощности. Для нагрузки в 600 кВт среднегодовое потребление предложенной АРС системы охлаждения оказалось равным 66 кВт с функцией фрикулинга и 116 кВт без таковой. Разница 50 кВт в год дает экономию 438 тыс. кВт*ч.
Объясняя высокую энергоэффективность предложенного решения, Михаил Балкаров отмечает, что в первую очередь эти показатели обусловлены выбором чиллеров с высоким EER и применением эффективных внутренних блоков — по его данным, внутрирядные модели кондиционеров в сочетании с изоляцией горячего коридора обеспечивают примерно двукратную экономию по сравнению с наилучшими фальшпольными вариантами и полуторакратную экономию по сравнению с решениями, где используется контейнеризация холодного коридора. Вклад же собственно фрикулинга вторичен — именно поэтому рабочая температура воды выбрана не самой высокой (всего 12°С).
По расчетам специалистов «Комплит», в условиях Московской области предложенное ими решение с функцией фрикулинга за год позволяет снизить расход электроэнергии примерно на 50%. Данная функция (в проекте «Комплит») активизируется при температуре около +7°С, при понижении температуры наружного воздуха вклад фрикулинга в холодопроизводительность будет возрастать. Полностью система выходит на режим экономии при температуре ниже -5°С.
Специалисты «Инженерного бюро ’’Хоссер‘‘» предложили расчет экономии, которую дает применение кондиционеров с функцией фрикулинга (модель ALD-702-GE) по сравнению с использованием устройств, не оснащенных такой функцией (модель ASD-802-A). Как и просил Заказчик, расчет привязан к Московскому региону (см. Рисунок 8).
Как отмечает Виктор Гаврилов, энергопотребление в летний период (при максимальной загрузке) у фреоновой системы ниже, чем у чиллерной, но при температуре менее 14°С, энергопотребление последней снижается, что обусловлено работой фрикулинга. Эта функция позволяет существенно повысить срок эксплуатации и надежность системы, так как в зимний период компрессоры практически не работают — в связи с этим ресурс работы чиллерных систем, как минимум, в полтора раза больше чем у фреоновых.
К преимуществам предложенных Заказчику чиллеров Emerson Виктор Гаврилов относит возможность их объединения в единую сеть управления и использования функции каскадной работы холодильных машин в режиме фрикулинга. Более того, разработанная компанией Emerson система Supersaver позволяет управлять температурой холодоносителя в соответствии с изменениями тепловой нагрузки, что увеличивает период времени, в течение которого возможно функционирование системы в этом режиме. По данным Emerson, при установке чиллеров на 330 кВт режим фрикулинга позволяет сэкономить 45% электроэнергии, каскадное включение — 5%, технология Supersaver — еще 16%, итого — 66%.
Но не все столь оптимистичны в отношении фрикулинга. Александр Шапиро напоминает, что в нашу страну культура использования фрикулинга в значительной мере принесена с Запада, между тем как потребительская стоимость этой опции во многом зависит от стоимости электроэнергии, а на сегодняшний день в России и Западной Европе цены серьезно различаются. «Опция фрикулинга ощутимо дорога, в России же достаточно часто ИТ-проекты планируются с дефицитом бюджета. Поэтому Заказчик вынужден выбирать: либо обеспечить планируемые технические показатели ЦОД путем простого решения (не думая о проблеме увеличения OPEX), либо «ломать копья» в попытке доказать целесообразность фрикулинга, соглашаясь на снижение параметров ЦОД. В большинстве случаев выбор делается в пользу первого варианта», — заключает он.
Среди предложенных Заказчику более полутора десятков решений одинаковых нет — даже те, что построены на аналогичных компонентах одного производителя, имеют свои особенности. Это говорит о том, что задачи, связанные с охлаждением, относятся к числу наиболее сложных, и типовые отработанные решения по сути отсутствуют. Тем не менее, среди представленных вариантов Заказчик наверняка сможет выбрать наиболее подходящий с учетом предпочтений в части CAPEX/OPEX и планов по дальнейшему развитию ЦОД.
Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.
Таблица 2. Сравнение различных вариантов систем охлаждения для стоек на 5 кВт (из проекта «АМДтехнологии»).
Таблица 3. Сравнение системы с использованием чиллерной воды и фреоновой системы (из проекта «АМДтехнологии»).
Таблица 4. Потребление системы охлаждения (в процентах от полезной нагрузки) и ее энергоэффективность (EER) в зависимости от рабочего режима (из проекта APC by Schneider Eletric).
Рисунок 1. Классическое решение с подачей холодного воздуха под фальшпол.
Рисунок 2. Пример расстановки оборудования в проекте «Астерос».
Рисунок 6. Система Emerson с промежуточным гидравлическим модулем (XDP), отделяющим контур с охлажденной водой от контура с фреоном R134, используемым внутрирядными кондиционерами-доводчиками XDH.
Рисунок 7. Компоновка оборудования, предложенная «Корпорацией ЮНИ».
Рисунок 8. Расчет энергопотребления и общей стоимости владения в случае использования кондиционеров, снабженных функцией фрикулинг (модель ALD-702-GE) и не оснащенных такой функцией (модель ASD-802-A).