По данным DataCenterDynamics, в американских ЦОД средняя мощность на стойку пока составляет 5,5 кВт, а в Европе — 4,1 кВт. Заказчики стараются не уплотнять оборудование до предела без крайней необходимости, чтобы не пришлось применять сложные инженерные решения для отвода тепла. Исключение составляют суперкомпьютеры и вычислительные кластеры. Тем не менее, увеличение плотности оборудования в ЦОД — одна из современных тенденций.
В HP отмечают, что за последние восемь лет производительность серверов увеличилась в 75 раз, а «производительность на ватт» — лишь в 16 раз. Рост вычислительных мощностей и уменьшение физических размеров систем приводит к увеличению плотности оборудования в стойке. На первый взгляд, ситуация парадоксальна: повышение плотности оборудования заставляет создавать более сложные и дорогие системы охлаждения для отвода тепла, которые сами являются мощными потребителями электроэнергии. Теоретически это должно вести к снижению энергоэффективность ЦОД.
На самом деле, как утверждают производители, модульные серверы высокой плотности примерно на 20% эффективнее по энергопотреблению, чем обычные стоечные серверы с теми же процессорами. Дело не только в том, что более десятка таких устройств используют один дублируемый блок питания и общие вентиляторы. Как поясняет Нейл Расмуссен, старший вице-президент и главный технический директор APC-MGE, тепло, выделяемое в компактном пространст-ве, отвести намного проще, чем из помещения ЦОД большого объема, для чего потребовалось бы увеличить мощность вентиляторов и организовать воздушные потоки. Конечно, оборудование высокой плотности окажется более эффективным лишь при правильно организованном охлаждении.
В HP также убеждены, что заказчикам придется тратить больше средств на оплату электроэнергии, если они не решатся увеличить плотность оборудования в ЦОД. Между тем, за рубежом стоимость потребляемой сервером за три года электроэнергии (с учетом систем охлаждения) сравнялась со стоимостью самого сервера. По данным Emerson Network Power, в современных ЦОД на 1 Вт нагрузки ИТ требуется 1 Вт энергии охлаждения.
Согласно расчетам HP, на систему кондиционирования, вентиляции и обогрева (HVAC) приходится до 37% потребляемой ЦОД мощности, а в отдельных случаях — более 50%. Эффективным же считается показатель менее 30%. По информации APC, системы кондиционирования и вентиляции расходуют 20-55% подаваемой в ЦОД электроэнергии. На практике неплохой является ситуация, когда такое потребление не превышает 50%. По подсчетам специалистов, прямое охлаждение серверов путем подачи хладагента или охлажденной воды к компонентам стойки намного эффективнее, чем использование воздушного охлаждения.
Учитывая предстоящее повышение тарифов на электроэнергию в России на 23-25% в год, высокую плату за присоединение к энергосетям (в Москве, по публикуемым в прессе данным, она составляет от 40 до 102 тыс. рублей за киловатт мощности) и рост спроса на электроэнергию (по официальным прогнозам, он увеличится к 2020 г. на 70%), задача повышения энергоэффективности становится очень актуальной.
ЛОКАЛЬНОЕ РЕШЕНИЕ
Увеличение мощности с 5 кВт до 15-16 или даже до 20-25 кВт на стойку и более (как при установке модульных серверов) вынуждает производителей переходить с традиционного кондиционирования на локальное охлаждение стоек, отдель-ных серверов и процессоров. Для снятия тепловой нагрузки 5 кВт необходимо подать на стойку 1000 м3/ч воздуха, с чем вентиляторы вполне справляются. Отводить тепло от оборудования высокой плотности позволяет только прямое охлаждение в стойке без смешивания воздушных потоков из горячего и холодного коридоров. Как пояснил Владимир Левин, директор по продажам компании HTS (группа компаний «Хоссер»), это достигается созданием герметично замкнутых горячих/холодных коридоров или непосред-ственным охлаждением каждой стойки.
Размещение системы охлаждения рядом с источником тепла позволяет организовать более эффективный теплоотвод и добиться высоких эксплуатационных показателей готовности ЦОД (см. Рисунок 1). При установке системы кондиционирования в непосредственной близости от оборудования (см. Рисунок 2), как например, в APC In-Row, охлаждение оказывается более эффективным, чем при применении очень мощного вентилятора в вытяжной системе. Устанавливаемая сбоку от стойки с оборудованием или между стоек система охлаждения APC In-Row шириной 12” может отводить до 30 кВт тепла. Нагретая вода подается в чиллер для охлаждения.
Для локального охлаждения предназначены системы кондиционирования Liebert XD компании Emerson Network Power. Они позволяют отводить избыточное тепло из отдель-ных зон или всего помещения ЦОД с помощью блоков, монтируемых на стойке или на потолке. Кондиционеры-доводчики отводят от стойки 15-30 кВт, причем к ним подается не вода от чиллера, а фреон (эти системы «развязаны» с помощью промежуточного модуля), что исключает опасность протечек. Такую систему можно наращивать, когда устанавливается дополнительное оборудование или увеличивается его тепловыделение. По информации Emerson, разместив охлаждение ближе к нагрузке, удается сэкономить до 30% энергии.
Закрытые горячие и холодные коридоры с замкнутыми воздушными потоками, а также размещение кондиционеров рядом с источником тепла позволяют отвести тепло от оборудования большой мощности. Однако из-за очень сильного воздушного потока возникают проблемы с обслуживанием оборудования. Как только удельное тепловыделение стойки превышает определенный порог, более эффективным оказывается жидкостное охлаждение (см. Рисунок 3).
Как подчеркивает Анатолий Окряк, главный инженер и начальник ЦУС компании «Айпинэт», энергопотребление и охлаждение становятся главными проблемами функционирования ЦОД разного масштаба. Если при мощности до 3 кВт на стойку проблема теплоотвода решается традиционными способами, то когда она превышает 5 кВт, приходится прибегать к специальным методам. Ежегодно потребность в охлаждении ЦОД растет примерно на 8%. Это заставляет переходить с традиционного кондиционирования на локальное охлаждение шкафов и даже жидкостное охлаждение процессоров. В качестве варианта можно использовать специальные дверцы стоек со встроенным теплообменником, устанавливаемые сбоку системы жидкостного охлаждения, или компактные комбинированные системы воздушно-водяного охлаждения стоек.
ПРЕДЕЛЫ РОСТА
За рубежом специалисты начинают говорить о том, что жидкостное охлаждение возвращается в ЦОД. Зачастую его рассматривают как единственный способ справиться с ростом энергопотребления и решить задачу охлаждения оборудования при растущей плотности. Некогда такой подход применялся для охлаждения мейнфреймов. Теперь он востребован и в распределенных системах.
В основном речь идет об охлаждении на уровне стойки. Системы с воздушно-жидкостным охлаждением стоек (навесные дверцы или герметичные шкафы для оборудования, где входящий холодный воздух и исходящий теплый циркулируют внутри корпуса стойки) предлагаются на рынке уже не первый год. Рост тепловыделения заставляет обращать на них более пристальное внимание. Интересуются ими и в России, однако количество внедрений пока невелико.
Существуют разные мнения и рекомендации в отношении того, при каком тепловыделении становится более эффективным и удобным использовать жидкостное или воздушно-жидкостное охлаждение на уровне стойки. Станислав Заржецкий, региональный менеджер компании Lampertz в России, уверен, что если одна стойка с оборудованием выделяет больше 8-10 кВт тепла, то другого адекватного решения, кроме системы жидкостного охлаждения, просто нет. В Lampertz используют системы жидкостного охлаждения Rittal (обе компании входят в одну группу), а максимальная мощность, отводимая со стойки с помощью такой системы в реализованном проекте в России, составляет 19,8 кВт/м2. При нагрузке свыше 8 кВт (примерно 2 кВт/м2) разработчики прибегают к охлаждению в закрытом шкафу с водой (этилен-гликолем) в качестве теплоносителя, что подтвердил Константин Спиров, директор компании HTS.
По мнению Андрея Полежаева, руководителя отдела проектов компании «ТБС-Айтэл», при наблюдаемой динамике роста производительности серверных систем традиционные подходы к отводу тепла оказываются не-эффективными. ЦОД с нагрузочными характеристиками оборудования на стойку более 10-12 кВт — это предельное значение для классических систем охлаждения. Рассеиваемую мощность в виде тепла свыше 10-12 кВт на стойку можно эффективно отвести только с помощью системы на основе жидкостного охлаждения воздушных потоков.
При тепловыделении в ЦОД более 12 кВт/м2 специалисты Emerson/Knuerr рекомендуют применять шкафы с водяным охлаждением CoolTherm. В APC-MGE считают, что жидкостные системы охлаждения требуются при мощности 25-30 кВт на стойку. В настоящее время ряд производителей выпускает системы жидкостного охлаждения, способные отводить до 50 кВт на стойку, однако, как полагает Нейл Расмуссен, такие решения непрактичны. Он уверен, что энергопотребление не будет расти бесконечно и стабилизируется на уровне 20-25 кВт на стойку.
Кроме того, по расчетам самих вендоров, уплотнение сверх 4-5 кВт на стойку не приводит к какому-либо уменьшению занимаемой оборудованием площади, поскольку, несмотря на компактность вычислительных систем, оборудование питания и охлаждения занимает больше места. Да и дальнейшего снижения TCO не происходит: оно вновь начинает расти при мощности более 8 кВт на стойку.
Тем временем системы с жидкост-ным охлаждением предлагают уже несколько производителей. На рынке появились Emerson/Knuerr CoolTherm, Hewlett-Packard Modular Cooling System (MCP), IBM Rear Door Heat eXchanger (Cool Blue), Liebert XDFN, Schroff Varistar LHX20, Rittal Liquid Cooling Package (LCP), CoolFrame от Egenera и Liebert и др. Для охлаждения выходящего из серверных стоек воздуха в этих устройствах используется вода или жидкий хладагент. Такие системы значительно снижают требования к прецизионным кондиционерам серверного зала.
Теплопроводность воды в 3,5 тыс. раз выше воздуха. Чтобы отвести 1 кВт тепла, за час нужно прокачивать 325 м3 воздуха или 90 л воды. Как утверждают производители, применение стоек с водяным охлаждением позволяет снизить инвестиции в ЦОД до 40% (см. Рисунок 4) и на 15% сокращает потребление электроэнергии. Разработчики CoolFrame говорят о более чем 20% экономии. По данным компании «Датадом», сокращаются и начальные инвестиции. Например, для модульных серверов HP BladeSystem C-class система водяного охлаждения обходится примерно в полтора раза дешевле (за счет экономии площадей, отсутствия фальшпола и т.д.). Однако некоторые эксперты не советуют подавать воду в ЦОД из-за опасности протечек, отсутствия культуры монтажа и невысокого качества обслуживания таких систем. Тем не менее, согласно имеющимся прогнозам, через пару лет вода будет охлаждать даже процессоры.
Новейшие разработки IBM подтверждают эту тенденцию. Недавно представленный суперкомпьютер Power 575 на базе 448 процессоров Power6 с частотой 5,0 ГГц использует для охлаждения процессорных ядер жидкостную систему. Вода подается в корпус по системе трубок и отводится наружу для последующего охлаждения. По быстродействию этот компьютер в пять раз превосходит предшественника, но потребляет только 40% прежней мощности. В перспективе разработчики намерены охлаждать процессоры водой изнутри. Сама же по себе идея водяного охлаждения компонентов компьютерной системы давно известна и нашла воплощение в суперкомпьютерах, высокопроизводительных серверах и мощных ПК.
Если раньше жидкостное охлаждение серверов казалось сложным и рискованным делом, то теперь получаемые преимущества нередко ото-двигают на задний план все неудоб-ства, хотя с увеличением количества такого оборудования в ЦОД придется монтировать сложные в обслуживании и требующие высокой квалификации монтажников конструкции.
Производители инженерного оборудования корректируют свои стратегии в соответствии с растущим энергопотреблением ЦОД и совершенст-вованием серверных технологий. Например, разработчики Emerson считают, что современные ЦОД требуют радикального изменения технологий охлаждения. Компания вышла на этот рынок в прошлом году, вслед за приобретением Knuеrr, и теперь предлагает широкий спектр технологий, интегрируя в стоечные системы проверенные решения охлаждения серверных помещений. Knuеrr накопила большой опыт в данной области, создав более 400 патентованных разработок, что позволит Emerson адаптировать стоечные решения к меняющимся требованиям клиентов.
По мнению Алексея Трояновского, директора департамента инженерных систем компании «Черус», со временем все придут к жидкостным системам охлаждения, с помощью которых можно добиться более высокой плотности оборудования, ведь жидкость переносит тепло гораздо лучше воздуха. Кроме того, воздух только передает тепло, а вода может служить и накопителем, т.е. бак с холодной водой способен заменить резервный кондиционер, например, на время запуска дизелей или возобновления энергоснабжения. Использование воды для охлаждения оборудования имеет множество преимуществ. Например, ночные тарифы на электроэнергию ниже дневных, и в комфортном кондиционировании уже давно применяется решение, когда чиллер охлаждает большую водяную емкость ночью, а днем холод потребляется из этой емкости. Почему бы не внедрить такое решение в ЦОД?
«ЗА» И «ПРОТИВ»
Каждый владелец ЦОД проповедует свой подход, зачастую диаметрально противоположный всем другим: от полного недопущения воды, до активного использования систем с жидкостным охлаждением, отмечают в компании «СИТРОНИКС Информационные Технологии» («Квазар-Микро»). На рынке представлены оба класса решений, позволяющих эффективно охлаждать высоконагруженные стойки, поэтому всякий раз вопрос решается индивидуально, в зависимости от исходных данных, технических требований и видения заказчика. Каждая система имеет свои плюсы и минусы. Специалисты компании «Антрел-Интегро», входящей в ГК «Антрел-Автоматизация», считают, например, что на уровне локальных инфраструктурных компонентов жидкостное охлаждение применять пока нельзя.
Алексей Солодовников, руководитель департамента по работе с корпоративными заказчиками компании APC в России, уверен: прямое жидкостное охлаждение стоек в ЦОД не станет массовым явлением и допустимо лишь для отдельных приложений, таких как суперкомпьютерные системы. В ЦОД, где возможны частые изменения и перестановки оборудования, перенос стоек с жидкостным охлаждением связан со сложным и трудоемким монтажом трубопроводов. Что касается готовых серверных платформ, где система жидкостного охлаждения предусмотрена производителем, для них дополнительно придется приобретать чиллер.
Однако, по мнению Андрея Павлова, генерального директора компании «Датадом», глобальный переход на жидкостные системы охлаждения — основная тенденция мирового и российского строительства ЦОД. Если еще пару лет назад «вода» в ЦОД казалась большинству клиентов неприемлемым явлением, то теперь, в связи с повышением удельной тепловой нагрузки и увеличением масштабов ЦОД, обычные фреоновые системы холодоснабжения теряют свою актуальность. Такое количество внешних блоков, какое требуется для «среднего» ЦОД мощностью 1 МВт, порой просто негде разместить (в частности, потому, что максимальная длина фреонового контура не может превышать 50-60 метров), в то время как чиллерные системы обладают относительной «компактностью» и допускают удаленное размещение. К тому же при увеличении теплоотдачи от стойки свыше 8-10 кВт охладить ее типовым способом подачи воздуха под фальшполом затруднительно. И если не подвести жидкость прямо к стойке, охладить оборудование не удастся.
Николай Паршин, директор центра эксплуатации ЦОД IBS DataFort, называет системы жидкостного охлаждения интересным решением. Компания планирует размещение такого оборудования в новом ЦОД. Однако российские заказчики пока только интересуются подобными системами, опыта их длительной эксплуатации еще нет. Они применяются лишь в суперкомпьютерных инсталляциях и вычислительных кластерах, число которых невелико.
Жидкостные системы охлаждения могут быть эффективными и экономически оправданными, когда требуется отвести значительный объем тепла при очень высокой плотности оборудования, однако, как полагает Валерий Тимошин, менеджер отдела маркетинга решений «Энвижн Групп», риски возникновения протечек сдерживают развитие подобных решений. По словам Андрея Полежаева, заказчики начинают обращать внимание на системы жидкостного охлаждения, но высказывают опасения, что утечка воды приведет к аварийным ситуациям и значительным финансовым потерям. Однако на самом деле места соединений трубопровода водяных трасс в помещении ЦОД изолируются особенно тщательно, так что оборудование ЦОД чаще страдает от аварий системы водопровода и водяного отопления здания. Кроме того, чувствительное оборудование располагается в стойках с водяным охлаждением над теплообменником воздух-вода.
Константин Спиров указывает, что на рост инвестиций влияют переход на водяные системы охлаждения, подача холодного воздуха непосредственно в стойку (шкафы с водяным охлаждением закрытого типа), использование систем естественного охлаждения (Free Cooling) хотя и ведет к росту инвестиций на начальном этапе проекта, но затраты на последующую эксплуатацию ЦОД сокращаются. По оценкам зарубежных экспертов, оснащение серверов локальными модулями жидкостного охлаждения позволяет наполовину снизить потребности в охлаждении помещения ЦОД.
Вместе с увеличением вычислительной мощности растет и энергопотребление, что заставляет пользователей предусматривать возможности расширения системы охлаждения. Как считают в компании «СИТРОНИКС Информационные Технологии», при проектировании систем охлаждения для корпоративного ЦОД, например, телекоммуникационного оператора, резерва менее 12 кВт недостаточно. Есть ряд примеров, когда ЦОД, по-строенный с запасом на 10 лет, оказывался загруженным на 100% уже за три года.
Модульный подход, применяемый в системах класса Rittal RimatriX5 с воздушно-жидкостным охлаждением стоек Liquid Cooling Package (LCP), дает возможность постепенно расширять мощности ЦОД, заранее не инвестируя значительные средства в систему кондиционирования избыточной мощности.
Легкость масштабирования — важное качество такого подхода. По словам Андрея Полежаева, система теплообмена в помещении ЦОД расширяется по мере увеличения потребности в охлаждении, и это не требует значительных финансовых затрат. Между тем, с момента внедрения единичных решений с жидкостным охлаждением до их массового использования должно пройти определенное время —
точно так же несколько лет назад внедрялся модульный подход.
Как поясняет Александр Любуш-кин, руководитель отдела систем электроснабжения компании «Поликом Про», при тепловыделении более 10 кВт на стойку единственным вариантом становится жидкостное охлаждение, однако в подавляющем большинстве случаев для обеспечения потребностей среднего сегмента бизнеса вполне достаточно воздушного. Многочисленные компромиссные варианты позволяют расширить естественные границы воздушного охлаждения, а водяное охлаждение во многих случаях подобно пальбе из пушек по воробьям. Переходить на него нужно только тогда, когда все варианты со схемами воздушного охлаждения исчерпаны.
Такой же стратегии придерживаются при создании ЦОД заказчики из других стран (см. Рисунок 5). По данным опроса, проведенного в прошлом году сайтом SearchDataCenter.com среди зарубежных компаний, более половины в качестве меры сокращения энергопотребления используют виртуализацию серверов, 32% добиваются этого за счет усовершенствования систем воздушного кондиционирования и лучшей организации потоков воздуха под фальшполом, 27% не реализуют каких-либо мер вообще, 17,5% отключают ненужные серверы, 11% перешли на питание от постоянного тока (хотя эффективность этой меры оспаривается), и лишь 7,7% опробовали жидкостное охлаждение (допускалось несколько вариантов ответов). Показательно, что 65% опрошенных не планируют когда-либо применять системы жидкостного охлаждения в ЦОД. По мнению аналитиков, если в результате увеличения плотности оборудования компании столкнутся с необходимостью внедрения систем жидкостного охлаждения, то с большой вероятностью предпочтут передать такие вычислительные задачи на аутсорсинг.
Однако ситуация быстро меняется. По прогнозам Gartner, уже в следующем году половина существующих ЦОД будет вынуждена решать проблему недостаточной эффективности систем охлаждения, которые перестанут отвечать потребностям отвода тепла в зонах с высокой плотностью оборудования. Это заставит их владельцев обратить внимание на новые подходы. Производителям серверов, холодильного оборудования и систем инженерного обеспечения есть что предложить. Как полагают аналитики Gartner, с вероятностью 70%, к 2011 г. охлаждение отдельных стоек и рядов стоек станет доминирующим методом отвода тепла для оборудования высокой плотности, а ведущие производители серверов начнут использовать технологии охлаждения на уровне шасси. Прямое жидкостное охлаждение рассматривается сегодня не только в качестве одного из способов снижения затрат на электроэнергию, но и как эффективный метод охлаждения оборудования высокой плотности, популярность которого будет расти.
Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru .