Не PUE единым

Достижение как можно меньшего значения PUE превратилось в своеобразное соревнование между операторами крупнейших ЦОД, такими как Google, Facebook и другие. От внедряемых при этом технических решений выиграла и отрасль в целом, а среднее значение PUE снизилось с 2,5 в 2007 году до 1,65 в настоящее время. Но вместе с тем все чаще стали говорить, что борьба за дальнейшее снижение PUE не приносит той отдачи, какой можно было бы ожидать, а сам коэффициент не дает адекватной оценки энергоэффективности ЦОД как ИТ-объекта.

В феврале 2007 года ассоциация Green Grid опубликовала документ «Метрики Green Grid: описание энергоэффективности центра обработки данных», где предложила ввести интегральную метрику для оценки эффективности энергопотребления ЦОД (Power Usage Effectiveness, PUE), с помощью которой операторы и владельцы центров обработки данных могли бы быстро оценить энергоэффективность своих ЦОД как саму по себе, так и в сравнении с другими подобными объектами и определить необходимые меры для их улучшения. С тех пор PUE получил широкое признание в отрасли и стал самым цитируемым показателем энергоэффективности применительно к ЦОД.

Достижение как можно меньшего значения PUE превратилось в своеобразное соревнование между крупнейшими операторами ЦОД, такими как Google, Facebook и другие. От внедряемых при этом технических решений выиграла и отрасль в целом — распространение получили такие подходы и приемы, как естественное охлаждение, повышение температуры внутри машзалов и т. п. В результате, согласно исследованию 2013 Data Center Industry Survey, проведенному Uptime Institute, среднее значение PUE снизилось с 2,5 в 2007 году до 1,89 в 2011-м, а в настоящее время он составляет около 1,65. Но вместе с тем все чаще стали говорить, что борьба за дальнейшее снижение PUE не приносит той отдачи, какой можно было бы ожидать, а сам коэффициент не дает адекватной оценки энергоэффективности ЦОД как ИТ-объекта.

КАКОЙ PUE ВЫ ИМЕЛИ В ВИДУ?

С момента своего появления PUE неоднократно уточнялся. При всей простоте определения (отношение потребления ИТ-нагрузки к общему энергопотреблению ЦОД) измерение этого показателя на практике далеко не простая задача. Так, в 2011 году рабочая группа по повышению эффективности ЦОД (Data Center Efficiency Task Force, DCETF), куда, помимо Grin Grid, входят представители министерства энергетики США, Energy Star, Uptime Institute и др., выпустила рекомендации по измерению PUE «Рекомендации по измерению и учету, версия 2.0 — измерение PUE в ЦОД», которые получили название PUE 2.0.

Одним из отличий стало то, что в качестве меры теперь используется исключительно энергопотребление, выражаемое в киловаттах в час, а не мощность, определяемая в киловаттах. Тем самым был устранен один из вызывавших путаницу моментов. Кроме того, в этом документе вводятся четыре категории измерения от 0 до 3, из которых три старшие категории — от 1 до 3 — определяют в качестве основы для расчетов годовое энергопотребление (в младшей, нулевой, категории в качестве базиса для расчетов принимается пиковое потребление). Теперь при публикации PUE необходимо указывать, в соответствии с какой категорией проводились измерения. Для этого к аббревиатуре PUE необходимо добавлять номер категории: PUE0, PUE1, PUE2 или PUE3 (см. Таблицу 1).

Таблица 1. Три уровня точности измерения PUE согласно документам Green Grid.

Однако до сих пор значение PUE для ЦОД обычно публикуется без упоминания категории, к которой оно относится, хотя авторы документа и предупреждают, что указание PUE без индекса идет вразрез с рекомендациями документа. Как отмечает Илья Царёв, главный инженер проектов в подразделении IT Business компании Schneider Electric, типичные ошибки при использовании и понимании PUE вызваны, как правило, отсутствием или неполнотой информации о том, в каких рамках и какого уровня PUE, согласно документам Green Grid, применяется в данном конкретном случае. Утверждение наподобие «PUE не должен превышать такого-то значения» без дополнительных пояснений не даст специалисту полной информации о том, что же от него хотят. По его мнению, необходимы как минимум следующие пояснения:

• • какой PUE имеется в виду: пиковый или среднегодовой;
• • в каких границах проводятся измерения текущего PUE и с какой точностью (уровни 1–3 согласно документам Green Grid) — в частности, включаются ли в расчет PUE потери на трансформаторах и потери в распределительной сети после ИБП;
• • для какого уровня загрузки ЦОД должны проводиться расчеты целевого показателя PUE — даже при сверхэффективном проекте ЦОД расчетные показатели PUE никогда не будут достигнуты при низкой или неоптимальной загрузке машинных залов (обычно между PUE и заполнением ЦОД наблюдается обратно пропорциональная зависимость, в чем состоит, пожалуй, главное неудобство PUE).

СТОИТ ЛИ PUE ВЫДЕЛКИ?

Современные центры обработки данных Google, Facebook, Apple, Microsoft и других крупных игроков могут похвастаться значениями PUE на уровне 1,1–1,2. Так, например, ЦОД Yahoo в Локпорте имеет показатель PUE 1,07. При этом зачастую при расчете показателя энергоэффективности из общего потребления вычитается «зеленая энергия», которую такие ЦОД получают от собственных ветряков, солнечных батарей или, как в случае с ЦОД Yahoo, от гидроэлектростанции. Однако исключение этих источников энергии из расчетов может привести к абсурдным результатам, когда PUE оказывается меньше 1. Такой трюк превращает PUE в бессмысленный спекулятивный показатель.

Меры по снижению значения PUE эффективны в первую очередь в крупных центрах обработки данных с их огромным энергопотреблением. В небольших же ЦОД соответствующие затраты на модернизацию могут не окупиться за счет достигнутой экономии (см. подробнее врезку «Стоит ли измерять PUE?»). «Контроль PUE целесообразен в любых крупных ЦОД, где он является удобным средством оценки эффективности расхода энергоресурсов, — полагает Илья Царёв. — Но особенно он важен для коммерческих ЦОД, энергоэффективность которых напрямую влияет на прибыльность бизнеса. Вместе с тем в специализированных ЦОД, где надежность имеет приоритет, контроль PUE отходит на второй план».

Зачастую расчетное значение PUE для ЦОД приводится для максимальной нагрузки, однако в действительности ни один ЦОД не работает все время на полную мощность. Поэтому реальные показатели энергоэффективности могут оказаться заметно ниже заявляемых. «Показатель PUE удобен для оценки энергоэффективности при построении корпоративного ЦОД, когда после запуска ЦОД быстро заполняется вычислительными мощностями до проектируемого уровня, — поясняет Александр Кюн, менеджер по продукции для ИТ-инфраструктуры в компании Rittal. — Это позволяет в краткосрочной перспективе оценить соответствие реальной энергоэффективности заявленной при проектировании». Вследствие переменной загрузки и поэтапного введения оборудования в работу, для коммерческого ЦОД метрика PUE может оказаться непоказательной. В таком случае Александр Кюн рекомендует рассмотреть возможность модульной организации ЦОД: при постепенном вводе модулей в работу PUE можно контролировать индивидуально для каждого модуля после их полноценного запуска.

Как считает Сергей Мищук, технический директор DataLine, детальное измерение PUE представляет собой достаточно дорогое удовольствие, хотя для грубой оценки больших усилий не требуется: «При типичных для российских ЦОД значениях PUE на уровне 1.8–2.5 в высокой точности измерений нет необходимости — достаточно измерять мощность на входе электроустановки и на выходах ИБП, питающих коммерческую нагрузку. Программа минимум — установка счетчиков коммерческого учета электроэнергии». Для серьезного же анализа и оптимизации, по его мнению, необходимо, по крайней мере, замерять потребление всех нагрузок по группам (например, для чиллеров, шкафных кондиционеров, пароувлажнителей, освещения, вентиляция, бытовых розеток и прочих потребителей, если необходимо), причем снимать показания хотя бы раз в 5 мин.

«Точные данные по общей энергоэффективности могут быть получены путем сопоставления данных учета электроэнергии на входном ГРЩ с суммарным потреблением по показаниям интеллектуальных розеточных модулей (PDU) в стойках, — уточняет Александр Кюн. — Более детальную информацию для анализа представляют результаты измерений энергопотребления по отдельным розеткам PDU. Их сопоставление с данными о вычислительной мощности соответствующих серверных систем позволяет выбрать наиболее энергоэффективные модели серверов».

ЗАМЕНИТЕЛИ PUE

PUE — весьма полезная метрика. При правильном использовании она помогает улучшить энергоэффективность центра обработки данных и сэкономить немалые суммы на счетах за электроэнергию. Однако, как и любой интегральный показатель, он упускает из виду многие немаловажные детали. Снижение показателя PUE говорит прежде всего о повышении эффективности инженерных систем. Улучшение же показателей потребления самих ИТ-систем может привести к ухудшению значений PUE!

Например, благодаря закрытию коридоров, применению ИБП с высоким КПД и другим мерам удалось снизить значение PUE. И тут ИТ-отдел решает обновить имеющиеся системы и взамен прежних установить серверы последнего поколения. В результате общая вычислительная мощность серверов и, соответственно, производительность приложений возрастают, тогда как суммарное потребление ИТ-оборудования может упасть, поскольку поставщики серверов также активно внедряют энергосберегающие технологии. Это, как говорит Александр Кюн, вызывает непоказательный рост PUE, поэтому «для полноценного анализа оценка должна учитывать не только энергопотребление серверных систем, но и их вычислительную мощность».

Попытки ввести дополнительные метрики начались едва ли не одновременно с появлением PUE. Собственно говоря, одновременно с PUE, Green Grid предложила еще один показатель — эффективность центра обработки данных (Data Center Efficiency, DCE). И хотя он представляет собой всего лишь обратную величину к PUE, его смысл — что понимать под эффективностью ЦОД — вызвал еще большее недоумение, чем сам PUE, поэтому вскоре DCE был переименован в DCiE — эффективность инфраструктуры центра обработки данных (Data Centre infrastructure Efficiency). «Как и PUE, этот показатель полезен своей логичностью и понятностью для высшего менеджмента, — уверен Александр Кюн. — Он представляет собой процентное значение эффективности использования энергии, которое по мере повышения энергоэффективности стремится к идеальным 100%, чем напоминает знакомый всем показатель КПД — коэффициент полезного действия».

Еще в 2009 году Green Grid занялась разработкой нового коэффициента для определения продуктивности центра обработки данных, однако его формулировка вызывала множество споров, поскольку было неясно, что считать таковой, — в зависимости от бизнеса разные операторы ЦОД понимают «полезную работу» по-разному. «В гетерогенной среде очень трудно измерить продуктивность, — говорит Марк Монро, бывший исполнительный директор Green Grid. — Это как сравнивать яблоки, апельсины и… молотки». После пяти лет усилий Green Grid и другие рабочие группы все же смогли прийти к общему знаменателю, хотя числитель так и остался на усмотрение пользователей.

Новый показатель — энергопродуктивность центра обработки данных (Data Center Energy Productivity, DCeP) — определяется как отношение выполненной полезной работы к общему энергопотреблению центра обработки данных. Каждый пользователь может определить полезную работу так, как он ее понимает, — в соответствии с задачами своего бизнеса. Например, в случае ЦОД финансовой организации это может быть количество обработанных транзакций, для поисковой системы — число выполненных запросов и т. п.

Как видно, такое определение делает прямое сравнение между ЦОД, поддерживающими разные виды деятельности, невозможным, а в случае ЦОД, принадлежащих компаниям из одной отрасли, оно оказывается затруднено ввиду возможно различного понимания транзакций, запросов и т. п. Тем не менее в Green Grid надеются, что со временем в результате обмена мнениями отрасль гармонизирует показатели и тем самым избавится от несоответствий в сравниваемых величинах или, по крайней мере, сведет такие несоответствия к минимуму.

Помимо PUE, DCiE и DCeP, организация Green Grid предложила и ряд других метрик для измерения экологичности центров обработки данных — Green Energy Coefficient (GEC), Energy Reuse Factor (ERF) и Carbon Usage Effectiveness (CUE). GEC характеризует долю энергии из таких возобновляемых источников, как солнечные батареи, в общем потреблении центра обработки данных. ERF описывет, какая часть подводимой энергии экспортируется ЦОД. Как правило, это означает, сколько выделяемого тепла повторно используется для обогрева объектов за пределами ЦОД. CUE позволяет оценить общую эмиссию парниковых газов в зависимости от потребления ИТ-оборудования.

Green Greed не одинока в своем метрикотворчестве. Изобретателям велосипеда несть числа, они покушаются даже на священную корову — PUE. Так, например, рабочая группа по повышению энергоэффективности высокопроизводительных вычислений предложила сразу две новые метрики — эффективность использования энергии ИТ-оборудованием (IT-power Usage Effectiveness, ITUE) и эффективность использования общей энергии (Total-power Usage Effectiveness, TUE). ITUE по сути представляет собой PUE для ИТ-оборудования и определяется как отношение общего потребления ИТ-оборудования к потреблению вычислительных компонентов. ИТ-оборудование содержит вентиляторы, блоки питания, регуляторы напряжения, которые не производят вычислений. К вычислительным компонентам относятся процессоры, память, диски и т. п.

TUE определяется как произведение ITUE и PUE, то есть он представляет отношение потребления вычислительных компонентов к общему потреблению ЦОД. Иначе говоря, это PUE, в котором в общее потребление включаются все невычислительные компоненты. Авторы метрики приводят любопытный расчет, где показывают, что при PUE 1,6 показатель TUE может составлять 2,67. Иначе говоря, в действительности собственно на вычисления тратится меньше половины общего энергопотребления даже в сравнительно энергоэффективном центре обработки данных. Такой показатель, как TUE, был бы полезен для оценки полезности мер по повышению энергоэффективности серверного, сетевого и другого вычислительного оборудования, результаты применения которых, как отмечалось выше, PUE не позволяет отследить. Однако практическое, а не расчетное определение TUE представляется задачей, куда более сложной, чем измерение PUE.

Свою метрику, аналогичную DСeP, предложил eBay. Так называемая эффективность цифровых сервисов (Digital Service Efficiency, DSE) определяется как отношение выполненной работы к общему потреблению. Под полезной работой понимается число осуществленных транзакций. eBay как интернет-аукцион предоставляет два основных вида сервисов — продажа и покупка. Каждый запрос при сделках проходит через специфические URL — таким образом, транзакция может быть ассоциирована с URL. Текущее значение DSE можно посмотреть на сайте eBay. В данный момент, когда пишутся эти строки, оно составляет 34 158 URL на кВт×ч.

DSE не просто показатель, а целая методология для оценки эффективности результатов технической модернизации. Так, благодаря небольшому изменению кода удалось снизить объем необходимой памяти и, как результат, увеличить количество выполняемых сервером операций в единицу времени. В итоге общее потребление удалось сократить почти на мегаватт и избавиться от 400 серверов в ЦОД. Помимо DSE, eBay отслеживает и другие показатели для оценки эффективности потребления ресурсов — PUE (он равен 1,52), а также CUE и WUE (последний контролирует расход воды). Но и это не все: на контрольной панели отображаются также текущий доход от одного сервера (на данный момент он составляет около 38 тыс. долларов), от одного активного пользователя (около 17 долларов) и другие показатели (см. Рисунок 1).

Рисунок 1. На контрольной панели DSE аукциона eBay отображаются различные текущие показатели эффективности работы ЦОД.

И это далеко не все метрики, которые появились на рынке за последнее время (см. также врезку «Классификация альтернативных показателей PUE».). При таком избытке встает вопрос: какие метрики действительно необходимы? К сожалению, многие из них имеют мало отношения к российской действительности. Так, оценка эмиссии парниковых газов посредством CUE неактуальна, поскольку в России это никак экономически не регулируется. «WUE также не оценивается регуляторами, и поэтому как таковой значения не имеет, — объясняет Сергей Мищук. — Экономическая эффективность использования воды для охлаждения считается непосредственно и может быть выражена в рублях или процентах, а в самом WUE практического интереса не видно».

Использование «зеленой энергии» не стимулируется государством, и поэтому такие показатели Green Energy Coefficient оказываются неинтересны. По мнению Сергея Мищука, повторное использование энергии (и, как следствие, ERF) могло бы иметь смысл, если бы тепло для отопления стоило относительно дорого (не четверть стоимости электричества, а хотя бы половину) либо повторное использование тепла, выделяемого ЦОД, стимулировалось регуляторами. Пока же это имеет смысл только тогда, когда не требуются дополнительные затраты (то есть можно обойтись без теплового насоса — а это в основном обогрев соседних с машинным залом помещений) либо когда наблюдается дефицит тепла, а подводить теплосети дорого. В больших городах, где сосредоточено подавляющее большинство российских ЦОД, с теплосетями все более-менее в порядке. Введенный eBay показатель DSE целесообразен для проектов «полного цикла», когда одной компании принадлежат и ЦОД, и конечный бизнес и, помимо этого, имеется четкая метрика энергетической эффективности (URL/кВт×ч в случае еBay). К коммерческому ЦОД это не относится. Прочие же метрики, по его мнению, представляют собой скорее академический интерес.

ЛУЧШЕ PUE НИЧЕГО НЕ ПРИДУМАЛИ?

В целом отрасли ЦОД, во всяком случае ее российскому сегменту, как единогласно говорят опрошенные нами эксперты, вполне достаточно такого показателя, как PUE. Он широко используется как удобный инструмент для контроля энергоэффективности применяемых в инженерной инфраструктуре ЦОД технологий и технических решений. «PUE часто является одним из целевых показателей, включаемых в техническое задание на создаваемый ЦОД, — говорит Илья Царёв. — Проблемы возникают при некорректном использовании этого показателя, его неправильном понимании или при попытках спекуляций в его использовании». Однако для бизнеса, помимо PUE, полезными могут оказаться и другие метрики, такие как DSE и DCeP (см. также Таблицу 2).

Таблица 2. Ключевые KPI для измерения прогресса при оптимизации основных правительственных центров обработки данных в рамках инициативы Federal Data Center Consolidation Initiative.

Дмитрий Ганьжа — главный редактор «Журнала сетевых решений/LAN».