Энергоэффективность и ИТ

На проходившем в Москве 30 и 31 мая форуме «Мир ЦОД – 2012» были представлены различные подходы к разработке, развертыванию и эксплуатации основных подсистем ЦОД — инженерной, сетевой и ИТ-инфраструктуры. Это третья конференция для ИТ-директоров и специалистов, прошедшая в подобном формате.

К 2020 году в ЦОД будут функционировать 25 млн приложений, а число подключенных устройств достигнет 31 млрд. Какими же станут центры обработки данных? Основные векторы их развития — энергоэффективность, производительность, безопасность и эффективное управление, считает Николай Местер, директор Intel в России по развитию корпоративных проектов. Вполне закономерно, что одной из центральных тем форума стала энергоэффективность — как ЦОД в целом, так и отдельных его подсистем.

ПРОИЗВОДИТЕЛЬНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Большое количество разработок в области ИТ-инфраструктуры и инженерного оборудования ЦОД нацелены на уменьшение потребляемой центрами данных электроэнергии и повышение эффективности ее использования, однако проблема сокращения энергопотребления по-прежнему стоит очень остро.

Рисунок 1. Энергоемкость типового ЦОД.

Как рассказал Павел Дмитриев, заместитель директора департамента интеллектуальных зданий компании «Крок», энергопотребление типового центра данных распределяется следующим образом: примерно 60% идет на основные процессы (ИТ), около 35% — на охлаждение, около 5% — на потери в ИБП, до 3% — на освещение и нужды прочих потребителей электроэнергии (см. Рисунок 1). В результате типичный коэффициент энергоэффективности PUE (отношение полной энергии, подаваемой на площадку, к энергии, потребляемой ИТ-оборудованием) составляет примерно 1,65–1,80.

По словам Вадима Сухомлинова, руководителя направления стратегического развития бизнеса Intel в России, с выпуском каждого нового поколения серверов возрастают их абсолютная производительность и энергоэффективность (см. Рисунок 2), чему способствует совершенствование процессорных технологий и сервисов Intel. «При разработке новых продуктов — процессоров, твердотельных дисков, сетевых адаптеров — Intel фокусирует внимание на производительности, энергоэффективности, надежности и TCO, причем новые процессоры отличаются еще и многоядерностью (Multi- и Many-Core). Твердотельные накопители SSD позволяют повысить производительность ввода/вывода и энергоэффективность, а стандартизация сетевых подключений ведет к унификации межсоединения на основе 10GbE/ IB, — рассказывает Николай Местер. — Intel совершенствует технологический процесс, меняя его каждые два года, а в промежутках между этими изменениями переходит на новую архитектуру, что позволяет ежегодно выпускать новые процессоры».

Рисунок 2. С каждым поколением процессоров Intel повышаются производительность и энергоэффективность серверов.

Производительность процессоров увеличивается за счет уменьшения технологических норм (и, соответственно, увеличения количества транзисторов на кристалле), ускорения выполнения плохо распараллеливаемых задач (в этом случае тактовая частота одного вычислительного ядра повышается благодаря использованию технологии Turbo-Boost), усовершенствования в микроархитектуре и расширения набора команд (Advanced Vector Extensions, AVX). Технология Intel Turbo Boost 2.0 обеспечивает «разгон» отдельных вычислительных ядер, позволяя выполнять те или иные приложения быстрее (см. Рисунок 3). Так, например, процессор Intel Xeon E5-2690 может в результате работать более чем на 10% быстрее, хотя для этого требуется хорошее охлаждение.

Рисунок 3. Технология Intel Turbo Boost — эффективная производительность по требованию.

Использование СХД с твердотельными накопителями SSD способствует повышению производительности и уменьшению потребления электроэнергии. Производительность и эффективность SSD часто помогают снизить TCO. Смоделировать TCO можно на сайте http://www.snia.com. Применение SSD позволяет достигнуть того же быстродействия при меньшем количестве дисков (см. Рисунок 4).

Рисунок 4. Улучшение производительности при использовании SSD.

В ЦОД энергоэффективность ИТ нужно оптимизировать на всех уровнях (см. Рисунок 5) — от процессоров до приложений, причем для этого требуется платформенный подход. Сокращение хотя бы на 30% потребления электроэнергии ИТ-оборудованием в масштабах ЦОД очень заметно. В вычислительной системе примерно 31% мощности забирают процессоры, 26% — память, 11% — блоки питания, 5% — жесткие диски. Для снижения расхода электроэнергии уменьшаются технологические нормы и совершенствуется архитектура. Так, по данным Intel, переход с процессов 32-нм на 22-нм и применение трехзатворных транзисторов дают либо прирост производительности в 37%, либо сокращение энергопотребления более чем на 50%.

Рисунок 5. Локальная и глобальная оптимизация энергопотребления (по данным Intel).

На помощь приходят и другие инновационные решения. Технология Integrated Power Gates позволяет простаивающие ядра независимо друг от друга переводить в состояние практически нулевого энергопотребления и автоматически снижать последнее в периоды пониженной активности сервера. Функция Automated Low-Power States следит за нагрузкой в режиме реального времени и автоматически переводит процессор и память в состояние с минимально возможным энергопотреблением при текущем уровне нагрузки.

УПРАВЛЕНИЕ ЭНЕРГОПОТРЕБЛЕНИЕМ

Долгое время единственным средством повышения эффективности серверов в центрах данных была их виртуализация. Сейчас значительное внимание стало уделяться развитию средств управления. Так, аппаратное решение Intel Intelligent Power Node Manager с соответствующим ПО может отслеживать и управлять энергопотреблением серверов, стоек и рядов стоек. Управление потреблением электроэнергии позволяет увеличить плотность серверов в стойках и вместимость ЦОД.

Intel Intelligent Power Node Manager — продукт, распределенный по нескольким компонентам сервера. В нем применяются перечисленные выше технологии. Intel поставляет Power Node Manager в составе собственных платформ, на базе которых производятся серверы. Его возможности включают в себя контроль потребления энергии сервером, введение ограничения при необходимости и автоматическое снижение энергопотребления для сохранения работоспособности в случае сбоев, а также балансирование нагрузки для управления «горячими областями». Поэтому политики работы оборудования можно задавать в ПО более высокого уровня вплоть до уровня всего ЦОД.

«Такое прецизионное управление энергопотреблением серверов, управление нагрузками с учетом тепловыделения и энергопотребления представляет эволюцию ЦОД в абсолютно новом направлении, — подчеркивает Вадим Сухомлинов. — Intel стремится к интеграции средств управления серверами и системами охлаждения в единую систему, способную комплексно оптимизировать энергопотребление».

Управление потреблением электроэнергии осуществляется на уровне системной платы и блока питания. Для сервера можно задать верхнюю границу: Power Node Manager «понимает», как электроэнергия распределяется между его компонентами, и гарантирует соблюдение ограничения. Если энергопотребление выходит за заданные пределы, Power Node Manager меняет частоту процессора и памяти и перераспределяет задачи между вычислительными ядрами.

Intel выпустила уже несколько версий этого продукта. Технология Intel Node Manager 2.0, встроенная в серверы на базе процессоров Intel Xeon E5, обеспечивает более точное отслеживание и тонкие настройки энергопотребления, быстрее принимает меры по ограничению питания (до 1 сек вместо 30 сек), осуществляет контроль за потреблением всего сервера и его компонентов (процессора и подсистемы памяти), управляет пиковым потреблением в момент высокой загрузки системы. Надежность системы повышается за счет ограничения нагрузки в случае перегрева блоков питания.

Продукт может использоваться для отслеживания актуальной температуры и уровня энергопотребления сервера, для управления максимальным потреблением в целях повышения плотности серверов в стойках и его автоматического снижения для обеспечения более длительной работы ответственного оборудования от резервных источников питания при сбоях, а также для применения ограничений для эффективного размещения нагрузок.

Так, например, компаниям China Telecom и Baidu с помощью Intel Node Manager 2.0 удалось до 40% увеличить количество серверов и на столько же повысить производительность в расчете на стойку; BMW и Oracle до 30% снизили потребление электроэнергии при сохранении уровня производительности, а Yahoo! сэкономила примерно 400 долларов на стойку благодаря уменьшению числа распределителей питания с управлением по IP.

Координировать энергопотребление в масштабе ЦОД помогает ПО Intel Data Center Manager (DCM). Оно дает возможность не только ограничивать потребление электроэнергии стойками и серверами, но и управлять им в пределах логических групп серверов, стоек и прочего оборудования (при условии поддержки соответствующих функций), а также получать отчеты о расходе электричества.

DCM представляет собой платформу с API для Web-сервисов, некое связующее ПО для управления режимом питания и температурой в ЦОД, легко интегрируемое в системы управления и использующее разные аппаратные протоколы (IPMI, SNMP, SSH, SHTTPS). Intel поставляет свой Power Node Manager (основу DCM) в виде готового решения, работает с поставщиками консолей управления над интеграцией соответствующих функций их программных продуктов и предлагает разработчикам Intel DCM SDK. Сейчас осуществляется интеграция DCM в мониторы виртуальных машин, средства инвентаризации, инструментарий планирования мощностей, планировщики задач и др.

Все перечисленное укладывается в общую тенденцию роста интереса к комплексным решениям управления инфраструктурой ЦОД (Data Center Infrastructure Management, DCIM). По данным Gartner, в 2011 году средства DCIM использовались только в одном центре обработки данных из ста, но к 2014 году этот показатель вырастет до 60%.

Такие инструменты будут очень полезны и для ЦОД следующего поколения, способных функционировать в режиме повышенной температуры (400С и выше). В одной из тестовых инсталляций c Intel DCM уже была достигнута 67-процентная экономия энергии благодаря повышению температуры в ЦОД до 330С. Ожидаемый выигрыш в полномасштабном ЦОД мощностью 10 МВт — 2,87 млн долларов. Как считает Вадим Сухомлинов, дальнейшая эволюция предполагает переход к «высокотемпературным» ЦОД (см. статью автора ««Глобальное потепление» в ЦОД» в майском номере «Журнала сетевых решений/LAN» за 2012 год).

ПОВЫШЕНИЕ ТЕМПЕРАТУРЫ В ЦОД

Как заметил Алексей Трофимов, консультант по корпоративным решениям Dell, одна из проблем современных ЦОД — увеличение энергопотребления при растущей стоимости электроэнергии. Вместе с увеличением энергопотребления растет и необходимость отводить тепло.

Компания Dell провела множество исследований воздействия климатических условий на компоненты вычислительного комплекса. В результате многочисленных испытаний и моделирования удалось показать, что для определенного набора серверов и систем хранения температура в ЦОД может достигать 35–450С при относительной влажности от 5 до 85%. Кроме того, были проведены дополнительные исследования по анализу влияния на оборудование загрязненного воздуха, пыли и влажности, близкой к океаническим условиям. Проверка температурного воздействия осуществлялась в статической «пыльной камере».

Результатом данных исследований стала разработка технологии Fresh Air. Компоненты вычислительного комплекса на базе Fresh Air могут использоваться при повышенных температурах совместно с технологией естественного охлаждения. Благодаря Fresh Air применимость последнего можно расширить и значительную часть времени охлаждать оборудование «воздухом с улицы». Технология предусматривает распределение потоков воздуха внутри оборудования во избежание перегрева компонентов. Она уже применяется в ЦОД Microsoft, Yahoo! и Google. В некоторых случаях PUE удалось снизить до 1,03.

По оценкам Dell, применение технологии Fresh Air позволяет ежегодно экономить 3–8 млн рублей на 1 МВт мощности, потребляемый ИТ-оборудованием, а экономия капитальных затрат составляет 90 млн рублей в год на 1 МВт. По информации Intel, такое сокращение капитальных затрат эквивалентно строительству ЦОД на 750 стоечных серверов высотой 1U.

В Dell считают, что технология Fresh Air будет востребована компаниями, где хотели бы повысить производительность и надежность компонентов вычислительной инфраструктуры или обеспечить внедрение новых быстро развертываемых моделей модульных и мобильных центров обработки данных, а также в случае использования свободного охлаждения (фрикулинга). С ее помощью оборудование сможет работать при повышенных температурах, а кроме того, она позволит понизить коэффициент PUE.

Увеличение температуры в помещении ЦОД повышает эффективность охлаждения, сокращает затраты энергии на охлаждение по сравнению со стандартными условиями, способствует более продолжительной экономичной эксплуатации оборудования. «В российских условиях применение Fresh Air совместно с фрикулингом позволит сэкономить огромные деньги в расчете на мегаватт мощности ЦОД, — убежден Алексей Трофимов. — В процессе эксплуатации не потребуется тратить дополнительные средства на системы охлаждения, их резервирование и потребляемую ими электроэнергию».

С 2007 года число устройств, входящих в линейку оборудования Fresh Air от Dell, увеличилось втрое, и сейчас в нее входят серверы PowerEdge R610, T610, R710, R620, R720, R720xd, M820, T620, R420, M520, R320, R520, M420, R820 и M620, системы хранения EqualLogic MD1xx и MD3xx, коммутаторы 7048R / 7048RA и 8024 / 8024F, PDU Dell 50C и монтажные шкафы Energy Smart. По словам Алексея Трофимова, через год этот список может удвоиться.

Как утверждают в Dell, вероятность отказа при повышении температуры незначительна. Отдельные компоненты внутри оборудования не нагреваются до уровня значений внешней температуры из-за компенсационной работы внутренних вентиляторов (в серверах PowerEdge). Однако повышение температуры в ЦОД предполагает эффективное разделение горячего и холодного потоков воздуха и применение средств контроля входного и выходного значений температуры для каждого сервера.

Решение Dell по управлению электропитанием Dell OpenManage Power Center обеспечивает мониторинг энергопотребления, выявление аномалий и задействование мощностей путем использования точных измерительных средств, встроенных в СХД, серверы и инженерную инфраструктуру ЦОД. Это решение интегрируется с Intel Node Power Manager и позволяет управлять серверами Dell и другими системами через контроллеры управления по протоколу IPMI, создавать логические группы по классам приложений для поддержки миграции задач в случае наступления заданных событий или по расписанию, формировать отчеты об энергопотреблении для групп стоек, рядов и залов (с целью последующего анализа), а также предусматривает возможность мониторинга оборудования — серверов Dell PowerEdge, устройств распределения питания (PDU) и ИБП.

«Fresh Air снижает риски для бизнеса, так как в случае отказа систем охлаждения оборудование Dell может сохранять работоспособность большее время», — пояснил Алексей Трофимов. Оно гарантированно работает до 90 ч в год при температуре 450C и относительной влажности до 90%.

Одним из главных показателей работы ЦОД является надежность вплоть до уровня таких компонентов, как оперативная память серверов. «90–95% ошибок в памяти проявляются в первые три месяца ее использования, после чего она служит до 20 лет, — рассказывает Вячеслав Дубенский, менеджер Kingston Technology по развитию бизнеса в России. — Поэтому Kingston искусственно «состаривает» память в специально созданных машинах — она сутки работает при 1000С и становится «трехмесячной». После этого из строя выходят только три из 10 тыс. модулей памяти». Компания уже 25 лет разрабатывает модули оперативной памяти и сейчас отгружает в день более миллиона единиц этой продукции, на которую предоставляется пожизненная гарантия (в России — 10 лет).

Сейчас производители микросхем памяти перешли на DDR3, а к 2014 году ожидается выпуск модулей памяти DDR4. Уже появились их тестовые образцы. Тактовая частота модулей памяти DDR4 достигнет 2133–4266 МГц, а планируемый диапазон потребления питания — 1,2–1,05 В против 1,25–1,35 В у DDR3.

Согласно прогнозам, в серверах популярным решением станет память LR-DIMM (LoadReduced), снижающая загрузку контроллеров. Новые модули LR-DIMM емкостью 16 (двухранковые) и 32 Гбайт (четырехранковые) позволят оснащать серверы оперативной памятью большей емкости без снижения быстродействия, и тем самым ликвидировать пробел между очень высокой емкостью компонентов и доступностью. Такая память уже используется на платформе Intel Romney.

НЕ ТОЛЬКО ИТ: «НЕСТАНДАРТНЫЕ» РЕШЕНИЯ

Как еще можно увеличить энергоэффективность ЦОД? Павел Дмитриев рассказал о том, какие решения использует системный интегратор «Крок» при создании собственных и коммерческих центров обработки данных, а также перечислил основные преимущества решений, пока еще достаточно редко встречающихся в российских ЦОД.

Потребители электроэнергии в центрах обработки данных условно делятся на три основные группы: серверное оборудование, климатическое и ИБП (потребляет электроэнергию при зарядке аккумуляторных батарей). Снижение энергопотребления последних двух групп увеличивает КПД ЦОД, повышает окупаемость инвестиций и сокращает затраты при эксплуатации. Максимальный выигрыш достигается при оптимизации затрат энергии на охлаждение, подчеркивает Павел Дмитриев.

Потери в ИБП можно корректировать, но они и без того не слишком велики. Кроме того, сейчас на российском рынке появляются ранее не использовавшиеся решения — например, динамические ИБП, не требующие дополнительных площадей для аккумуляторов и затрат на периодическую замену аккумуляторных батарей.

Динамический дизельный ИБП — это высокий КПД (около 97%), высокая надежность (моноблок), малые габариты, низкие эксплуатационные затраты и срок службы системы более 25 лет. Сейчас к таким ИБП присматриваются все больше компаний, которые занимаются строительством новых ЦОД.

Еще одно средство повышения энергоэффективности ЦОД — турбочиллеры. Они характеризуются минимальными затратами на обслуживание, поскольку нет износа движущихся частей, не требуется замена масла и т. д. Кроме того, гибкая система управления обеспечивает оптимальный режим работы при любой нагрузке. Для турбочиллеров характерны высокая эффективность при частичной нагрузке, минимальный уровень шума и низкие пусковые токи.

Если позволяет расположение ЦОД, сэкономить можно и путем использования воды из реки. Такой проект ЦОД на 12 МВт реализуется в настоящее время компанией «Крок» недалеко от Иркутска. Этот самый крупный коммерческий ЦОД региона будет получать электроэнергию от генератора ТЭЦ и использовать свободное охлаждение при температуре до +250С. Современные энергоэффективные технологии позволят довести коэффициент PUE этого центра данных до 1,25–1,35 зимой и до 1,35–1,60 летом.

В современных ЦОД инновационные решения применяются для увеличения КПД оборудования, сокращения числа фактических преобразований энергии, совмещения технологий (инжиниринг), уменьшения площадей для вспомогательных систем, повышения температуры холодного коридора, использования возобновляемых источников энергии, снижения совокупной стоимости владения. Однако рынок ЦОД консервативен, и путь новых решений на рынок зачастую оказывается долгим.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.