БРП и управление электропитанием

Блоки распределения питания (БРП), или Power Distribution Unit (PDU), как и следует из их названия, служат для распределения электропитания между потребителями. В мире ИТ электричество обычно очищается источниками бесперебойного питания (ИБП) и уже от них поступает на БРП, ну а основными потребителями выступают серверы и системы хранения данных. БРП могут служить для распределения питания на уровне этажа или, скажем, на уровне комнаты (машинного зала), но наиболее часто этот термин применяется к блокам, установленным в монтажной стойке или в шкафу.

Конструктивно БРП обычно выполнены в виде моноблочного устройства с необходимым числом электрических розеток (см. Рисунок 1). Они могут быть как однофазными, так и трехфазными (по входу) — выбор конкретного типа зависит от общей схемы построения системы электропитания на объекте. Чаще всего БРП устанавливаются в стойках вертикально, не занимая полезного монтажного пространства, — такие решения обозначают 0U. Но есть и блоки, размещаемые горизонтально, — они могут занимать одно, два и даже три посадочных места, юнита (1U, 2U, 3U). Большинство БРП имеют сетевой шнур длиной от 3 до 4,5 м, что позволяет устанавливать их практически в любом месте внутри корпуса стойки.

Рисунок 1. Конструктивно БРП обычно выполнены в виде моноблочного устройства с необходимым числом электрических розеток.

Хотя моноблочные БРП преобладают, на рынке представлены и модульные решения. Например, компания Emerson Network Power реализовала модульный принцип в блоках распределения питания Liebert MPX (см. Рисунок 2). По сути, это конструктор, который позволяет собрать решение под задачи конкретного проекта. Основные его элементы: шасси с шинами питания и управления, модуль ввода питания и розеточные модули. Шины могут быть как короткими (1035 мм), так и длинными (1880 мм), а розеточные модули — оснащаться розетками различных типов. Подобрав нужные компоненты, заказчик получает БРП, оптимально соответствующий его задачам — как по цене, так и по емкости и функциональности. Розеточные модули предусматривают возможность горячей замены, так что наращивание БРП можно осуществлять без отключения нагрузки.

Рисунок 2. Компания Emerson Network Power применила модульный принцип в блоках распределения питания Liebert MPX.

КЛАССИФИКАЦИЯ БРП

Основная классификация БРП основывается на их функциональном назначении (см. Таблицу 1). Базовые, или неинтеллектуальные, блоки ничем принципиально не отличаются от обычных бытовых удлинителей — разве что качеством изготовления, числом и типом розеток. В них не предусмотрено никаких средств для мониторинга электропотребления или управления энергоснабжением. Основная и, по сути, единственная задача этого класса БРП — предоставить достаточное количество розеток для подключения необходимого оборудования.

Таблица 1. Основные классы блоков распределения питания.

Рисунок 3. В трехфазных БРП группа из трех цифровых измерителей тока фиксирует уровень выходной нагрузки на каждую фазу.

Следующий класс, БРП с измерителями тока, позволяют визуально отслеживать общее энергопотребление (в амперах) подключенного оборудования. В трехфазных БРП группа из трех цифровых измерителей тока фиксирует уровень выходной нагрузки на каждую фазу (см. Рисунок 3). БРП этого класса способны контролировать уровень загрузки. Это позволяет не допустить перегрузки и заранее предпринять меры для переноса оборудования в другие стойки или повышения мощности системы электропитания. Но для считывания информации необходимо непосредственно посетить место установки оборудования, что может оказаться неудобным, например, если оно находится в удаленном месте.

Устранить это неудобство можно с помощью БРП с функциями удаленного мониторинга, которые позволяют через IP-сеть контролировать основные параметры энергопотребления из любого места. Для реализации такого контроля БРП подключается к сети передачи данных, обычно через интерфейс Ethernet, а предоставляемая ими информация может быть получена по протоколу SNMP, telnet или с помощью обычного браузера. Некоторые модули БРП этого класса позволяют контролировать нагрузку на отдельных розетках блока. Кроме того, такие продукты обычно поддерживают отправку предупреждающих сообщений для предотвращения возможных перегрузок и выхода оборудования из строя.

Рисунок 4. Для обеспечения отказоустойчивости в ЦОД системы электропитания часто организуются по схеме 2N, то есть с двумя независимыми лучами, которые «заканчиваются» на двух БРП в стойке с оборудованием.

Представители следующего класса рассматриваемого оборудования, их обычно называют управляемыми БРП, наряду с вышеперечисленными функциями обеспечивают возможность удаленного отключения/включения питания на отдельных розетках. Эта функция чрезвычайно полезна во многих случаях — скажем, для удаленной перезагрузки «зависшего» сервера или для отключения (в случае аварии) питания некритичного оборудования, например мониторов, чтобы продлить время работы от аккумуляторов критически важных серверов.

Для обеспечения отказоустойчивости в ЦОД системы электропитания часто реализуются по схеме 2N, то есть с двумя независимыми лучами, которые «заканчиваются» на двух БРП в стойке с оборудованием (см. Рисунок 4). На рынке также имеются БРП с возможностью раздельного подключение к электросети и источникам бесперебойного питания. При использовании таких БРП систему бесперебойного питания можно вывести из эксплуатации с целью обслуживания последней без прерывания работы подключенных к ней серверов или другого оборудования. Например, в подобных БРП компании Tripp Lite выбор источника электропитания для подключенного оборудования (между cетью и ИБП) осуществляется ручным переключателем со световыми индикаторами состояния (см. Рисунок 5).

Рисунок 5. В этой модели БРП компании Tripp Lite выбор источника электропитания (между cетью и ИБП) осуществляется ручным переключателем со световыми индикаторами состояния.

Ряд производителей расширили поддержку средств мониторинга своих БРП, предусмотрев возможность подключения к ним различных датчиков — например, температуры, влажности, открытия/закрытия двери монтажного шкафа. Таким образом, они представляют собой уже многофункциональные контроллеры, позволяющие решать задачи контроля температурно-влажностного режима, обеспечения безопасности и т. д.

Интересное решение для подобного мониторинга предлагает компания Aten. Наряду с возможностью подключения датчиков к интеллектуальным БРП, она предлагает также отдельный блок EC1000 для мониторинга состояния рабочей среды — измерения температуры, влажности и дифференциального давления циркуляции воздуха. При этом к нему могут подключаться до четырех неинтеллектуальных БРП, и в этом случае оказывается возможным контролировать еще и параметры электропитания по блокам розеток этих БРП (см. Рисунок 6).

Описание

Выбор того или иного типа БРП, конечно, зависит от особенностей объекта и решаемых задач. Например, как считает Игорь Калинин, директор по маркетингу компании «Колан», в серверную небольшого предприятия целесообразно устанавливать одноюнитовые БРП с возможностью удаленного управления электропитанием. Поскольку на таких объектах обычно не ставится задача максимально плотно укомплектовать стойку, то вместо БРП, которые не занимают посадочных мест (0U), но требуют наличия глубокого шкафа, вполне можно использовать блок 1U. Возможность удаленного отключения/включения питания может оказаться чрезвычайно полезной, например, чтобы системный администратор мог перезагрузить сервер из дома, а вот средства мониторинга не столь важны, поскольку вопрос энергоэффективности для относительно небольшой ИТ-инфраструктуры отходит на второй план.

В ЦОД масштаба большого предприятия (например, банка), по мнению специалиста «Колан», удобно контролировать электропитание по блокам, а параметры среды — датчиками в каждом шкафу. Наконец, для коммерческого ЦОД, где бизнес строится на продаже мест в стойке, Игорь Калинин рекомендует применять БРП с управлением и контролем каждой розетки. Это позволяет отслеживать потребление для каждого ИТ-устройства, удаленно включать и выключать его электропитание,

а также выставлять счета за пользование такой услугой.

ИНТЕЛЛЕКТ ВОСТРЕБОВАН

По прогнозу IMS Research, в ближайшие несколько лет рынок интеллектуальных БРП (то есть устройств с функциями мониторинга и управления) будет расти ежегодно на 18,3% и в следующем году его объем составит 500 млн долларов. Эти показатели роста примерно вдвое выше, чем у обычных (неинтеллектуальных) БРП.

Рост интереса к интеллектуальным БРП эксперты объясняют двумя основными факторами. Во-первых, все более важным, особенно для западных ЦОД, становится повышение энергоэффективности объектов. БРП предоставляют данные о реальном потреблении электричества оконечными устройствами, что позволяет оптимизировать как состав и характеристики системы электропитания, так и размещение нагрузки. Во-вторых, владельцам коммерческих ЦОД, даже если они не заботятся об энергоэффективности, важно знать реальное потребление, чтобы контролировать свои расходы.

Согласно данным IMS Research, ведущей тройкой на рынке интеллектуальных БРП являются компании Schneider Electric, Server Technology и Emerson, которым в 2011 году (более свежие данные отсутствуют) принадлежало 56,5% соответствующего рынка. Кроме того, к числу ведущих поставщиков БРП западные эксперты относят компании CyberPower Systems, Eaton, HP, Raritan и Tripp Lite. Список поставщиков БРП, конечно, не ограничивается указанными производителями, соответствующие продукты поставляет огромное число компаний. И перечень этот постоянно расширяется — в частности, за счет производителей СКС, которые начали предлагать интеллектуальные БРП как часть комплексных решений по управлению физической инфраструктурой.

ГДЕ И ЧТО ИЗМЕРЯТЬ

Из всех элементов системы электропитания БРП располагаются ближе всего к конечным устройствам, а потому позволяют получить наиболее точные данные по энергопотреблению. Эти блоки обычно выдают общие данные — в целом по стойке, но имеются и модели, способные информировать о нагрузке на каждую розетку.

«Оптимальным является контроль потребления на уровне стойки и на уровне каждого устройства, — говорит Алексей Волков, руководитель технической поддержки Tripp Lite в России, Украине и Белоруссии. — Контроль на уровне устройств позволяет оценить эффективность использования каждой единицы оборудования. А контроль на уровне стойки дает возможность прогнозировать тепловыделение и оптимально настроить систему охлаждения».

При всех своих преимуществах интеллектуальные БРП — это довольно дорогие продукты, а потому устанавливать их повсеместно (в каждой стойке) далеко не всегда экономически оправданно. Это признают и поставщики соответствующих решений. «Чтобы получить полную картину энергопотребления системы и ее энергетической эффективности, необходимо отслеживать все уровни — от точки ввода (ГРЩ) до точки потребления (серверы). Но такое решение будет неоправданно дорогим», — продолжает Алексей Волков.

Снизить стоимость можно, реализовав функции сбора данных уровнем выше — на ИБП, интеллект которых позволяет «снять» многие параметры. Но, как предупреждает Константин Соколов, начальник отдела технической экспертизы компании «Абитех», в ИБП, как правило, отсутствуют технические элементы, которые можно отнести к классу средств измерений (в силу недостаточной точности, несоответствующего метрологического обеспечения и др.), а те измерения величин тока, напряжения, частоты, которые выполняет ИБП, необходимы прежде всего его собственной системе управления для изменения режимов работы и для оценки корректности работы оборудования обслуживающим персоналом.

«Попытки многих заказчиков использовать ИБП в качестве регистратора параметров качества электроэнергии основаны на желании сэкономить на установке специальных приборов, которые могут стоить недешево, — говорит Константин Соколов. — Я против применения такого подхода, поскольку любую техническую задачу должны решать предназначенные для этого приборы и оборудование. Тем не менее поставляемые с ИБП системы мониторинга позволяют фиксировать события, происходящие с ИБП (отказ, переход на питание от батарей, смена режимов работы и т. д.), что дает заказчику возможность оценить состояние элементов системы электропитания».

Если задача сводится к определению энергоэффективности (PUE) объекта в целом, то для этого необходимо всего лишь измерить количество электроэнергии, потребляемой объектом от городской сети, и количество энергии, непосредственно затрачиваемое на работу ИТ-оборудо-

вания. Как справедливо замечает Константин Соколов, для этого совершенно не нужно выяснять, например, уровень фликера или величину нелинейных искажений напряжения, достаточно с заданной точностью измерить активную мощность. По его мнению, чтобы оценить PUE, хватит одного (или двух-трех — по числу вводов) прибора измерения мощности на входе и одного-двух (в зависимости от реализованной системы резервирования электропитания) аналогичных приборов на щитах, от которых запитано ИТ-обору-дование.

Задача усложняется, если к щитам бесперебойного питания вместе с серверами подключены, скажем, внутрирядные кондиционеры (доводчики). Тогда число точек измерения мощности существенно увеличивается, поскольку необходимо разделить питание системы кондиционирования (и отнести эту величину к остальным инженерным системам) и собственно питание серверов.

Измерять на вводах другие параметры (величину и длительность провалов напряжения, отклонения частоты и так далее) специалист «Абитех» рекомендует в тех случаях, когда имеются подозрения, что энергосетевая компания не выполняет свои обязательства по обеспечению требуемого качества электроэнергии. «Для этой цели следует применять средства измерения, имеющие соответствующее метрологическое обеспечение, поскольку только в этом случае протоколы измерений могут служить в качестве документального обоснования претензии», —

советует он.

Компания Schneider Electric предлагает технические решения для мониторинга параметров качества электричества и его потребления на разных уровнях, включая уровень ГРЩ и ИБП, а также различные типы БРП с измерением нагрузки вплоть до уровня отдельных розеток. Однако при выборе конкретного решения, как считает Андрей Ивашов, руководитель по развитию бизнеса «Решения для управления инфраструктурой ЦОД, DCIM» в регионе СНГ этой компании, большое значение всегда имеет финансовый бюджет, а также сложность модернизации «живой» инфраструктуры. В качестве одного из вариантов он предлагает организовать мониторинг электропитания на входе в объект, а измерение потребления и управление питанием производить на уровне серверов, программным способом, через их стандартные встроенные платы управления.

По мнению специалиста Schneider Electric, информация о потреблении ресурсов важна не только для контроля энергоэффективности, но и для точной оценки рисков. «Для зон с исключительно высокими требованиями к надежности и производительности можно прогнозировать максимальные значения потребления и оптимизировать размещение серверов таким образом, чтобы без рисков минимизировать неиспользуемые запасы ресурсов, — рассказывает он. — Эти ресурсы (мощность, охлаждение, места в стойках и т. д.) обычно стоят дорого, поэтому важно обеспечить их максимальную утилизацию, но без увеличения рисков. А это возможно только при доступности полной и точной информации о наличии ресурсов и их потреблении на уровне каждого сервера».

Как утверждает Андрей Ивашов, использование системы управления StuxureWare (относящейся к классу DCIM) позволяет приблизить уровень утилизации вплотную к проектным возможностям инфраструктуры. В случае наступления аварийных событий, например частичных отказов ИБП или систем охлаждения, это техническое решение может ограничить производительность на уровне отдельных стоек или групп, обеспечив автоматическую миграцию виртуальных машин и другие действия.

ПРИМЕРЫ ИЗ ПРАКТИКИ

А какова реальная ситуация с мониторингом энергопотребления на объектах? Как рассказал нам Дмитрий Канаев, технический директор компании Caravan, в ЦОД Telehouse Caravan энергопотребление отслеживается сразу на нескольких уровнях: начиная от уровня ввода и заканчивая уровнем отдельной стойки с оборудованием — причем на каждом из них используются разные решения. Так, на уровне стоек сбор и анализ данных осуществляется системой InfraStruXure Management компании Schneider Electric, а на уровне вводов ГРЩ и каждой отдельной гермозоны данные собираются с помощью специальной системы диспетчеризации и анализируются в системе мониторинга.

В ЦОД «Компрессор», как рассказывает Александр Ласый, заместитель директора департамента интеллектуальных зданий компании «Крок», на данный момент параметры электропитания контролируются на уровне ввода, ГРЩ и щитов бесперебойного питания. При этом установленная система мониторинга позволяет отслеживать перечисленные параметры вплоть до отдельных стоек и серверов. В соответствии с пожеланием одного из заказчиков, именно такой мониторинг реализован в одном из серверных залов. При наличии запросов подобный уровень детализации измерений может быть обеспечен и в других залах, цена вопроса — стоимость «интеллектуальных» БРП. Кроме того, в ЦОД «Компрессор» осуществляется и мониторинг всех систем силовой коммутации (подробнее об этом ЦОД см. статью автора «Инженерная инфраструктура ЦОД «Компрессор»» в октябрьском номере «Журнала сетевых решений/LAN» за этот год).

ИБП И БРП КАК ЗОНДЫ ТВР

Специалисты Tripp Lite считают, что наличие в элементах системы электропитания датчиков температуры и влажности — это большой плюс для потребителя, поскольку он может контролировать свою инфраструктуру без значительных затрат на внедрение отдельного контрольно-измерительного комплекса. Эта компания реализовала соответствующие функции и в БРП, и в ИБП: карты управления для обоих типов продуктов полностью идентичны и имеют разъем для подключения к ним датчика контроля параметров температуры и влажности. Более того, к основному датчику можно подключить еще до четырех дополнительных, работающих по схеме «сухой контакт». Это позволяет потребителю снимать посредством одного устройства сразу несколько различных показателей, и при этом и к ИБП, и к БРП будет подходить всего один коммуникационный кабель.

А вот Контантин Соколов из компании «Абитех» критически относится и к подключению к источнику бесперебойного питания высокоточных датчиков температуры и влажности, поскольку при этом ИБП начинает выполнять «несвойственную ему роль концентратора данных от различных средств измерений». По его мнению, намного надежнее использовать для этой цели контроллеры, к которым можно подключить измерители других физических величин: датчики напряжения, тока, частоты и других параметров электроэнергии. Специалист «Абитех» также отмечает, что широко применяемый для мониторинга ИБП и другого сетевого оборудования протокол SNMP не отличается высокой надежностью и не гарантирует доставку информации. По этой причине он рекомендует использовать промышленные протоколы передачи информации, защищенные от помех и обладающие большей надежностью доставки данных адресату.

Как рассказывает Андрей Ивашов, специалисты Schneider Electric не стремятся перенести дополнительные функции на элементы системы электропитания, но в то же время с точки зрения управления объектом не разделяют мониторинг электропитания и параметров рабочей среды серверов, так как пользователю важно выявить зависимости между ними. К стоечным БРП этой компании можно подключать внешние сенсоры контроля рабочей среды. Такие решения востребованы, когда есть возможность установки интеллектуальных блоков и не требуется физически «развязывать» управление питанием и мониторинг окружающей среды.

В ситуации, когда необходимы дополнительные функции, например детектирование движения, выявление утечки жидкости, видеонаблюдение и т. д., специалисты Schneider Electric рекомендуют решение NetBotz с широким набором сенсоров. При этом и стоечные БРП, и устройства NetBotz передают информацию в программные средства мониторинга StuxureWare и могут использоваться совместно.

Отдельные (от системы электропитания) решения для мониторинга параметров рабочей среды в местах размещения ИТ-оборудования (в монтажных шкафах, серверных залах и пр.) выпускают многие производители. Например, компания Delta для отслеживания температуры, влажности, задымления, попадания воды и несанкционированного силового проникновения предлагает комплексную систему Delta InfraSuite Environment Management System, состоящую из ПО Insight Manager, центральной станции EnviroStation и датчиков EnviroProbe. А функции мониторинга и управления электропитанием реализованы этой компанией на уровне ИБП, в статических переключателях байпаса, кабинетах и блоках распределения электропитания в рамках системы Delta InfraSuite Power Management.

ОБЩАЯ КАРТИНА

В идеале все средства сбора данных должны быть подключены к общей системе управления класса DCIM, которая бы представляла службе эксплуатации общую картину состояния инженерной инфраструктуры. Но на практике такие системы пока используются редко в силу их новизны и дороговизны. Да и сам термин DCIM еще не устоялся, поэтому разные поставщики подразумевают под ним отличающиеся по функциональности решения. До идеала еще далеко, и разные компании предлагают разные рецепты построения единой системы управления, но при этом рекомендуют не забывать про пользу узкоспециализированных программ.

Schneider Electric — один из немногочисленных поставщиков комплексных решений DCIM — заявляет о резком росте числа инсталляций таких систем в России (см. статью ««Взрыв» на рынке DCIM», опубликованную в декабрьском номере «Журнала сетевых решений/LAN» за 2012 год). DCIM-решение этой компании StuxureWare for Data Centers является платформой управления, которая включает ряд подсистем для мониторинга, причем эти подсистемы могут использоваться как отдельные продукты. Так, для мониторинга систем электропитания служат два продукта: Data Center Expert (ранее — Central) и Power Monitoring Expert. Первый продукт решает задачи, связанные с мониторингом «белых зон» (где стоит ИТ-оборудование), а второй — служит интерфейсом для контроля «серых зон» (с энергетическим оборудованием).

По словам Александра Савина, старшего инженера службы технического директора «Инелт», системы класса DCIM все чаще используются в практике работы этой компании на вновь возводимых объектах, однако с их внедрением связана масса проблем. «Поэтому даже в достаточно масштабных инсталляциях современных систем бесперебойного питания продолжают устанавливаться программы, предназначенные отдельно для отслеживания качества электропитания и отдельно для мониторинга оборудования электропитания и дизель-генераторов, — продолжает он. — Мы, например, используем программу UPSLook для мониторинга ИБП и всего, что связано с ними, и JSLook — для ДГУ. В большинстве случаев для нужд службы главного энергетика объекта оказывается удобно использовать эти небольшие стабильные программы».

Компания Tripp Lite поддерживает глубокую интеграцию своих систем ИБП и БРП в сложные системы управления ЦОД, для чего потребителю предоставляются все необходимые данные и библиотеки. Основной же инструмент, предлагаемый Tripp Lite для мониторинга и управления энергопотреблением, — это программный продукт Power Alert. Решение состоит из трех основных компонентов — Local (PAL), Shutdown Agent и Network Management Software, которые позволяют пользователю настроить контроль и управление как обычных настольных ИБП, так и системы энергообеспечения уровня ЦОД, включая кондиционеры и БРП. Потребитель может сам задавать уровни сигнализации и настраивать систему оповещения и рассылки уведомлений при наступлении определенных событий и критичных состояний, таких как превышение допустимых пороговых значений по току, температуре, влажности и т. д.

Как нам сообщил Евгений Моренко, руководитель проектов департамента проектирования и строительства «Оберон», эта компания предлагает решения SCADA/ERP для сбора и анализа данных, получаемых с точек мониторинга системы электропитания. «Основные задачи данных систем — повышение энергоэффективности и сокращение времени реакции обслуживающего персонала на разрешение различных аварийных ситуаций. Мы предлагаем также инструмент для предотвращения непредвиденных случаев и возможных поломок, — рассказывает он. — Эти системы содержат как текущую информацию, так и архивные данные. Они позволят создавать аналитические отчеты и вести журналы событий, а также предоставляют богатые мультимедийные возможности для своевременного оповещения службы эксплуатации в случае аварийных ситуаций».

В ЦОД Telehouse Caravan, наряду с системой мониторинга электропитания и температурно-влажностного режима (и то и другое обеспечивает APC InfraStruxure), используется специализированная система Naumen Inventory. Она учитывает, какое оборудование имеется в ЦОД, где оно расположено, как организованы соединения и каковы технические характеристики каждого устройства. «Эта информация помогает нам планировать изменения в ЦОД с учетом различных факторов, к примеру наличия резерва электропитания, — рассказывает Дмитрий Канаев. — Таким образом, в сочетании со средствами мониторинга электропитания система Naumen Inventory позволяет управлять технической инфраструктурой ЦОД и обеспечивать максимально эффективное потребление электроэнергии».

Возвращаясь к вопросам, связанным с БРП, отмечу, что, будучи, на первый взгляд, относительно простыми техническими изделиями, они (во многом благодаря месту своего размещения в непосредственной близости от ИТ-оборудования) оказываются привлекательным инструментом для выполнения широкого круга задач. В частности, это отличный зонд для сбора информации об энергопотреблении, температуре и влажности для комплексных систем управления инженерной инфраструктурой.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.