ИБП на вырост

В условиях экономической нестабильности сегодня многие компании стремятся сократить капитальные затраты при реализации крупных ИКТ-объектов, но при этом хотят иметь современное и хорошо масштабируемое решение. Как достичь этого при построении одного из ключевых элементов инженерной инфраструктуры ЦОД — системы бесперебойного электропитания, мы постараемся разобраться в данной статье.

Дабы представить актуальные практические решения по построению хорошо масштабируемой системы бесперебойного электропитания (СБЭ), «Журнал сетевых решений/LAN» составил типовое техническое задание и попросил участников рынка (производителей ИБП и интеграторов) подготовить свои предложения.

ПОСТАНОВКА ЗАДАЧИ

Итак, некая компания (далее заказчик) строит коммерческий ЦОД. На первом этапе в эксплуатацию планируется ввести один зал на 60 монтажных стоек. Предполагается, что устанавливаемое в них оборудование первое время будет потреблять в среднем по 5 кВт (на стойку) — всего 300 кВт. За один-два года нагрузка может вырасти, что потребует увеличить электроснабжение зала до 500 кВт. Кроме того, в течение трех лет, если прогнозы заказчика относительно спроса на услуги КЦОД сбудутся, в эксплуатацию будет введено еще три таких же зала. Соответственно, через три года общая мощность ИТ-оборудования ЦОД может составить 2 МВт.

Заказчик просит:

Предложить ИБП для системы бесперебойного гарантированного электропитания ИТ-оборудования данного ЦОД. Он заинтересован в минимизации капитальных затрат, поэтому желательно, чтобы первоначально устанавливаемые системы ИБП обеспечивали мощность 300 кВт, и при этом решение должно масштабироваться до 500 кВт и далее до 2 МВт (с необходимой степенью резервирования — см. ниже).
Рекомендовать схему резервирования: N+1 или 2N (ЦОД должен соответствовать требованиям Tier III) обосновав причины выбора конкретной схемы.
Предоставить информацию по КПД предлагаемых ИБП при типовом уровне загрузки (40–60%) с учетом предложенной схемы резервирования и описанного плана наращивания мощности.
Предложить решение по измерению потребляемой энергии — на уровне ИБП — для мониторинга коэффициента PUE в процессе эксплуатации. Если же поставщик считает нецелесообразными подобные измерения на уровне ИБП, указать рекомендуемый вариант — например, на уровне шкафа (интеллектуальный блок распределения питания, БРП, или PDU) — и необходимые для его реализации продукты.
Если это входит в компетенцию поставщика, рекомендовать тип системы распределения питания от ИБП до стоек — на основе шинопроводов или обычных кабелей, а также предложить соответствующие продукты.

Мы сознательно упростили задачу, в том числе не включив в нее систему кондиционирования, для которой тоже требуются средства бесперебойного электропитания (в одних случаях для всей системы, в других только для ее части — все зависит от конкретной реализации). Однако несколько системных интеграторов («Техносерв» и «Электросистемы») учли в своих проектах, что системы бесперебойного электропитания должны, помимо ИТ, поддерживать еще и инженерное оборудование.

Специалисты «Техносерва» представили таблицу, где рассчитаны мощности не только систем кондиционирования и холодоснабжения, но и средств автоматизации и диспетчеризации, противопожарных систем, а также слаботочных систем. Ими были учтены системы вентиляции, освещения, розеточная сеть, резерв мощности, необходимый для заряда батарей (см. Таблицу 1).

Таблица 1. Исходя из заданной мощности ИТ-оборудования, специалисты компании «Техносерв» рассчитали для заказчика мощность остальных потребителей в ЦОД.

Но в рамках данной статьи мы сосредоточимся на анализе СБЭ.

СТАТИЧЕСКИЙ ИЛИ ДИНАМИЧЕСКИЙ

В постановке задачи не накладывается жестких ограничений на тип ИБП для ЦОД — это может быть как статический, так и динамический источник бесперебойного питания. Однако все компании представили нам проекты на базе статических источников.

Специалистами компании «Техносерв» была рассмотрена целесообразность построения системы на базе динамических дизель-роторных ИБП. Полная мощность объекта приближается к 3 МВт — на этих мощностях применение ДРИБП становится экономически эффективно. «Но если прогноз спроса на услуги ЦОД не оправдается, то решение с ДРИБП окажется неэффективным, а его стоимость — сильно завышенной по капитальным затратам», — отмечает Сергей Ращихин, главный инженер проекта департамента ЦОД этой компании. По его мнению, рассматривать применение ДРИБП следует в том случае, если вводимые на первом этапе мощности будут выше или вероятность указанного сценария развития близка к 100%.

Большинство компаний предложили решение, в котором изначально устанавливается ровно столько энергетического оборудования, сколько необходимо для реализации первого этапа. А далее при развитии ЦОД без отключения системы электроснабжения ее мощность планируется наращивать по мере необходимости. Поскольку на первом этапе нагрузка ограничивается 300 кВт, а на таких мощностях динамические ИБП неэффективны, то и выбор в пользу статики понятен.

«Выбранная схема электроснабжения должна быть максимально гибкой, при этом начальные капитальные затраты следует минимизировать, — советует Сергей Ращихин. — Конечно, ряд вложений все-таки сделать придется: проложить питающие шины, способные поддержать необходимую в будущем мощность, выделить место для последующего размещения оборудования, установить необходимые монтажные рамы, обеспечить резервы в распределительных шкафах. Такие мероприятия позволят заказчику

впоследствии безболезненно наращивать мощность ЦОД».

МОДУЛЬНЫЙ ИЛИ МОНОБЛОЧНЫЙ

Заказчик также не определил никаких ограничений на конструкцию ИБП — это может быть как модульный, так и моноблочный ИБП. Большая часть проектировщиков выбрали модульные источники, «Инжиниринговая компания Гулливер» предложила на выбор модульный или моноблочный. Главное достоинство модульного решения очевидно — это более гибкие возможности по наращиванию мощности. Но такие продукты, как правило, дороже моноблочных.

Андрей Соколик, системный инженер подразделения IT Business компании Schneider Electric, обращает внимание на такой аспект, как транспортировка ИБП на место установки: «В случае моноблочных ИБП необходимо предусмотреть соответствующие проемы, грузовой лифт и прочее. Предлагаемый нами модульный ИБП может быть доставлен на место поблочно: отдельно шкаф силовых модулей, отдельно шкаф батарейных модулей, отдельно шкаф ввода-вывода и механического байпаса. Силовые и батарейные модули поставляются отдельно на палете, что существенно облегчает задачу такелажников».

Единственным участником нашего виртуального тендера, который не указал конкретной модели ИБП, стала компания «Техносерв». Но при этом Сергей Ращихин представил наиболее подробные рекомендации по выбору источника бесперебойного питания. По его мнению, это должен быть модульный ИБП с возможностью параллельной работы и следующей функциональностью:

автоматическая диагностика состояния батарей;
звуковая сигнализация;
управляющее ПО в комплекте поставки;
совместимость с генераторами;
масштабирование по мощности и времени автономной работы;
функция самодиагностики;
зарядка батарей с температурной компенсацией;
ЖК-дисплей управления.

Как считает Сергей Ращихин, в настоящее время все ведущие производители выпускают оборудование с примерно одинаковыми (хорошими) характеристиками, поэтому при выборе ИБП необходимо также обратить внимание на то, чтобы в будущем для заказчика были гарантированы сервисное обслуживание и своевременный ремонт. Возможно, у заказчика уже есть корпоративный стандарт на применение оборудования конкретного производителя. Видимо, именно поэтому интегратор решил не навязывать продукты конкретной компании.

N+1 ИЛИ 2N

Большинство экспертов рекомендовали для резервирования ИБП схему N+1. Ясно, что чем выше уровень резервирования компонентов ЦОД (в схеме 2N он выше, чем в N+1), тем больше (хуже) его коэффициент энергоэффективности PUE. Кроме того, если система питания построена по схеме 2N, даже максимальная нагрузка на каждый луч составляет всего 50% от номинальной. Как отмечает Андрей Соколик (Schneider Electric), поскольку редко какие-либо ЦОД выходят на проектную мощность ИТ-нагрузки, реальная загрузка луча питания будет еще ниже и составит 30–40%, что существенно повышает требования к эффективности (КПД) ИБП при таком уровне загрузки.

Выбор схемы резервирования N+1 специалисты Schneider Electric обосновали еще и тем, что в предложенном ими для проекта модульном ИБП (Symmetra PX) зарезервированы практически все критически важные компоненты (блок управления, силовые модули, батарейные линейки), поэтому полный отказ ИБП представляется практически невозможным. Ясно, что варианты резервирования в случае применения модульных ИБП существенно расширяются, о чем подробно будет говориться ниже, в частности при представлении проекта Eaton.

А вот обоснование выбора схемы резервирования от Анатолия Маслова, старшего консультанта отдела продвижения и поддержки продаж R-Style: «Мы считаем, что в данном случае в СБЭ целесообразно применить резервирование N+1. Это позволит снизить капитальные затраты при соблюдении основных требований Tier III, а также упростить наращивание системы при вводе новых вычислительных мощностей и повысить ее КПД, так как при резервировании N+1 загрузка каждого ИБП системы больше, чем при 2N».

Подобные аргументы приводит и Сергей Ращихин («Техносерв»): «В предложенной нами схеме электроснабжения применен вариант системы бесперебойного электропитания с резервированием N+1 по одному плечу. Это позволит заказчику сэкономить средства (в отличие от схемы 2N), и при этом требования по надежности Uptime Institute будут соблюдены при условии, что система распределения питания к стойкам ИТ будет иметь два активных луча».

Заметим, что если на уровне ИБП для данного проекта преобладает схема N+1, то для построения системы распределения все компании, предусмотревшие решения для такой системы, дружно выбрали вариант с двумя активными лучами, то есть по сути 2N.

Единственным предложением, в котором предусматривается исключительно резервирование ИБП по схеме 2N, стал проект компании Chloride RUS. Как отмечает продакт-менеджер этой компании Максим Баканов, ввиду тенденции увеличения количества вводов электропитания как в блейд-серверах, так и в серверах обычной конструкции, а также в коммутаторах и другом активном сетевом оборудовании, такая схема представляется наиболее логичной.

Еще более высокую степень резервирования — 2(N+1) — предложила заказчику компания «Тесли». При этом условие резервирования N+1 в каждом плече питания обеспечивается на уровне одного резервного силового модуля мощностью 100 кВт в ИБП Conceptpower DPA 500 компании ABB/Newave.

Компания Eaton представила несколько вариантов схемы резервирования (см. ниже).

КАБЕЛИ ИЛИ ШИНОПРОВОДЫ

Для обоснованного выбора решения по распределению электропитания от ИБП до стоек с ИТ-оборудованием (кабель или шинопровод?) заказчик не предоставил всей необходимой информации — в частности, данных по архитектуре здания, геометрии помещений и т. п., на что резонно указывает Алексей Копнов, специалист компании «Электросистемы». Но при этом он отмечает, что «при прочих равных условиях для систем, работающих от напряжения 220 В, экономически целесообразнее использовать кабели — по стоимости, удобству и скорости монтажа».

Специалисты «ДатаДом» привели в качестве возможных оба варианта организации системы распределения: шинопроводы и кабели. «Современные системы шинопроводов включают полный набор технических решений для распределения электроэнергии на средних и малых мощностях, — отметил Михаил Никишин, инженер-проектировщик систем электроснабжения «ДатаДом». — Шинопроводы эстетичны, удобны при монтаже, но и дороже аналогичных решений на базе не содержащих галогенов кабелей».

Специалисты «Техносерва» тоже указывают, что в задании недостаточно информации для выбора решения для распределения электропитания от ИБП до БРП. Но Сергей Ращихин напоминает следующее: при использовании кабельных линий — что целесообразно, например, когда помещения машинного зала имеют непропорциональные размеры, присутствует много мелких помещений, они разнесены по этажам и т. д., — рекомендуется применять кабель класса не ниже нг-HF. Этот кабель с изоляцией и оболочкой из полимерных композиций, не содержащих галогенов, не распространяет горение.

С целью повышения привлекательности ЦОД для клиентов он предлагает рассмотреть возможность установки системы шинопроводов с функцией мониторинга (такая система неизменно производит впечатление на посетителей в ходе экскурсий в ЦОД). Подобное решение позволит получать информацию и текущие характеристики по всем элементам токораспределения в режиме реального времени, кроме того, его можно интегрировать в общую систему управления ЦОД с помощью стандартных сетевых протоколов.

Целый ряд компаний, в частности «Гулливер» и R-Style, однозначно рекомендовали заказчику шинопроводы. «Считается, что шинопровод — дорогое удовольствие, однако, исходя из нашей практики, можем сказать, что по стоимости система шинопроводов сопоставима с кабельной системой даже для небольших ЦОД, так как применение шинопровода позволяет сэкономить на распределительном щитовом оборудовании, — поясняет Илья Кузнецов, консультант отдела продвижения и поддержки продаж R-Style. — Это решение позволяет упростить и тем самым повысить надежность системы распределения питания за счет уменьшения числа возможных точек отказа. При этом ЦОД с шинопроводом значительно легче масштабируется — при добавлении стоек не нужно выполнять работы по прокладке кабелей внутри машинного зала».

Помимо эстетичности решений на базе шинопроводов, Максим Баканов (Сhloride RUS) отмечает и их несомненные преимущества с практической точки зрения:

возможность быстро добавить необходимое количество дополнительных отводов для подключения новых стоек;
отсутствие потребности в каких-либо строительных и сложных монтажных работах при расширении;
исключение из системы ГРЩ, что позволяет сэкономить место и средства;
меньшая трудоемкость монтажа (шинопровода) по сравнению с «протяжкой километров кабельных линий».

Специалист Сhloride RUS просит не забывать при этом о следующем: чтобы в будущем иметь возможность увеличить нагрузку в ЦОД до 500 кВт, выбранная модель шинопровода должна быть рассчитана на конечную мощность нагрузки. Руководствуясь теми же данными, необходимо подобрать и номинал защитных автоматических выключателей в отводных коробках шинопровода, а также мощность БРП в стойках.

ГДЕ И ЧЕМ ИЗМЕРЯТЬ PUE

Чем ближе к оконечному оборудованию производится измерение энергопотребления, тем точнее значение коэффициента энергоэффективности PUE. Поэтому неудивительно, что большинство участников нашего «тендера» посоветовали измерять энергопотребление на уровне стоек и, соответственно, укомплектовать их «интеллектуальными» БРП с измерительными модулями. Для измерения общей мощности, потребляемой всем ЦОД, приборы учета необходимо установить на вводных электрических щитах.

Например, специалисты R-Style для организации электропитания серверного и сетевого оборудования рекомендовали установить в каждую стойку два трехфазных БРП (с питанием от разных лучей) номиналом 16 А. Мощности этих БРП хватит при дальнейшем наращивании ЦОД до 500 кВт, когда среднее значение, приходящееся на одну стойку, вырастет до 8,5 кВт. Для контроля потребления электроэнергии на уровне стойки и для расчета PUE устанавливаемые БРП необходимо укомплектовать измерительными модулями с передачей данных по Ethernet. Если же в ЦОД будут размещаться укомплектованные оборудованием стойки клиентов, то отводные блоки шинопроводов достаточно оснастить измерительным модулем и подключить в общую систему учета. Поскольку многие вендоры на рынке предлагают подобные БРП, выбор конкретного производителя они посоветовали отложить до этапа разработки рабочей документации.

Специалисты Chloride RUS рекомендовали установить в стойки по два БРП с функцией мониторинга потребления электроэнергии на уровне каждой розетки, например устройства MPX от Emerson Network Power. В качестве ПО управления в ответе компании указана система Trellis того же производителя; она позволяет осуществлять мониторинг всех систем ЦОД, включая ДГУ и средства кондиционирования воздуха.

«Скорее всего, заказчика будет интересовать, как изменяется эффективность использования энергии по мере подключения нового оборудования и установки новых стоек, — предполагает Илья Кузнецов (R-Style). — Мы считаем, что наиболее полезным для анализа произошедших изменений в инфраструктуре ЦОД будет сравнение значений PUE, измеренных через определенные промежутки времени. Подсчет PUE удобнее организовать в ПО верхнего уровня комплексной системы мониторинга ЦОД».

Представители Eaton отметили, что в комплекте с ИБП они поставляют бесплатное программное обеспечение Eaton Intelligent Power Software. Оно позволяет одновременно «из одного окна» контролировать работу ИБП и ePDU (с функцией мониторинга) и получать данные с датчиков состояния окружающей среды. По их мнению, мониторинг энергопотребления нагрузки удобнее всего реализовать с помощью управляемых модулей распределения питания в стойках (Eaton ePDU), которые позволяют не только измерять энергопотребление (в кВт×ч), но и управлять каждой отдельной розеткой.

В своем предложении «Техносерв» рекомендует развернуть на объекте систему диспетчеризации (интеллектуальные БРП представляют один из ее элементов), которая будет в полном объеме информировать заказчика и потенциальных клиентов о всех характеристиках любой инженерной системы. Как отмечают специалисты «Техносерва», при наличии такой системы служба эксплуатации сможет задать необходимые триггеры для отправки оповещений, чтобы успеть своевременно отреагировать при потенциальной перегрузке цепей, способной привести к сбою ИТ-оборудования. Кроме того, наличие информации об использовании электроэнергии поможет принимать решения о балансировке нагрузки и выборе оптимальной конфигурации ИТ-системы во время многоэтапного ввода нагрузки, что, в свою очередь, положительно скажется на эффективности решения в целом.

Помимо решения с интеллектуальными БРП, Schneider Electric предложила и альтернативный вариант: установка простейших БРП (например, AP7553, 32 А, 230 В, zero U) совместно с панелью распределения питания PDPM277H, на которую и возлагаются задачи по измерению потребляемой мощности. Панель размещается в ряду со стойками (ее ширина 300 мм), а в саму панель устанавливаются модульные автоматы (до 24 шт.), причем в каждом модульном автомате — по три однофазных автомата. Таким образом, от одной панели можно запитать до 72 стоечных блоков распределения питания (максимальной мощностью 277 кВА). Каждый автомат способен измерять потребляемую мощность и отслеживать балансировку по фазам. Как отмечают специалисты Schneider Electric, такое решение позволяет гибко наращивать нагрузку (путем добавления дополнительных модульных автоматов или установки дополнительной панели). При этом установка модульных автоматов может быть выполнена в «горячем режиме» силами ИТ-персонала, что сокращает время устранения аварийных ситуаций. Предложенное оборудование имеет сетевые карты, поддерживающие протокол SNMP, что упрощает интеграцию оборудования в систему мониторинга ЦОД.

Но далеко не все считают необходимым массовое развертывание в стойках довольно дорогих интеллектуальных БРП. Михаил Никишин, инженер-проектировщик систем электроснабжения «ДатаДом», рекомендует измерение «честного» PUE выполнять на уровне распределительного шкафа, так как от ИБП могут быть запитаны, например, система противопожарной безопасности, аварийное освещение и т. д. Данные измерения можно выполнить как на базе интеллектуальных БРП, так и с помощью простых измерительных приборов. Второй вариант дешевле.

«Стоимость установки системы измерения PUE в режиме реального времени на уровне стоек несопоставима с возможным «призрачным» экономическим эффектом от данной системы. Более целесообразно с точки зрения затрат отдать проект на экспертизу на предмет энергоэффективности», — считает Алексей Копнов (компания «Электросистемы»). Он предлагает для оценки PUE — если такая задача ставится заказчиком — измерять энергопотребление на уровне ИБП, который располагает программными средствами для подобных измерений. Общий расход лучше измерять на выходе от трансформаторной подстанции, для чего потребуется установить необходимую систему мониторинга.

Специалисты «Гулливера» рекомендуют заказчику установить специально спроектированную автоматизированную систему оперативного диспетчерского управления (АСОДУ). Такие системы, насчитывающие до тысячи и более точек сбора данных, они часто применяют в своей практике. Одной из функций подобных систем как раз и является учет энергопотребления — как всего объекта в целом, так и отдельных его инженерных систем. «АСОДУ (при необходимости) может собирать информацию об энергопотреблении на уровне ИБП, стойки и даже отдельного сервера — если это действительно нужно», — отмечает Георгий Шишков, директор по продажам «Инжиниринговой компании Гулливер».

ДЕТАЛИ ПРОЕКТОВ: ИЗ ОТВЕТОВ КОМПАНИЙ

Chloride rus. По мнению специалистов этой компании, для решения поставленной нами задачи отлично подойдет параллельная система из ИБП Chloride 80-NET мощностью по 200 кВт (см. Таблицу 2), подключенная к общему статическому байпасу (Chloride MSS). Первоначально для нагрузки 300 кВт необходимо будет установить модуль Chloride MSS и два указанных ИБП. В связи с тем, что концепцией подразумевается схема резервирования 2N, подобных систем должно быть две. При необходимости увеличения мощности кластера (серверной) до 500 кВт необходимо будет установить по одному дополнительному ИБП Chloride 80-NET 200 кВт на каждое плечо. При этом модернизация никак не скажется на работоспособности ЦОД, так как при отключении одного плеча для проведения работ бесперебойное питание будет обеспечиваться по второму, и наоборот. Построение других кластеров ЦОД производится по аналогичной схеме и не имеет каких-либо значимых особенностей.

Таблица 2. Основные характеристики предложенных проектов.

При работе в режиме высокой эффективности Chloride 80-NET обеспечивает общий КПД до 98%. Если же качество сети либо пожелания заказчика не позволят использовать этот режим, КПД системы (в режиме двойного преобразования) все равно будет достаточно высоким. Как просил заказчик, Chloride RUS привел данные по КПД частично нагруженного ИБП — правда, только для уровня загрузки в 75%, при которой КПД равен 95%.

То, что централизованный статический байпас Chloride MSS изначально адаптирован к непосредственному подключению шинопровода, Максим Баканов считает весомым конкурентным преимуществом. При реализации данного проекта это позволяет сократить количество наименований дополнительно закупаемых материалов и ускорить монтаж.

Eaton. Этот производитель предложил заказчику решение на базе ИБП Eaton 9395. На начальном этапе рекомендован ИБП мощностью 450 кВА (408 кВт), который состоит из двух силовых модулей по 225 кВА. При этом кабели для подключения и автоматические выключатели лучше сразу выбирать в расчете на нагрузку 500 кВт. Когда возникнет потребность в большей мощности, данный ИБП можно программно увеличить до 550 кВА (500 кВт). Заметим, что программное ограничение мощности силовых блоков (на уровне 225 кВА при их номинальной мощности 275 кВА) позволит заказчику снизить начальные инвестиции, а затем, когда возникнет необходимость, просто повысить мощность без дорогостоящей аппаратной модернизации.

Среди преимуществ этого бестрансформаторного ИБП Сергей Амелькин, менеджер по продукту направления «Качественное электропитание» компании Eaton, отмечает его компактность и малый вес (1430 кг для ИБП на 550 кВА). Запатентованная технология Easy Capacity Test дает возможность протестировать ИБП при вводе в эксплуатацию на полную мощность без подключения внешней нагрузки, а технология трехступенчатого заряда батарей ABM — продлить срок их службы на 50%. В последующем систему можно легко расширить до 2 МВт путем добавления аналогичных ИБП в параллель по технологии HotSync.

Данная модель позволяет реализовать резервирование по одной из трех схем:

Резервирование по схеме N+1 на уровне силовых модулей. ИБП 9395 мощностью 675 кВА (612 кВт), состоящий из трех силовых модулей по 225 кВА, можно программно нарастить до 825 кВА (750 кВт), получив систему 500 кВт + 250 кВт (для резервирования). При дальнейшем увеличении мощности до 2 МВт нужно будет добавить еще два таких ИБП в параллель — получится система 2475 кВА (2250 кВт), при этом один силовой модуль будет обеспечивать резервирование.
Резервирование по схеме N+1 на уровне ИБП. Два ИБП 9395 мощностью 450 кВА (408 кВт) работают в параллель по технологии HotSync, в дальнейшем мощность каждого из них программно увеличивается до 550 кВА (500 кВт). Для обслуживания нагрузки 2 МВт потребуется добавить еще три ИБП 9395 550 кВА — получится система мощностью 2750 кВА (2500 кВт), при этом резервирование будет обеспечивать отдельный ИБП 9395 550 кВА (500кВт).
Резервирование по схеме 2N. Два независимых ИБП 9395 по 450 кВА, запитанные от разных вводов, обслуживают нагрузку по двум независимым лучам питания, в дальнейшем увеличение мощности производится описанным выше способом.

Если потребуется еще большая степень резервирования, то предложенные схемы можно комбинировать. Например, создать систему 2(N+1), установив на каждом независимом луче по одному ИБП 9395 мощностью 675 кВА (с резервированием на уровне модулей и возможностью программного увеличения мощности до 825 кВА).

КПД предложенного заказчику ИБП в режиме двойного преобразования составляет 94% при нагрузке более 50% (и достигает 94,5% при полной нагрузке). При этом запатентованная адаптивная система управления модулями (VMMS) позволяет увеличивать КПД системы при работе на неполную нагрузку за счет перевода в спящий режим части модулей. Таким образом достигается оптимальная загрузка работающих силовых модулей и КПД увеличивается до максимального значения в режиме двойного преобразования даже при нагрузках 30–40%.

Если заказчику требуется максимальная энергоэффективность, то он может активировать систему сохранения энергии (ESS), при которой значение КПД достигает 99%. Пока качество входной сети хорошее, нагрузка питается через цепь статического байпаса, при этом производится непрерывный мониторинг параметров. Как только параметры сети выходят за допустимые пределы, ИБП тут же переходит в режим двойного преобразования за время менее 2 мс.

Schneider Electric. Для решения поставленной задачи специалисты Schneider Electric рекомендовали источник Symmetra PX 325 kW с возможностью расширения нагрузки до 500 кВт. Увеличение мощности этого ИБП достигается путем добавления дополнительных силовых модулей (25 кВт на модуль). При возникновении потребности в наращивании нагрузки (до 2 МВт) параллельно к установленному ИБП подключаются дополнительные источники.

Предложенные этой компанией аккумуляторные батареи также являются модульными, что позволяет гибко наращивать время автономной работы ИБП, а также повышает надежность системы. В ответе компании приводятся следующие аргументы в пользу такого решения: «Предположим, что установлен классический (не модульный) ИБП, к которому подключены, например, три батарейные линейки. При выходе из строя одной из батарей мы теряем всю батарейную линейку. В рассматриваемом примере это означает снижение времени автономии сразу на 30%. В ИБП Symmetra PX выход из строя одной из батарей приводит к незначительному снижению времени автономии, так как в минимальной конфигурации у ИБП 16 батарейных линеек. Кроме того, следует отметить, что система управления ИБП сигнализирует о неисправности батарей и показывает точное положение неисправного батарейного модуля. Наконец, все силовые и батарейные модули могут быть заменены в «горячем» режиме силами ИТ-персонала ЦОД, что существенно сокращает время устранения неисправности (при наличии модулей в «холодном резерве»)».

По просьбе заказчика представители Schneider Electric привели данные по КПД системы Symmetra PX при частичной нагрузке: 94,8% при нагрузке 20% и 96,3% при нагрузке до 50%.

R-Style. Специалисты R-Style выбрали для данного проекта модульный ИБП Chloride Trinergy производства Emerson Network Power. На первом этапе предлагается установить систему Trinergy мощностью 600 кВА, которая состоит из трех модулей по 200 кВА — резервирование 2+1. На втором этапе к системе добавляется еще один модуль 200 кВА (или только силовая начинка, если на первом этапе уже будет установлен пустой фрейм). После данной модернизации серверная нагрузка может составлять 540 кВт с резервированием N+1. Далее, при решении заказчика строить еще машинные залы, СБЭ может развиваться двумя путями: распределенным (за счет дублирования систем первой серверной) или централизованным (за счет увеличения мощности первой системы). Система Trinergy может модернизироваться по любому сценарию.

Анатолий Маслов предупреждает, что решение на базе Trinergy не будет самым дешевым, однако благодаря достаточно недорогому резервированию и оптимизации затрат на аккумуляторные батареи путем централизованного или распределенного их подключения, оно становится интересным заказчику. «Мы не рекомендуем при выборе решения руководствоваться только минимизацией капитальных затрат, так как это ведет к увеличению операционных расходов, — отмечает он. — Предлагаемая система, с нашей точки зрения, оптимальна по затратам на разных этапах, при этом она обеспечивает лучшие на рынке показатели экономичности, надежности, масштабируемости, что особенно актуально при поставленной задаче постепенного ввода мощностей ЦОД».

В предложенном проекте стоимость резервирования будет равна 6,7% от стоимости системы после ввода всех серверных. К тому же заказчик может сэкономить на подключении и инсталляции. Система Trinergy может поставляться с пустыми фреймами, при этом все шинные и кабельные соединения будут произведены. В таком случае после инсталляции для ввода дополнительных мощностей будет необходимо только докупить и установить силовую начинку.

КПД любого ИБП зависит от выбранного режима работы. У системы Trinergy таких режимов три. Помимо обычных режимов двойного преобразования (IEC 62040-3 VFI) и экорежима с подачей питания через байпас (IEC 62040-3 VFD), этот ИБП поддерживает «режим высокой эффективности и стабилизации характеристик напряжения» (IEC 62040-3 VI). В этом режиме происходит стабилизация суммарного коэффициента нелинейных искажений на входе (THDi), коэффициента мощности нагрузки (PF), а также скачков напряжения; соответственно, КПД зависит от того, сколько энергии потребуется работающему в качестве активного фильтра инвертору для компенсации помех.

В обычных условиях КПД в этом режиме колеблется от 96 до 98%, в зависимости от типа нагрузки (линейная, нелинейная и т. п.) и состояния сети электропитания.

По просьбе заказчика специалисты R-Style представили КПД предложенного решения при загрузке 40 и 60%, причем сделали это для четырех ситуаций:

при очень плохом качестве входной сети — 95,5 и 95,7% соответственно (режим VFI);
при среднем качестве входной сети — 97,5 и 97,6% соответственно (адаптивный режим использования VFI, VI, VFD);
при хорошем качестве входной сети — 98% при любой загрузке (режим VI);
при отличном качестве входной сети — 99% при любой загрузке (режим VFD).

Средний КПД этого ИБП при эксплуатации в российских электрических сетях составляет 97,5%.

«Абитех». Компания «Абитех» предложила заказчику строить систему бесперебойного электропитания на базе ИБП GE TLE Series 320 (320 кВА/кВт), причем ее специалисты представили два варианта на выбор — с резервированием N+1 и 2N.

В первом случае для обслуживания нагрузки 300 кВт необходимо будет установить два ИБП по 320 кВА/кВт, резервирование N+1. В распределительных щитах требуется сразу реализовать возможность подключения третьего ИБП и обходного байпаса на 500 кВт (линия на 800 А). При росте нагрузки (до 500 кВт) к системе подключается третий ИБП, при этом сохраняется резервирование N+1. Дальнейшее наращивание (до 2 МВт общей мощности) получается мультиплицированием такой системы — путем построения второго, третьего и четвертого кластера из трех ИБП TLE320 и установки необходимых батарей. По мнению Константина Соколова, руководителя отдела экспертизы «Абитех», строить единую систему на 2 МВт — значит, сразу предусматривать чрезмерно мощное оборудование (ИБП по 500 кВА) и громоздкие и дорогие щиты на 3–4 кА.

Если заказчик выберет схему резервирования 2N, то на первом этапе ему также надо будет установить два ИБП по 320 кВА/кВт, но не в параллель, а отдельно. В каждом щите потребуется предусмотреть возможность подключения второго параллельного ИБП и обходного байпаса на 500 кВт (800 А). На втором этапе к каждому одиночному ИБП присоединяется второй — в параллель. В результате получаем две группы по два ИБП в каждой (на 640 кВА/кВт). Для питания нагрузки, имеющей только один блок питания, в стойках серверов предусматриваются тиристорные переключатели нагрузки STS производства GE.

КПД устройств серии TLE при нагрузке 50% в режиме двойного преобразования (VFI) — чуть более 96%. При активации режима eBoost КПД увеличивается до 99%, при этом, как утверждает Константин Соколов, сохраняется высокий уровень защиты нагрузки. В указанном режиме работа всех ИБП в параллельной системе осуществляется на байпасе с постоянным контролем качества сети — в случае проблем в сети переход на двойное преобразование происходит за время не более 2 мс.

«ДатаДом». На первом этапе (ИТ-нагрузка 300 кВт) специалисты «ДатаДом» предложили ввести в эксплуатацию три установленных в параллель ИБП по 200 кВА (180 кВт) — например, устройства NeuHause Optima 33200. Такой вариант обеспечит необходимый уровень резервирования N+1 с запасом мощности 20%. При увеличении нагрузки наращивание мощности будет осуществляться добавлением еще одного такого ИБП, что позволит обеспечить бесперебойное питание нагрузки 500 кВт с запасом мощности 7% при сохранении уровня резервирования N+1. При этом на первом этапе загрузка трех ИБП будет составлять 56%, на втором этапе загрузка четырех ИБП достигнет 69%.

«Гулливер». Специалисты «Инжиниринговой компании Гулливер» предложили заказчику два варианта: на основе модульного или моноблочного ИБП. Конкретный выбор должен быть сделан с учетом его «дополнительных пожеланий и ценовых предпочтений». Очевидно, что модульное решение дороже моноблочного.

Первый вариант предполагает установку ИБП ENTEL серии HPX модели HPX-P20 200 кВА (180 кВт). Для реализации схемы N+1 при нагрузке 300 кВт используются три таких агрегата. При увеличении мощности нагрузки до 500 кВт устанавливается еще один. Что касается последующего развития системы, то возможны оба варианта: как дальнейшее добавление ИБП в параллель (ИБП ENTEL серии HPX предусматривают возможность параллельного подключения до 8 агрегатов), так и организация отдельных систем для других залов — многое будет определяться спецификой объекта. Кроме того, как поясняет Георгий Шишков, возможно, что на момент принятия решения по другим залам появятся новые, более совершенные модели ИБП.

Второй вариант основан на модульных ИБП ENTEL серии IPS. На первом этапе предлагается инсталлировать кабинет IPS-M640CP, установив в него 10 модулей IPS-M40P на 40 кВА (34 кВт). При увеличении мощности до 500 кВт заказчик докупает еще один такой кабинет и 16 модулей: часть из них (три модуля) устанавливают в «старый» кабинет, остальные — в «новый». В результате получается два одинаково заполненных ИБП, которые можно объединить в параллель.

В целях повышения энергоэффективности специалисты «Гулливера» рекомендовали использовать в ИБП экорежим. Они приводят результаты эксплуатации ИБП ENTEL серии HPX с использованием этого режима на одном из объектов:

время переключения экорежима в режим двойного преобразования — 4,88 мс;
КПД устройств в экорежиме при нагрузке 50% — 98,7%;
КПД устройств в экорежиме при нагрузке 100% — 99%.

«Тесли». Решение, предложенное компанией «Тесли», основано на модульном ИБП ABB/Newave серии Conceptpower DPA 500. Как утверждает Игорь Горбунов, руководитель отдела продаж ИБП компании «Тесли», это единственный модульный ИБП, с помощью которого можно построить систему мощностью от 100 кВт до 3 МВт с шагом масштабирования 100 кВт. Как уже говорилось, заказчику рекомендована схема резервирования 2(N+1). При этом резервирование N+1 в каждом плече питания обеспечивается всего одним резервным силовым модулем мощностью 100 кВт. Для исключения критических точек отказа специалисты «Тесли» советуют использовать отдельную аккумуляторную батарею для каждого силового модуля 100 кВт.

КПД предлагаемого ИБП достигает 96,1% при типовом уровне нагрузки 50%.

«Техносерв». Сергей Ращихин, разработавший проект для заказчика, сертифицирован организацией Uptime Institute (Accredited Tier Designer Uptime Institute), поэтому в присланном решении неоднократно подчеркивается, что предложенная им схема построена с учетом требований Uptime Institute для Tier III — а это, несомненно, упростит сертификацию.

Источники бесперебойного питания предлагается выбрать модульного типа. Это значит, что на первоначальном этапе достаточно установить необходимое (для дальнейшего увеличения мощности) число шкафов, а модулей закупить ровно столько, сколько требуется для первого этапа (см. Рисунок 1). Для реализации второго этапа необходимо лишь докупить модули и установить их. Наращивание ЦОД до 2 МВт — на 3-м этапе — практически не затрагивает работу уже развернутого ЦОД.

Рисунок 1. Схема построение системы бесперебойного гарантированного электропитания, предложенная компанией «Техносерв».

В части оборудования дизель-генераторной установки (ДГУ) используется тот же принцип: на первом этапе, чтобы выполнить требования по надежности N+1, устанавливаются две машины, впоследствии при необходимости наращивания мощности их число увеличивается. ИБП и щитовое оборудование резервируются по принципу N+1, система распределения выполняется по двухлучевой схеме 2N.

Предложенный принцип модульности позволит заказчику после увеличения мощности также заменить и аккумуляторные батареи. Например, на первоначальном этапе можно установить АКБ чуть более низкого класса со сроком службы 3–5 лет, таким образом первоначальные затраты также будут снижены, а после развития ЦОД — установить АКБ с более высоким классом по характеристикам и сроку службы.

«Электросистемы». Специалисты компании «Электросистемы» решили дополнительно предусмотреть в своем предложении ИБП для питания инженерного оборудования, приняв, что оно будет потреблять примерно 70% от мощности основного (ИТ-) оборудования.

В решении компании используются ИБП производства Riello UPS. Для ИТ-оборудования предложены ИБП MHT 200-P (200 кВА, 180 кВт): на первом этапе устанавливается три таких агрегата (схема резервирования 2+1), на втором — добавляется еще один (3+1). Для бесперебойного питания инженерного оборудования устанавливаются ИБП MHT 160-P (160 кВА, 144 кВт): тоже сначала три, потом добавляется еще один.

На первоначальном этапе (300 кВт) нагрузка на ИБП в нормальном режиме будет составлять 56%. По данным производителя, КПД ИБП в режиме Тrue Оnline при нагрузке 50% составляет 94%. На втором этапе (500 кВт) нагрузка вырастет до 69%; КПД ИБП в указанном режиме при нагрузке 75% равен 94%. Данные по КПД ИБП для инженерных систем аналогичны.

Представители «Электросистем» указали в своем предложении ориентировочную стоимость решения. Затраты на первоначальном этапе составляют 470 194 доллара, а для доведения мощности до 500 кВт потребуется еще 139 398 долларов. Итого — затраты на построение системы бесперебойного электроснабжения машзала на 500 кВт равны 609 592 доллара. (Все данные приведены без учета стоимости монтажных работ.)

Как сказано в предложении компании, построение системы последующих машзалов экономически нецелесообразно увязывать с СБЭ первого зала. Общая мощность по машзалу составит порядка 1 МВА, что кратно мощности типовой трансформаторной подстанции (ТП), затраты же на новые ТП, щитовое оборудование и ДГУ целесообразнее разнести по времени. Тем более что последующие машзалы, вероятнее всего, будут территориально удалены от первого зала (другое крыло, другой этаж).

ЦЕНА ВОПРОСА

Итак, наш заказчик получил достаточно предложений по построению масштабируемой СБЭ, вполне соответствующей его требованиям. Можно сказать, что схемы таких решений уже хорошо обкатаны и стали во многом типовыми. Следующий шаг — оценка стоимости предложенных технических решений, а также затрат на эксплуатацию. Это уже выходит за рамки нашей статьи, но, полагаю, участники нашего виртуального тендера с удовольствием представят реальным заказчикам соответствующие данные.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.