Автоматы выбора линии

Надежность системы распределения имеет решающее значение для надежности системы бесперебойного и гарантированного электроснабжения в целом. Использование автоматов выбора линии со статическим переключателем позволяет радикально увеличить общую надежность системы.

Предприятия и организации, чья деятельность зависит от функционирования центра обработки данных (Information Date Center, IDC), предъявляют повышенные требования к надежности всех его компонентов. Использование систем аварийного электропитания с применением источников бесперебойного электропитания (ИБП) и генераторных установок (ГУ) является ключевым фактором обеспечения стабильной работы такого центра. Поэтому различные аспекты построения систем бесперебойного и гарантированного электропитания (СБГЭ) на таких объектах должны быть тщательно продуманы с учетом всех особенностей информационных сетей. Крайне важное значение в этом случае приобретают соблюдение и корректная интерпретация правил, норм и стандартов проектирования, всеобъемлющий контроль качества всех работ, грамотная эксплуатация оборудования и своевременные регламентные работы.

Высочайшая надежность электропитания исключительно важна для центров данных — вместе с технологическим прогрессом растут и требования к показателю готовности системы. Еще недавно всех устраивал коэффициент 99,9% («три девятки»), сегодня это в среднем 99,99% («четыре девятки»), целью на будущее является достижение коэффициента готовности системы 99,9999% («шесть девяток»).

Как показывает опыт, надежность сегмента распределения электроэнергии (проводки, защитных устройств, шин, переключателей и т. д.) имеет решающее значение для надежности СБГЭ в целом: доля сбоев электропитания из-за подобных проблем намного выше, чем из-за неполадок в самих источниках питания (ИБП, ГУ или вводах трансформаторных подстанций). При этом надежность системы распределения не зависит от надежности сетей общего пользования. Особое внимание к сегменту распределения, а также использование в проекте современных автоматов выбора линии (АВЛ) со статическими переключателями позволяют радикально увеличить надежность СБГЭ и удовлетворить самым строгим требованиям, предъявляемым к центрам обработки данных.

Защита от неполадок в электропитании, обеспечение безопасности и контроль состояния окружающей среды — важнейшие обязанности руководителей центров данных. Безотказная работа энергосистемы в целом возможна только при автоматическом контроле всех параметров и превентивном устранении неисправностей, для чего необходимо глубокое понимание принципов и особенностей работы оборудования в условиях отказов.

Ниже мы предлагаем к рассмотрению схемы, в основу которых положен опыт по оснащению нескольких крупнейших европейских центров обработки данных, где установлено большое количество компьютерных систем, обслуживающих миллионы пользователей глобальной сети Internet.

НАДЕЖНОСТЬ АРХИТЕКТУРЫ ИБП

Современные технологии предлагают адекватное решение по обеспечению высоконадежного электропитания. ИБП защищают не только от отказов электрических сетей и магистралей, гарантируя непрерывность электропитания, но и от колебаний показателей качества электроэнергии. Так, ИБП с технологией двойного преобразования обеспечивают стабильность напряжения и частоты.

ИБП с двойным преобразованием AC/DC/AC ограждает от большего разнообразия электрических сбоев и помех, чем источник любой другой архитектуры: всю входящую энергию переменного тока (AC) управляемый выпрямитель преобразует в энергию переменного тока (DC), затем инвертор на выходе восстанавливает синусоидальный сигнал. Такая технология может обеспечивать и преобразование частоты. В нормальном режиме работы ИБП нагрузка получает энергию через инвертор и таким образом полностью отделяется от электрических сетей общего пользования, от любых искажений или помех, которые могут быть причиной сбоев.

В зависимости от конфигурации ИБП и система бесперебойного энергоснабжения имеют различный уровень надежности и набор опций; при этом наивысшего уровня надежности позволяют достичь сложные параллельные системы резервирования с помощью избыточных элементов.

Простейший базовый ИБП с двойным преобразованием (VFI) не имеет статического переключателя, ток проходит последовательно через выпрямитель и инвертор. Следует отметить, что производители ИБП уже не выпускают таких устройств. Исключение составляют только отдельные силовые модули для систем с модульной конструкцией.

Следующий этап эволюции ИБП активного типа — устройство со статическим переключателем. Оно может иметь дополнительный резервный ввод на случай отказа цепи «выпрямитель-инвертор» или для преодоления перегрузки. При использовании этих простейших типов ИБП повышение надежности достигается при помощи методов параллельного или последовательного резервирования.

Двумя основными и наиболее важными видами параллельных систем являются распределенная и централизованная архитектуры.

Распределенная параллельная система состоит из идентичных модулей со встроенным в каждый из них статическим переключателем для выбора линии. Система может быть оснащена байпасом, переключение на который производится вручную при ремонтных и регламентных работах. Такой выключатель имеет смысл применять для распределенных систем, где число моделей превышает два или три. В этой конфигурации сочетаются надежность и гибкость, а мощность наращивается простым добавлением новых модулей к уже подключенным.

Централизованная параллельная система состоит из модулей без встроенных блоков статических переключателей. Модули идентичны, а статический переключатель обычно размещается в отдельном специальном корпусе. Он рассчитан на полную номинальную нагрузку и подключается к резервному вводу системы. По сравнению с распределенной, такой системой легче управлять, а ремонтные и регламентные работы не слишком сложны. Именно поэтому наработка на отказ (Mean Time Between Failure, MTBF) у централизованной конфигурации несколько выше, чем у распределенной системы (см. врезку «Надежность системы распределения»).

Тем не менее такую систему нежелательно применять на объектах, где величина номинальной нагрузки (т. е. требуемая мощность) подвержена существенным изменениям (прежде всего росту) в течение срока эксплуатации ИБП. Поэтому централизованная конфигурация менее гибка.

АВТОМАТЫ ВЫБОРА ЛИНИИ

Значительный процент отказов электропитания на нагрузке вызван сбоями в сегменте распределения. Использование автомата выбора линии (АВЛ) со статическими переключателями дает возможность организации избыточного резервирования, т. е. электропитания от двух независимых источников. Устройства могут быть расположены максимально близко к нагрузке, поэтому надежность сегмента распределения (после АВЛ) существенно выше по сравнению со стандартной защитой при помощи только ИБП.

АВЛ обеспечивает управляемое переключение на резервное электропитание между двумя независимыми источниками электропитания переменного тока (два ввода, один ввод и ДГУ). Автоматическое переключение выполняется всякий раз, когда параметры электрической энергии в линии, снабжающей электропитанием нагрузку, выходят за пределы установленного диапазона изменения (по напряжению и частоте). Производимые вручную переключения контролируются логикой управления, дабы предотвратить опасные действия оператора. Функция «разрыв до соединения» (Break Before Make, BBM) гарантирует, что два ввода никогда не будут соединены друг с другом. Кроме того, переключение между двумя источниками питания может происходить как при синхронных, так и при асинхронных вводах.

ЗАЩИТА ЭЛЕКТРОПИТАНИЯ ОТВЕТСТВЕННЫХ ОБЪЕКТОВ

Чтобы добиться адекватной защиты электропитания и должного уровня готовности ответственных объектов, требуется соблюдать ряд основных принципов в отношении размещения систем электропитания, технологии и типов ИБП, а также правильно определить необходимую мощность источников.

Достижение наивысшей степени готовности возможно лишь при использовании надлежащей системы диагностики и профилактики неисправностей. Системы мониторинга позволяют осуществлять наблюдение за всей системой, включая сегмент распределения мощности. Для этого защитные устройства должны поддерживать связь друг с другом и с центральной станцией системы контроля и мониторинга, которая может быть размещена непосредственно на объекте или отдана на аутсорсинг.

Некоторые варианты проектов проиллюстрированы ниже. На Рисунке 1 приведен пример использования автомата выбора линии для особо ответственных нагрузок.

Две системы ИБП должны быть синхронизированы по выходным фазам и напряжению, чтобы переключение при помощи АВЛ между шинами электропитания производилось максимально быстро (от 3 до 5 мс). Еще одно преимущество такой конфигурации состоит в алгоритме, который АВЛ использует при коротком замыкании на выходе. В результате срабатывания расцепляющих катушек АВЛ переключается на «живой» источник, т. е. на исправно работающую шину.

Если короткое замыкание вызывает существенные колебания напряжения на одной из шин, то все блоки АВЛ автоматически переключаются на другую шину. Это означает, что установка блоков АВЛ после систем ИБП позволяет избежать потенциально разрушительных последствий коротких замыканий в линиях бесперебойного электропитания.

Если питаемые нагрузки можно подключать к двум фидерам электропитания, что часто предусматривается в современных серверах, то каждая линия питания подключается непосредственно к выходным шинам параллельных систем ИБП. АВЛ же нужен только для нагрузок с одинарным питанием.

При такой схеме обычно мощность каждой параллельной системы ИБП рассчитывается на питание полной нагрузки без избыточного резервирования. В дальнейшем такую архитектуру будем обозначать как «N + N + АВЛ» (необходимая мощность плюс необходимая мощность плюс АВЛ).

На Рисунке 2 приведена другая конфигурация одиночных систем ИБП и АВЛ с резервированием для особо ответственных нагрузок. Параллельная система ИБП (вместо нее может быть установлен одиночный ИБП) рассматривается в данной схеме как очень надежный резервный источник. Схема задействуется, только когда отказы происходят на одном или нескольких отдельных ИБП (ИБП 1, ИБП 2 и т. д.) или в подсистеме распределения. Номинальная мощность резервной системы рассчитывается так, чтобы она могла справляться с нагрузками при одновременном отказе нескольких отдельных ИБП. При этом допускается любая степень резервирования.

Согласование между выходами систем ИБП и резервной системы, как и в предыдущем решении, служит для обеспечения синхронного (а значит, безопасного и по возможности скорейшего) переключения АВЛ между источниками. Подчеркнем, что избыточность системы бесперебойного электропитания достигается без применения параллельных соединений (кроме резервной системы). В дальнейшем эту архитектуру будем называть «N+1+АВЛ» (N ИБП, необходимых для питания нагрузки, плюс одна резервная система плюс АВЛ).

СРАВНЕНИЕ НАДЕЖНОСТИ СИСТЕМ, ОСНАЩЕННЫХ АВЛ

Каковы же показатели надежности систем «N + N + АВЛ» (см. Рисунок 1 и 2) с использованием ИБП и АВЛ? Система распределения нагрузки получается разделенной на два участка: до и после АВЛ.

На Рисунке 3 показаны достижимые значения коэффициента готовности системы в случае установки статических переключателей и представлена зависимость коэффициента готовности от близости АВЛ к нагрузке (т. е. от сокращения количества устройств распределения на участке «АВЛ-нагрузка»). По горизонтальной оси откладывается наработка на отказ (MTBF) системы распределения нагрузки после АВЛ, которая увеличивается по мере сокращения участка и приближения АВЛ к нагрузке. Верхний предел — максимальная доступность и наивысший коэффициент готовности — достижим, если вероятность отказа на участке «АВЛ-нагрузка» равна нулю. Нижний предел — минимальная доступность — характерен для систем без применения АВЛ.

В качестве примера рассмотрим систему, реализованную в одном из центров обработки данных Италии, номинальной мощностью 4800 кВА (см. Рисунок 4). Система состоит из 12 автономных одиночных ИБП и параллельной централизованной системы из трех ИБП, которая предназначена для резервирования. При отказах любого из ИБП резервная параллельная система снабжает электропитанием соответствующую нагрузку после переключения АВЛ. На объекте установлены и «находятся на постоянном боевом дежурстве» 24 АВЛ, чем обеспечивается необходимая степень надежности электропитания. Мощность параллельной резервной системы рассчитана на электропитание нагрузки в случае одновременного отказа до шести автономных ИБП.

СРАВНЕНИЕ АРХИТЕКТУР

Обе архитектуры для электропитания центра обработки данных построены в соответствии с определенными принципами.

Системы «N + N + АВЛ» с двумя централизованными параллельными системами ИБП, каждая из которых рассчитана на полную нагрузку системы при всех работающих ИБП, имеют следующие особенности:

• нагрузка сегментирована на несколько пулов с двумя вводами;
• каждый пул может получать электропитание от двух полностью независимых шин питания А и В;
• если обе шины работают, нагрузка разделена поровну (или приблизительно поровну) между шинами А и В. Шины А и В для каждого пула подключены при помощи статических переключателей;
• каждый АВЛ получает электропитание от двух независимых параллельных систем ИБП. Приоритет выбора линии для АВЛ установлен таким образом, чтобы в нормальном режиме нагрузка распределялась равномерно между двумя системами ИБП;
• каждая система ИБП состоит из трех модулей мощностью AN;
• каждая система ИБП подключена к разным вводам (трансформаторным подстанциям).

Система «N + 1 + АВЛ» с N автономных одиночных ИБП и со встроенными байпасными линиями, каждый из которых подключен к приоритетному вводу (preferred source) статического переключателя отличается следующим:

• на входе АВЛ подключены к шинам A и B, а на выходе — к пулам нагрузки, описанным выше;
• неприоритетный ввод всех АВЛ подключен к шине В (централизованной параллельной системе ИБП с резервированием, состоящей из трех модулей мощностью AN. Номинальная мощьность автономного ИБП — AN/2);
• автономные ИБП и резервная система подключены к разным вводам (трансформаторным подстанциям).

Исходя из критериев достижения наивысшей надежности, при разумной стоимости и доступности компонентов, максимальный ток в одиночном статическом переключателе в большинстве случаев не превышает 3500 A (или 2400 кВА для трехфазных систем с номинальным напряжением 380 В). Статические переключатели большей мощности могут быть изготовлены по специальным заказам.

В рассматриваемом примере расчетная мощность системы — 4800 кВА. При использовании в архитектуре «N + N + АВЛ» стандартных ИБП мощностью 800 кВА потребуются две законченные «N + N» системы, каждая из которых состоит из двух централизованных параллельных систем, содержащих в свою очередь по три ИБП (итого шесть устройств на один «пул нагрузки» и 12 на объект). Вторая архитектура («N + 1 + АВЛ») потребует установки 12 автономных одиночных ИБП со встроенными байпасными линиями номинальной мощностью 400 кВА (или шесть ИБП по 800 кВА) и трех модулей централизованной параллельной системы с резервированием мощностью 800 кВА.

Обе архитектуры существенно различаются по размеру начальных капиталовложений: система «N + 1 + АВЛ» приблизительно на 20% дешевле, но архитектура «N + N + АВЛ» надежнее.

Кроме того, различия проявляются и в коэффициентах использования мощности ИБП (при более низких значениях снижается КПД, а значит, уменьшаются затраты на электроэнергию и кондиционирование помещений). В архитектуре «N + N + АВЛ» нагрузка полностью разделена между избыточными системами ИБП, и коэффициент использования мощности модуля (при условии, что все модули ИБП в нормальном режиме функционируют) составляет 50%. В архитектуре «N + 1 + АВЛ» одиночные модули обеспечивают 100% номинальной мощности, в то время как резервная система обычно работает при нулевой загрузке (разумеется, при отсутствии отказов). Следовательно, для вышеописанного случая коэффициент использования мощности составляет 66,67%.

Для расчета показателей надежности двух архитектур предположим, что обе системы «N + N + АВЛ» и «N + 1 + АВЛ» являются условно неремонтопригодными, вероятность отказа постоянна для каждого компонента, а различные подсистемы независимы.

Задачей вычислений является сравнение надежности только систем ИБП, поэтому для упрощения вычислений допустим, что внешнее электропитание всегда имеет оптимальные характеристики. Среди возможных отказов рассмотрим отказы батарей (в расчете приняты герметичные клапанно-регулируемые свинцово-кислотные АКБ с увеличенным сроком службы, согласно EUROBAT). Эта гипотеза вполне реалистична для случая резервирования основных вводов ИБП посредством генераторных установок с автоматическим запуском и времени автономной работы ИБП, достаточного для автозапуска.

Системный отказ определен как прерывание электропитания на любом одиночном пуле нагрузки. Двойная архитектура «N + N + АВЛ» имеет наработку до первого отказа MTTF (для любого одиночного пула нагрузки) 139103 ч (приблизительно 15,9 лет), в то время как архитектура «N + 1 + АВЛ» — 146103 ч (приблизительно 16,7 лет), т. е. на 5% выше. Фактически надежность обеих систем может считаться равной.

В реальных условиях эксплуатации системы, разумеется, ремонтопригодны, а MTBF (наработка на отказ) обеих систем варьируется в диапазоне до нескольких тысяч лет! В таких случаях показатели надежности архитектур «N + 1 + АВЛ» и «N + N + АВЛ» очень близки, однако применение системы «N + 1 + АВЛ» предполагает разумное и достаточно заметное сокращение капитальных вложений и более эффективное использование мощности ИБП.

Ремонтопригодность всегда является одним из ключевых факторов: чтобы получить коэффициент доступности «пять девяток» или «шесть девяток», система должна быть устойчива к сбоям оборудования (в том числе и к ошибкам персонала), а кроме того, необходимо обеспечить своевременный ремонт, пополняемость склада запасных частей и принадлежностей.

Наивысшая степень эффективности эксплуатации может быть достигнута при наличии систем удаленной диагностики, когда система мониторинга отслеживает любые отказы в элементах оборудования в реальном времени. Современные средства диагностики оборудования защиты электропитания выводят обслуживание и эксплуатацию ИБП на качественно новый уровень, когда все необходимые операции, в том числе удаленный контроль ИБП и АВЛ, выполняются вовремя и высокопрофессионально персоналом сервисного центра, с которым заключен соответствующий контракт.

ЗАКЛЮЧЕНИЕ

С точки зрения обеспечения электропитания центры хранения данных являются специфическими нагрузками, которые предъявляют повышенные требования к надежности электропитания — коэффициент доступности должен быть не менее 99,9999%.

Использование систем бесперебойного и гарантированного электропитания на базе ИБП и генераторных электростанций, разработанных по новейшим технологиям, — необходимое условие обеспечения нормальной работы IDC. Как показывает опыт, надежность подсистемы распределения питания существенно влияет на коэффициент доступности системы в целом. Подавляющее большинство отказов вызвано проблемами именно в системе распределения, нежели отказами непосредственно ИБП. Установка автоматов выбора линии электропитания на базе статических переключателей и особое внимание к сегменту распределения позволяют качественно улучшить общую надежность системы электропитания. Схема «N + 1 + АВЛ» — наиболее рентабельное решение, и она может рассматриваться как типовая рекомендованная архитектура для ответственных объектов большой мощности. Схему же «N + N + АВЛ» можно применять в качестве типовой архитектуры для систем малой и средней мощности.

Сергей Ермаков — сертифицированный специалист представительства Chloride в России. С ним можно связаться по адресу: expert@chloride.ru.

Надежность системы распределения

Статистические показатели MTBF для отдельных ИБП и параллельных систем приведены в Таблице 1. Эти значения получены в ходе многолетнего мониторинга ИБП CHLORIDE сервисными службами по всему миру и сервисными центрами удаленной диагностики LIFE.NET. В выборку включены ИБП с аккумуляторными батареями со сроком службы до 10 лет при условии, что среднее время восстановления системы (Mean Time to Repair, MTTR) равно 2 ч.

Таблица 1. Сравнение величины MTBF для различных систем ИБП. Таблица 2. Сравнение надежности сетей общего пользования и сегмента распределения.

Исследование с целью определения соотношения количества и продолжительности отказов и восстановлений электропитания из-за неполадок на участке до ИБП (сети общего использования, включая высоковольтные линии) и из-за неполадок на участке после ИБП (сети распределения электропитания во внутренних помещениях на объектах) показало, что на количество и длительность простоев оборудования, подключенного к СБЭ, не влияют плановые отключения или низкое качество электроэнергии в общественных электрических сетях, но они во многом зависят от показателя надежности сегмента распределения электропитания после ИБП.

Результаты исследований и расчетов приведены в Таблице 2. Уровень отказов для общественных электрических сетей и сегмента распределения будем считать постоянным. Среднее время нормальной работы системы между отказами обозначим как MUT (Mean Up Time), а среднее время восстановления после отказа (т. е. средняя длительность отказа) — как MDT (Mean Down Time). Под l понимается вероятность отказа.