«МИР ЦОД. Инфраструктура – 2017». Тенденции и проекты

По данным 451 Research, которые привел на форуме Алексей Солодовников, управляющий директор в России и странах СНГ Uptime Institute, число ЦОДов в мире устойчиво растет и на текущий момент их насчитывается около 4,4 млн (см. рис. 1). Эксперты 451 Research к категории «ЦОДы» относят и небольшие серверные и коммутационные комнаты, в которых может быть всего несколько стоек. Общее число установленных в ЦОДах стоек составляет чуть более 13 млн штук, так что «среднестатистический» ЦОД, учитываемый аналитиками, состоит всего из трех стоек.

Подавляющее число ЦОДов в мире — корпоративные объекты, включая небольшие серверные. Однако в ближайшие годы рост числа корпоративных ЦОДов составит всего 1,5%, что существенно ниже показателей роста коммерческих ЦОДов категории MTDC (Multi-Tenant Data Center) — 4,3% и ЦОДов, используемых для предоставления облачных сервисов, — 12%.

Почти 95% электроэнергии, потребляемой всеми ЦОДами в мире, расходуется коммуникационными стойками (closet) и серверными комнатами (room). Но рост энергопотребления этих объектов незначительный: 2,1 и 1,5% соответственно, — тогда как энергопотребление мегаЦОДов (hyperscaler), по прогнозу 451 Research, будет каждый год увеличиваться в среднем на 20%.

Рис. 1. Рост числа ЦОДов в мире

Интересно отметить, что в США число стоек в корпоративных ЦОДах уже начало сокращаться: в среднем в период с 2015 по 2020 год снижение их количества составит 2,2% в год. Число же стоек в коммерческих ЦОДах стабильно растет: в MTDC — на 5,0% в год, в облачных ЦОДах — на 21,1% в год (см. рис. 2). Вывод очевиден: серверы из корпоративных ЦОДов переезжают в коммерческие. С небольшой задержкой тенденция к уменьшению числа стоек в корпоративных ЦОДах, несомненно, будет наблюдаться и в других регионах, включая Россию.

Рис. 2. Рост числа стоек в ЦОДах Северной Америки

Отрасль коммерческих ЦОДов в России успешно развивается. Так, ЦОД, возводимый АО «Концерн Росэнергоатом» рядом с Калининской АЭС, обещает стать одним из крупнейших в Европе. Как рассказал на форуме Алексей Гусев, руководитель проектов АО «Консист-ОС», общая мощность энергоснабжения этого ЦОДа составит 80 МВт, число стоек — 8000. На первом этапе планируется ввести в эксплуатацию два здания на 3200 стоек. По состоянию на май 2017 года были выполнены общестроительные работы, начаты монтаж и наладка инженерных систем. Оказание услуг на базе нового ЦОДа планируется в партнерстве с «Ростелекомом».

УПРАВЛЕНИЕ НА ОСНОВЕ БОЛЬШИХ ДАННЫХ

Одной из ключевых технологических тенденций, по мнению экспертов 451 Research, является то, что управление ЦОДами будет все больше опираться на данные, собираемые системами мониторинга, и будет становиться все более облачным. Иначе говоря, к современным системам управления DCIM будут добавляться технологии Больших Данных: в ЦОДах устанавливается все больше различных датчиков и «интеллектуального» оборудования, соответственно, объем собираемой информации существенно увеличивается, а технологии Больших Данных позволяют с максимальной пользой задействовать ее для текущего управления и планирования развития объекта. Более того, системы DCIM все чаще берут на обслуживание сервис-провайдеры, которые собирают данные от большого числа ЦОДов. Анализ таких данных еще более расширяет возможности для прогнозирования и планирования.

С этим согласен и Алексей Соловьев, системный архитектор Schneider Electric: «Собирая данные от большого числа ЦОДов, можно выявить тенденции, которые на основе данных одного ЦОДа не увидишь». В новой архитектуре EcoStruxure, предлагаемой Schneider Electric, предусмотрен облачный подход к сбору и анализу Больших Данных из ЦОДов. Соответствующие решения «повышают цифровую прозрачность ЦОДов» за счет аккумулирования всех доступных данных, а средства их анализа позволяют оптимизировать и повысить уровень доступности ЦОДов. При этом современные технические решения способны собирать данные почти со всех элементов ЦОДа, включая даже пассивные системы распределения, различные трубопроводы и пр.

Современные системы мониторинга и управления инфраструктурой, например DCIM и AIM, позволяют вывести на новый уровень процессы автоматизации обслуживания ЦОДов, снизить вероятность ошибок, связанных с человеческим фактором, повысить надежность и гибкость объекта. Проекты по внедрению таких систем представили на форуме «МИР ЦОД» компании «МТС» и «Ростелеком» (см. врезку «DCIM в «Ростелекоме»»).

По словам Александра Ежова, руководителя группы инженерно-технического обеспечения ЦОДов МТС, внедрение системы AIM позволило сократить время восстановления при авариях на бизнес-критичных системах с 1 ч до 5 мин, а время выполнения заявок — с 2 ч до 10 мин. «Это очень важные аргументы в пользу покупки такой системы», — заявил он.

ИНДУСТРИАЛИЗАЦИЯ И ОТКРЫТЫЕ АРХТЕКТУРЫ

Из всех прогнозов 451 Research Алексей Солодовников выделил еще одну важную тенденцию — это стандартизация и индустриализация ЦОДов. Речь идет о все более широком применении модульных ЦОДов и решений высокой заводской готовности — в среде специалистов их называют «префабами» (от англ. prefabricated). По данным 451 Research, этот рынок, объем которого в 2016 году составил примерно 2,4 млрд долларов, будет расти на 22,4% в год (см. рис. 3). Примечательно, что в России активно работают отечественные производители модульных ЦОДов и префабов.

Рис. 3. Рост рынка модульных ЦОДов и решений высокой заводской готовности

«С выходом поставок модульных и префаб-решений на определенные объемы их себестоимость падает. Если несколько лет назад они были примерно в два раза дороже традиционных ЦОДов, то сейчас их стоимость сравнялась», — говорит специалист Uptime Institute. Среди многочисленных плюсов обсуждаемых решений он отмечает хорошо просчитанные и предсказуемые характеристики, а также существенно меньшее время реализации проектов.

По мнению Алексея Солодовникова, уже в ближайшее время серьезное влияние на развитие рынка ЦОДов окажут открытые архитектуры, разрабатываемые в первую очередь в рамках проектов OCP (Open Compute Project) и Open19. Использование соответствующих технических решений позволит существенно снизить себестоимость создания ЦОДа. Эксперты полагают, что решения OCP и Open19 будут сначала применяться в мегаЦОДах, а затем найдут применения и на ИКТ-объектах меньшего масштаба.

ДЕЦЕНТРАЛИЗАЦИЯ

Для первых лет бума отрасли ЦОДов были характерны процессы централизации ИТ-ресурсов, когда ИТ-системы и данные из множества небольших региональных малых ЦОДов и серверных переводились в единый центр. Однако сейчас ситуация меняется.

«Еще недавно наша отрасль была уверена в том, что вся компьютерная мощь будет в итоге сосредоточена в облаке. Однако текущие тенденции показывают, что маятник стал смещаться в обратную сторону — к созданию децентрализованных гибридных компьютерных экосистем», — отмечает Алексей Соловьев из Schneider Electric. В качестве примера он приводит компании Microsoft, Dropbox и Netflix, которые, чтобы быть ближе к клиентам, пошли по пути создания сети небольших распределенных ЦОДов.

Типичная (централизованная) архитектура облачных ЦОДов имеет свои недостатки, связанные с запаздыванием реакции на запросы конечных пользователей (ими могут быть не только люди, но и умные вещи), с ограниченной пропускной способностью каналов связи, а также с необходимостью выполнения различных нормативных актов (например, хранение персональных данных граждан страны на ее территории). Все это стимулирует развитие сети небольших региональных ЦОДов.

Кроме того, на развитие отрасли ЦОДов существенно влияют изменения, связанные с необходимостью поддержки огромных объемов данных и процессорных мощностей для обработки информации, порождаемой Интернетом вещей (IoT). Как полагает Алексей Соловьев, мы движемся по пути разделения функций между централизованными и распределенными ЦОДами. Ядро все же составят большие облачные центры обработки данных, но они будут активно дополняться сетью распределенных небольших ЦОДов.

ЭНЕРГОЭФФЕКТИВНОСТЬ НА ДЕЛЕ

Вопросы энергоэффективности из теоретической плоскости переходят в практическую, позволяя снижать не только операционные, но и капитальные затраты. Передовиками здесь выступают такие интернет-гиганты, как Yandex. В отличие от обычных коммерческих и корпоративных ЦОДов, сфокусированных на решении сиюминутных задач, у интернет-гигантов есть возможность «думать о будущем», да и экономия от применения энергоэффективных инноваций с учетом масштабов их ЦОДов получается весьма значительной.

Егор Карицкий, руководитель инфраструктурного отдела «Яндекса», представил на форуме новый ЦОД «Владимир». В нем реализован прямой фрикулинг без применения традиционных кондиционеров и чиллеров. «Такое решение проще и дешевле, причем сокращаются как капитальные затраты (не надо устанавливать дорогие кондиционеры), так и операционные (меньше расходы на электропитание). При этом нормальная работа ИТ-оборудования обеспечивается даже при температуре воздуха на улице +38°С», — отметил он.

Следует заметить, что компании Yandex проще решиться на такие революционные подходы к охлаждению, поскольку она не отягощена «зоопарком» ИТ-оборудования, а используемые серверы разработаны именно под задачи компании. Егор Карицкий отмечает два основных преимущества такого оборудования: во-первых, в нем реализована улучшенная схема управления воздушными потоками, что повышает эффективность охлаждения, а во-вторых, оно удобнее и безопаснее в обслуживании. Последнее обстоятельство очень важно с учетом того, что в ЦОДах компании установлено более 100 тыс. единиц серверного оборудования.

Многие эксперты полагают, что со временем бескомпрессорные и бесчиллерные системы охлаждения будут применяться и в обычных ЦОДах. И уже есть «первые ласточки». На форуме «МИР ЦОД» Александра Эрлих, сеньор-консультант компании Cabero, представила проект по внедрению решения на основе испарительного охлаждения для одного из залов коммерческого ЦОДа DataPro в Москве.

На объекте установлен драйкулер Cabero производительностью 130 кВт, охлаждающий проходящую через него жидкость. Летом пиковые нагрузки снимаются с помощью испарительной системы Cabero, ламели которой изготовлены из легированного алюминия. Система испарительного охлаждения работает под высоким давлением, что повышает эффективность очистки аппарата.

Но вернемся к проекту ЦОДа Yandex. Инновационными в нем являются решения не только для охлаждения, но и в области электропитания. Компания отказалась от традиционных ИБП и ДГУ. Это оказалось возможным благодаря тому, что в ЦОДе «Владимир» применяется подключение 110 кВ, уровень надежности которого существенно выше, чем у систем 0,4 и 10 кВ (см. таблицу). Смелая схема без дизелей предусматривает лишь кинетические модули: они способны держать нагрузку до 8 с и убирать кратковременные флуктуации.

Характеристики сетей различного напряжения (таблица составлена на основе данных, приведенных Yandex)

ЦОД КАК ЭНЕРГООБЪЕКТ

Оплата электроэнергии — главная статья текущих расходов практически любого ЦОДа. Своими рекомендациями относительно того, как можно сократить эти расходы, поделился на форуме Кирилл Юрьев, советник генерального директора компании «Транснефтьэнерго».

Конечная цена на электроэнергию складывается из трех составляющих: цена покупки электроэнергии на оптовом рынке, цена услуг по ее передаче и сбытовая надбавка. В качестве ориентировочного соотношения этих составляющих Кирилл Юрьев привел данные по одному из проектов для Центрального региона России: 49, 47 и 4% соответственно.

Неравномерное распределение генерирующих мощностей по территории страны приводит к тому, что оптовые цены в Сибири (вторая ценовая зона) существенно ниже, чем в европейской части страны (первая ценовая зона). В 2015 году они в среднем составляли 914 и 1153 рубля за 1 МВт×ч соответственно. В рамках одной зоны оптовые цены тоже распределены неравномерно: так, в Северо-Западном регионе (1025 руб. за 1 МВт×ч) цена значительно ниже, чем в Центральном (1197). Очевидно, что при выборе места размещения ЦОДа эти обстоятельства следует учитывать. Но стоимость электроэнергии — далеко не единственный фактор выбора места расположения ЦОДа. Такие критерии, как близость к заказчикам и хорошие каналы связи, пока важнее, и основные ЦОДы в России сосредоточены в Москве и Санкт-Петербурге.

Даже в одном регионе (например, в одной области) оптовые цены закупки у разных узлов энергосистемы различаются. Из этого можно извлечь выгоду при условии работы с независимой энергосбытовой компанией (НЭСК), обеспечивающей прозрачность всех расчетов.

Важно также учитывать, что оптовая цена на электроэнергию формируется каждый час, причем пиковые значения приходятся на период с 9 до 13 ч. «Если есть техническая возможность управлять потреблением объекта и сократить расходы в часы максимальной стоимости электрической энергии, то это позволит сэкономить», — советует специалист «Транснефтьэнерго».

На цену услуг по передаче электроэнергии влияет выбор тарифа: одноставочный или двухставочный. При выборе одноставочного тарифа потребитель платит только за потребленную электроэнергию (тариф состоит из одной ставки — ставки за электроэнергию, единица измерения — рубли за 1 кВт×ч). При двухставочном тарифе потребитель платит как за электроэнергию (рубли за 1 кВт×ч), так и за фактическую мощность (рубли за 1 кВт в месяц). Но величина ставки на электроэнергию в двухставочном тарифе значительно ниже ставки за электроэнергию в одноставочном тарифе. В каждом конкретном случае требуется провести грамотный расчет, чтобы выбрать оптимальный вариант тарифа.

Кроме того, на цену услуг по передаче электроэнергии влияет то, как выполнено присоединение. Кирилл Юрьев привел пример, когда в одном и том же регионе (Брянская область, уровень напряжения — ВН, то есть 110 кВ и выше) тариф региональной сетевой компании (РСК) оказался в 5,5 раза выше, чем тариф федеральной сетевой компании (ФСК): 1,86 руб/кВт×ч против 0,33 руб/кВт×ч. Вывод очевиден: при наличии возможности желательно подключаться напрямую к ФСК.

Третья составляющая — сбытовая надбавка. По словам Кирилла Юрьева, стоимость услуг НЭСК, как правило, на 30–70% ниже, чем у гарантирующих поставщиков (регулируемых организаций, таких как «Мосэнергосбыт» и др.). Кроме того, преимущество работы ЦОДа с НЭСК состоит также в более гибкой схеме оплаты и дополнительных сервисах. Но при этом для работы с НЭСК необходимо, чтобы максимальная мощность составляла не менее 670 кВт, а установленная автоматизированная информационно-измерительная система коммерческого учета электроэнергии (АИИС КУЭ) соответствовала требованиям оптового рынка электроэнергии и мощности (ОРЭМ).

СМЕНА АККУМУЛЯТОРОВ

Одна из важных тенденций в области систем бесперебойного электропитания — переход с традиционных свинцово-кислотных батарей на литий-ионные. Одной из первых такие решения для своих ИБП предложила компания Schneider Electric, которая в этой области сотрудничает с Samsung. Опции с литий-ионными батареями предлагаются ею для ИБП Galaxy 7000, VM, VX и Symmetra MW.

Преимущества литий-ионных аккумуляторов над свинцово-кислотными хорошо известны: существенно меньшие вес и занимаемая площадь, большее число циклов разряд-заряд, более длительный срок службы. Одним из главных препятствий для их применения всегда считалась значительно более высокая цена. Но цены постоянно снижаются, и, по словам Павла Пономарева, менеджера по развитию направления трехфазных ИБП Schneider Electric, в 2016 году наконец наступил момент, когда стало возможным предложить литий-ионные аккумуляторы с серийно выпускаемыми ИБП. В индивидуальных проектах компания устанавливала такие батареи начиная с 2012 года, реализовав на их основе по всему миру проекты общей мощностью более 50 МВт.

Хотя по начальной стоимости (CAPEX) литий-ионные батареи пока остаются примерно в два раза дороже свинцово-кислотных, как утверждает Павел Пономарев, общая стоимость владения (TCO) при горизонте планирования 10 лет оказывается ниже.

Эксперт Schneider Electric особо подчеркнул отличие промышленных литий-ионных аккумуляторов от тех, что применяются в потребительских устройствах (смартфонах, планшетах и пр.). В портативных устройствах чаще всего используют батареи LCO (литиево-кобальтовые) c емкостью несколько ампер-часов в корпусе из фольги. В ИБП Schneider устанавливают батареи с внутренней структурой LMO (литиево-марганцевые) с емкостью (одной батареи) 67 А×ч в прочном алюминиевом корпусе (см. рис. 4). Батареи этого типа давно и успешно используются в электромобилях, например BMW.

Рис. 4. Литий-ионные аккумуляторы, используемые в ИБП компании Schneider Electric

В предлагаемых для ИБП Schneider решениях на базе литий-ионных аккумуляторов реализована трехуровневая система мониторинга: на уровне отдельного модуля, шкафа и системы целиком. Кроме того, в самой батарее (ячейке) предусмотрено несколько ступеней защиты от неблагоприятных ситуаций. На разработку и обкатку таких технологий уходит более трех лет, тогда как аккумуляторы для потребительских устройств выводятся на рынок за полгода или даже быстрее.

О готовности предлагать ИБП с литий-ионными аккумуляторами заявил на форуме «МИР ЦОД» и Владислав Апачёв, руководитель направления в компании «Абитех», представляющей на российском рынке ИБП производства General Electric. Но при этом, по его словам, вопрос целесообразности применения таких аккумуляторов (вместо традиционных) пока остается открытым.

Владислав Апачёв рассказал на форуме о новых ИБП, разработанных GE для ЦОДов. Ранее этот производитель, известный своими промышленными решениями, выпускал в основном трансформаторные ИБП, однако в ответ на запросы на системы с большим КПД предложил и бестрансформаторные продукты. Это, в частности, ИБП серий TLE мощностью от 40 до 600 кВт. По данным, которые привел специалист «Абитеха», КПД этих устройств в режиме двойного преобразования доходит до 96,5%, а в режиме eBoost — до 99%.

В семействе TLE представлены и модульные ИБП мощностью от 30 до 180 кВт — TLE Modular. Они наращиваются силовыми модулями по 30 кВт, причем вес каждого такого модуля составляет всего 34 кг. Каждый модуль оснащен LCD-дисплеем, на котором отображается его состояние, что повышает удобство обслуживания системы бесперебойного питания.

УЧЕТ И КОНТРОЛЬ

ИБП, по своей сути, должны ограждать ответственную нагрузку от большинства проблем во внешней электросети. Но кто защитит сами ИБП? И как проверить, что происходит в электросети «за ИБП», где одна нагрузка может негативно влиять на другую? Виталий Пономарев, генеральный директор инженерной компании «Профэнергия», настоятельно рекомендует использовать приборы для постоянного мониторинга работы электросети. Речь идет не о моделировании работы сети «по шильдикам», а об отслеживании ее качества в режиме реального времени. Он привел немало примеров, доказывающих актуальность применения таких систем мониторинга.

«С точки зрения электрика, ЦОД — это большое число нелинейных нагрузок с импульсными источниками питания», — объясняет он. При большом числе однофазных устройств с такими ИП выдаваемая ими обратно в сеть третья гармоника может дать высокий ток в N-проводнике. Это чревато ложным срабатыванием защитной аппаратуры и даже отключением ИБП.

Источником проблем могут стать и различные сторонние (для ИТ-оборудования) системы, особенно когда ЦОДы вписаны в инфраструктуру существующего здания. Один из примеров такого оборудования — энергоэффективные лифты с рекуперацией, которые при торможении возвращают мощность в сеть. Эта неотфильтрованная синусоида сильно повышает напряжение в короткий промежуток времени и вносит серьезные гармонические помехи. По словам Виталия Пономарева, на одном из объектов именно работа лифтов с рекуперацией приводила к отказу компьютерного оборудования (ИТ-оборудование и лифты защищались единым комплексом ИБП).

Другой пример: на одном из объектов во Владимирской области наблюдались регулярные скачки напряжения с 6 до 15 кВ. В таких условиях ИБП отключаются и переходят на автономное питание от аккумуляторов. Поскольку подобные скачки происходили несколько раз в день, ресурсы аккумуляторов, рассчитанных на ограниченное число циклов разряд-заряд, быстро истощались. Да и аккумуляторам могло не хватить времени полностью зарядиться до следующего отключения. Выяснилось, что проблема должна решаться за пределами сети заказчика, поскольку его объект был подключен к тяговой подстанции, питающей электроподвижной состав железной дороги.

Виталий Пономарев рекомендует для контроля качества сети, энергоменеджмента и технического учета использовать приборы немецкой компании Janitza, которые уже применяются в ЦОДах Yandex, Курчатовского института, Selectel и др. В простейшем варианте достаточно установки одного прибора на входе — отслеживать измеряемые им показатели можно со смартфона, планшета, компьютера. При наличии нескольких вводов можно установить локальный сервер для сбора данных. При необходимости мониторинга качества электропитания нескольких распределенных объектов рекомендуется облачное решение с центральным сервером, на котором собираются все данные.

В целом форум «МИР ЦОД. Инфраструктура» показал следующие основные направления развития инженерных инфраструктур центров обработки данных — повышение уровня автоматизации и энергоэффективности и постепенный отказ от традиционных решений. Как сказал Егор Карицкий: «Не надо бояться новых решений — того, что еще никто никогда не использовал». Этот лозунг взял на вооружение Yandex. Внедряемые этой компанией решения рано или поздно, пусть в адаптируемом виде, найдут применение в «серийных» корпоративных и коммерческих ЦОДах.

Александр Барсков, ведущий редактор «Журнала сетевых решений/LAN»