Этот современный объект расположен почти в самом центре Киева на правом берегу Днепра — очень высоком берегу, так что опасность затопления ему не грозит. Он находится в непосредственной близости от Крещатика (на западе), а также от Киево-Печерской лавры (на юго-востоке).

ЦОД расположен на площадях нового многофункционального комплекса. Особенности архитектуры ЦОД и требования к архитектурно-планировочным решениям были учтены еще на этапе создания комплекса. Это позволило избежать традиционных проблем при размещении подобных ИТ-объектов в многофункциональном здании.

ЦОД представляет собой единый комплекс помещений и технологических площадок, имеет собственные подъездные пути и места разгрузки оборудования, свои коллекторы для подвода коммуникаций от дизель-генераторов и чиллеров. Помещения над его залами не предусматривают потребления воды, чем исключается вероятность протечек. Инженерные системы ЦОД полностью независимы от инженерных систем многофункционального комплекса. Проектировщиком систем и основным поставщиком оборудования выступила компания Schneider Electric.

Для российских компаний подключиться к ЦОД «Парковый» не составит проблем. У него есть точка присутствия в Москве (ул. Бутлерова, 7), которая соединена кольцом с ЦОД. В результате заказчики имеют возможность организовать выделенные зарезервированные каналы связи L2/L3.

ЦОД рассчитан на общую электрическую мощность 4 МВт (мощность ИТ-нагрузки — 2,4 МВт). Его общая площадь составляет 3000 м2, а емкость — 400 клиентских шкафов. В состав центра обработки данных входят 17 машинных залов для размещения оборудования заказчиков: как обычные неэкранированные, так и экранированные, согласно требованиям украинского законодательства к размещению серверного оборудования банков. Подробности — в нашей экскурсии.

 

Это фото с видом на Днепр сделано с крыши ЦОД «Парковый» — высота правого берега в данном месте столь велика, что никакое затопление объекту не грозит. Между прочим, на крыше располагается вертолетная площадка — вряд ли еще какой-нибудь ЦОД может этим похвастаться. Обратите внимание на зеленое дерево на фоне давно опавших «собратьев» — превращение лиственного дерева в вечнозеленое стало возможным благодаря теплу, выделяемому чиллерами ЦОД.
Это фото с видом на Днепр сделано с крыши ЦОД «Парковый» — высота правого берега в данном месте столь велика, что никакое затопление объекту не грозит. Между прочим, на крыше располагается вертолетная площадка — вряд ли еще какой-нибудь ЦОД может этим похвастаться. Обратите внимание на зеленое дерево на фоне давно опавших «собратьев» — превращение лиственного дерева в вечнозеленое стало возможным благодаря теплу, выделяемому чиллерами ЦОД.

 

Вот и сами чиллеры — моноблочные агрегаты Uniflair. В ЦОД построена классическая двухконтурная чиллерная система с применением внутрирядных блоков APC InRow в машзалах и шкафных блоков Uniflair в технических помещениях. В соответствии с требованиями Uptime Institute для Tier III резервируются как чиллеры и кондиционеры, так и трубопроводы. Чиллеры имеют функцию фрикулинга, что вместе с электронным регулированием мощности насосов и вентиляторов и применением систем контейнеризации «горячих» коридоров позволяет достичь высоких показателей среднегодового PUE — 1,35 (согласно расчету).
Вот и сами чиллеры — моноблочные агрегаты Uniflair. В ЦОД построена классическая двухконтурная чиллерная система с применением внутрирядных блоков APC InRow в машзалах и шкафных блоков Uniflair в технических помещениях. В соответствии с требованиями Uptime Institute для Tier III резервируются как чиллеры и кондиционеры, так и трубопроводы. Чиллеры имеют функцию фрикулинга, что вместе с электронным регулированием мощности насосов и вентиляторов и применением систем контейнеризации «горячих» коридоров позволяет достичь высоких показателей среднегодового PUE — 1,35 (согласно расчету).

 

Через теплообменники осуществляется взаимодействие между внешним контуром (с пропиленгликолем) и внутренним (с водой). В инженерной инфраструктуре, практически полностью построенной на оборудовании Schneider, встречаются и «инородные» тела — например, насосы Siemens (на фото внизу).
Через теплообменники осуществляется взаимодействие между внешним контуром (с пропиленгликолем) и внутренним (с водой). В инженерной инфраструктуре, практически полностью построенной на оборудовании Schneider, встречаются и «инородные» тела — например, насосы Siemens (на фото внизу).
Через теплообменники осуществляется взаимодействие между внешним контуром (с пропиленгликолем) и внутренним (с водой). В инженерной инфраструктуре, практически полностью построенной на оборудовании Schneider, встречаются и «инородные» тела — например, насосы Siemens (на фото внизу).

 

Вода, циркулирующая во внутреннем контуре, тщательно очищается от газов (соответствующее устройство показано на снимке слева) и солей (система справа). Это предотвращает коррозию труб и появление на них солевых наростов, что повышает эффективность работы системы охлаждения и срок ее службы. Вода, циркулирующая во внутреннем контуре, тщательно очищается от газов (соответствующее устройство показано на снимке слева) и солей (система справа). Это предотвращает коррозию труб и появление на них солевых наростов, что повышает эффективность работы системы охлаждения и срок ее службы.

Вода, циркулирующая во внутреннем контуре, тщательно очищается от газов (соответствующее устройство показано на снимке слева) и солей (система справа). Это предотвращает коррозию труб и появление на них солевых наростов, что повышает эффективность работы системы охлаждения и срок ее службы.

 

Магистраль внутреннего контура подходит непосредственно к машзалам, где холодная вода подается по трубам под фальшполом до внутрирядных кондиционеров. Дренажные канавки позволяют отвести воду в случае разгерметизации системы — просто и эффективно.
Магистраль внутреннего контура подходит непосредственно к машзалам, где холодная вода подается по трубам под фальшполом до внутрирядных кондиционеров. Дренажные канавки позволяют отвести воду в случае разгерметизации системы — просто и эффективно.
Магистраль внутреннего контура подходит непосредственно к машзалам, где холодная вода подается по трубам под фальшполом до внутрирядных кондиционеров. Дренажные канавки позволяют отвести воду в случае разгерметизации системы — просто и эффективно.

 

Другая ключевая инженерная система любого ЦОД — система гарантированного бесперебойного питания. Электроснабжение ЦОД осуществляется по первой категории надежности от двух независимых подстанций. ЦОД имеет собственную трансформаторную подстанцию, обслуживающую только его нужды. На фото — сухие трансформаторы этой подстанции.
Другая ключевая инженерная система любого ЦОД — система гарантированного  бесперебойного питания. Электроснабжение ЦОД осуществляется по первой категории надежности от двух независимых подстанций. ЦОД имеет собственную трансформаторную подстанцию, обслуживающую только его нужды. На фото — сухие трансформаторы этой подстанции.

 

Система автономного энергоснабжения состоит из четырех ДГУ FG Wilson мощностью 1700 кВА (1360 кВт) каждая. Запас топлива (топливохранилище показано внизу) рассчитан на 28 ч. непрерывной работы — за это время уж точно можно будет организовать подвоз дополнительного горючего.
Система автономного энергоснабжения состоит из четырех ДГУ FG Wilson мощностью 1700 кВА (1360 кВт) каждая. Запас топлива (топливохранилище показано внизу) рассчитан на 28 ч. непрерывной работы — за это время уж точно можно будет организовать подвоз дополнительного горючего.
Система автономного энергоснабжения состоит из четырех ДГУ FG Wilson мощностью 1700 кВА (1360 кВт) каждая. Запас топлива (топливохранилище показано внизу) рассчитан на 28 ч. непрерывной работы — за это время уж точно можно будет организовать подвоз дополнительного горючего.

 

Для обеспечения бесперебойного электропитания на объекте применяется три модульных ИБП Symmetra MW мощностью 1600 кВА каждый, что позволяет обеспечить как внутреннее резервирование ИБП по схеме N+1 по силовым модулям, так и резервирование N+1 на уровне отдельных устройств. Питание ИТ-нагрузки реализовано по двухлучевой схеме. При этом дополнительно применяются быстродействующие статические переключатели, обеспечивающие постоянное поддержание напряжения на обоих лучах даже в случае коммутаций или аварий на более высоком уровне системы. Поэтому в ЦОД «комфортно» будет даже оборудованию с одним вводом по питанию.
Для обеспечения бесперебойного электропитания на объекте применяется три модульных ИБП Symmetra MW мощностью 1600 кВА каждый, что позволяет обеспечить как внутреннее резервирование ИБП по схеме N+1 по силовым модулям, так и резервирование N+1 на уровне отдельных устройств. Питание ИТ-нагрузки реализовано по двухлучевой схеме. При этом дополнительно применяются быстродействующие статические переключатели, обеспечивающие постоянное поддержание напряжения на обоих лучах даже в случае коммутаций или аварий на более высоком уровне системы. Поэтому в ЦОД «комфортно» будет даже оборудованию с одним вводом по питанию.
Для обеспечения бесперебойного электропитания на объекте применяется три модульных ИБП Symmetra MW мощностью 1600 кВА каждый, что позволяет обеспечить как внутреннее резервирование ИБП по схеме N+1 по силовым модулям, так и резервирование N+1 на уровне отдельных устройств. Питание ИТ-нагрузки реализовано по двухлучевой схеме. При этом дополнительно применяются быстродействующие статические переключатели, обеспечивающие постоянное поддержание напряжения на обоих лучах даже в случае коммутаций или аварий на более высоком уровне системы. Поэтому в ЦОД «комфортно» будет даже оборудованию с одним вводом по питанию.

 

Распределительная сеть электропитания выполнена на основе шинопроводов серии Canalis как на магистральном уровне, так и непосредственно в машинных залах. Шинопроводы, в отличие от обычных проводов, по месту не подрежешь, поэтому изначально выполнялось 3D-моделирование, по результатам которого заказывались шинопроводы определенной длины и конфигурации.
Распределительная сеть электропитания выполнена на основе шинопроводов серии Canalis как на магистральном уровне, так и непосредственно в машинных залах. Шинопроводы, в отличие от обычных проводов, по месту не подрежешь, поэтому изначально выполнялось 3D-моделирование, по результатам которого заказывались шинопроводы определенной длины и конфигурации.

 

Физическая безопасность и контроль доступа обеспечиваются с помощью целого ряда взаимосвязанных систем, в число которых входят датчики движения, магнитные замки, сигнализация, система видеонаблюдения со встроенными функциями видеоаналитики. На фото — шлюзовая система доступа на входе в ЦОД. Справа — предмет, который мне не приходилось видеть ни в одном другом ЦОД: устройство для автоматического надевания бахил. Очень удобно! Физическая безопасность и контроль доступа обеспечиваются с помощью целого ряда взаимосвязанных систем, в число которых входят датчики движения, магнитные замки, сигнализация, система видеонаблюдения со встроенными функциями видеоаналитики. На фото — шлюзовая система доступа на входе в ЦОД. Справа — предмет, который мне не приходилось видеть ни в одном другом ЦОД: устройство для автоматического надевания бахил. Очень удобно!
Физическая безопасность и контроль доступа обеспечиваются с помощью целого ряда взаимосвязанных систем, в число которых входят датчики движения, магнитные замки, сигнализация, система видеонаблюдения со встроенными функциями видеоаналитики. На фото — шлюзовая система доступа на входе в ЦОД. Справа — предмет, который мне не приходилось видеть ни в одном другом ЦОД: устройство для автоматического надевания бахил. Очень удобно!

 

В состав ЦОД, помимо «обычных» машинных залов, входят экранированные залы для размещения серверного оборудования банков. Вот пример зала, в котором обеспечены все требования Национального банка Украины, включая экранирование с затуханием 20 дБ.
В состав ЦОД, помимо «обычных» машинных залов, входят экранированные залы для размещения серверного оборудования банков. Вот пример зала, в котором обеспечены все требования Национального банка Украины, включая экранирование с затуханием 20 дБ.

 

А за этими двумя дверями — экранированный зал с защитой 40 дБ, то есть электромагнитный сигнал затухает в 10 тыс. раз! Этот уникальный зал предназначен для размещения оборудования и облаков государственных организаций. Для обеспечения такой защиты все кабельные подключения осуществляются через железные кабель-каналы (трубы) длиной не менее 3 м, которые (после инсталляции кабелей) герметизируются специальным составом.
А за этими двумя дверями — экранированный зал с защитой 40 дБ, то есть электромагнитный сигнал затухает в 10 тыс. раз! Этот уникальный зал предназначен для размещения оборудования и облаков государственных организаций. Для обеспечения такой защиты все кабельные подключения осуществляются через железные кабель-каналы (трубы) длиной не менее 3 м, которые (после инсталляции кабелей) герметизируются специальным составом.
А за этими двумя дверями — экранированный зал с защитой 40 дБ, то есть электромагнитный сигнал затухает в 10 тыс. раз! Этот уникальный зал предназначен для размещения оборудования и облаков государственных организаций. Для обеспечения такой защиты все кабельные подключения осуществляются через железные кабель-каналы (трубы) длиной не менее 3 м, которые (после инсталляции кабелей) герметизируются специальным составом.

 

Каждый из семнадцати машинных залов ЦОД «Парковый», а также помещение ИБП оснащены автономной системой газового пожаротушения на основе газа Novec 1230, который позволяет ликвидировать возгорание, не испортив при этом клиентское оборудование (к тому же Novec 1230 безвреден для человека, поскольку его применение не снижает уровня кислорода в помещении). Для выявления очагов возгорания на самых ранних стадиях в ЦОД применяется специальная система VESDA на базе аспирационных датчиков, которая постоянно анализирует состав воздуха в машинном зале и при появлении первых микрочастиц гари подает тревожный сигнал либо активирует противопожарную систему.
Каждый из семнадцати машинных залов ЦОД «Парковый», а также помещение ИБП оснащены автономной системой газового пожаротушения на основе газа Novec 1230, который позволяет ликвидировать возгорание, не испортив при этом клиентское оборудование (к тому же Novec 1230 безвреден для человека, поскольку его применение не снижает уровня кислорода в помещении). Для выявления очагов возгорания на самых ранних стадиях в ЦОД применяется специальная система VESDA на базе аспирационных датчиков, которая постоянно анализирует состав воздуха в машинном зале и при появлении первых микрочастиц гари подает тревожный сигнал либо активирует противопожарную систему.

 

Помимо традиционной сдачи в аренду шкафов, важным направлением деятельности ЦОД «Парковый» является предоставление облачных услуг в формате IaaS и SaaS. С этой целью в одном из машинных залов размещен специальный программно-аппаратный комплекс на базе серверов Cisco UCS (на фото), систем хранения данных EMC, ПО виртуализации от Microsoft.
Помимо традиционной сдачи в аренду шкафов, важным направлением деятельности ЦОД «Парковый» является предоставление облачных услуг в формате IaaS и SaaS. С этой целью в одном из машинных залов размещен специальный программно-аппаратный комплекс на базе серверов Cisco UCS (на фото), систем хранения данных EMC, ПО виртуализации  от Microsoft.

 

Основой сетевой инфраструктуры ЦОД служат коммутаторы Cisco Nexus серии 7000.
Основой сетевой инфраструктуры ЦОД служат коммутаторы Cisco Nexus серии 7000.

 

Подключения к внешним каналам связи осуществляются через главную распределительную зону — таких комнат в ЦОД две. ЦОД «Парковый» имеет собственную волоконно-оптическую сеть, соединяющую ЦОД с основными точками присутствия операторов в Киеве. Кроме того, предусмотрено два гостевых колодца, которые позволяют подключиться к ЦОД собственными линиями связи. Используется СКС компании Panduit, которая позволяет обеспечить подключение оборудования пользователей по медному и волоконно-оптическому кабелю с необходимыми скоростями передачи данных.
Подключения к внешним каналам связи осуществляются через главную распределительную зону — таких комнат в ЦОД две. ЦОД «Парковый» имеет собственную волоконно-оптическую сеть, соединяющую ЦОД с основными точками присутствия операторов в Киеве. Кроме того, предусмотрено два гостевых колодца, которые позволяют подключиться к ЦОД собственными линиями связи. Используется СКС компании Panduit, которая позволяет обеспечить подключение оборудования пользователей по медному и волоконно-оптическому кабелю с необходимыми скоростями передачи данных.

 

ЦОД «Парковый» просто опутан системой разнообразных датчиков (их количество можно оценить по разводке проводов, обеспечивающих их подключение). Автоматизированная система диспетчеризации и управления построена на основе контроллеров Modicon 340 с применением SCADA-системы Citect. Контролируются все основные элементы критически важных систем ЦОД, включая системы электро- и холодоснабжения. Имеются возможности по удаленному управлению основным оборудованием этих систем. Для мониторинга обстановки в машинных залах (температура, влажность, потребление по шкафам, количество занятого пространства, планирование изменений) задействуются возможности пакета StruxuWare for Data Centers.
ЦОД «Парковый» просто опутан системой разнообразных датчиков (их количество можно оценить по разводке проводов, обеспечивающих их подключение). Автоматизированная система диспетчеризации и управления построена на основе контроллеров Modicon 340 с применением SCADA-системы Citect. Контролируются все основные элементы критически важных систем ЦОД, включая системы электро- и холодоснабжения. Имеются возможности по удаленному управлению основным оборудованием этих систем. Для мониторинга обстановки в машинных залах (температура, влажность, потребление по шкафам, количество занятого пространства, планирование изменений) задействуются возможности пакета StruxuWare for Data Centers.

 

При этом «глубина» мониторинга хорошо продумана. Скажем, если небольшая комната предназначена для размещения оборудования одного клиента, то и энергопотребление измеряется целиком на комнату. А в зале, где в аренду сдаются отдельные шкафы, энергопотребление отслеживается по каждому шкафу. Для этого в шкафу устанавливаются «интеллектуальные» блоки, контролирующие нагрузку на PDU. Данные можно посмотреть удаленно из центра управления.
При этом «глубина» мониторинга хорошо продумана. Скажем, если небольшая комната предназначена для размещения оборудования одного клиента, то и энергопотребление измеряется целиком на комнату. А в зале, где в аренду сдаются отдельные шкафы, энергопотребление отслеживается по каждому шкафу. Для этого в шкафу устанавливаются «интеллектуальные» блоки, контролирующие нагрузку на PDU. Данные можно посмотреть удаленно из центра управления.
При этом «глубина» мониторинга хорошо продумана. Скажем, если небольшая комната предназначена для размещения оборудования одного клиента, то и энергопотребление измеряется целиком на комнату. А в зале, где в аренду сдаются отдельные шкафы, энергопотребление отслеживается по каждому шкафу. Для этого в шкафу устанавливаются «интеллектуальные» блоки, контролирующие нагрузку на PDU. Данные можно посмотреть удаленно из центра управления.