МИР проектов «ЦОД-2016»

ПОСТРОИТЬ ЦОД — ДЕЛО НЕБЫСТРОЕ

На конец 2016 года в подмосковном Лыткарино запланирован ввод в эксплуатацию первой очереди ЦОДа компании «Авантаж», который станет одним из крупнейших в стране (максимальная потребляемая мощность — 17,5 МВт, площадь серверных залов — 6400 м²). А начиналось все еще пять лет назад, в 2011 году…

По словам Александра Крока, генерального директора компании «Авантаж», один из главных вопросов, которые пришлось решать, — девелоперский. «От момента, когда ты «встал» на землю, до момента получения разрешения на строительство надо пройти огромное количество согласований, — рассказывает он. — У нас на это ушло примерно 2,5 года, несмотря на то что и администрация города Лыткарино, и областная администрация всячески нас поддерживали».

Строительные работы начались только в 2014 году. Когда от замысла до момента начала его реализации проходят годы, многое за это время успевает измениться, так что первоначальный проект приходится корректировать. При этом зачастую красивые и очень эффектные теоретические задумки уступают место проверенным годами прагматичным решениям. Ровно это и произошло с системой охлаждения ЦОДа «Авантажа».

Первоначально планировалось реализовать в этом ЦОДе чрезвычайно энергоэффективную систему прямого воздушного охлаждения. Внешний контур здания должен был формировать огромную смесительную камеру, в которой нагретый ИТ-оборудованием воздух охлаждался бы холодным воздухом с улицы (см. рис. 1). Однако серьезная исследовательская работа, проведенная экспертами компаний HP и «Техносерв» с анализом климата в Московском регионе, убедила руководство «Авантажа» в целесообразности изменить архитектуру системы охлаждения. Одна из причин заключалась в том, что для эффективного функционирования системы прямого воздушного охлаждения требовалось изменение уже утвержденной архитектуры здания и, соответственно, дополнительные расходы. В результате был сделан выбор в пользу традиционной чиллерной системы с водяным фрикулингом.

Рис. 1. Первоначально предложенная для ЦОДа компании «Авантаж» схема прямого фрикулинга. Впоследствии от него решено было отказаться в пользу классической чиллерной системы

А вот архитектура системы бесперебойного питания кардинальных изменений не претерпела. Эта система строится на основе дизель-роторных ИБП (планируется установить 14 таких ДИБП). Специалисты «Авантажа» указывают на то, что основная отличительная особенность этой системы — подключение ДИБП к сети с напряжением 10 кВ. Все ДИБП будут «посажены» на одну шину, что позволит постепенно наращивать необходимую мощность (добавлять ДИБП), гибко распределяя ее между залами (их запланировано 16).

Все технологические решения ЦОДа компании «Авантаж» выполнены в соответствии с требованиями Tier III, планируется получение всех необходимых сертификатов Uptime Institute.

ДИБП РАСКРУЧИВАЮТСЯ

Динамические ИБП пользуются все большей популярностью у архитекторов крупных российских ЦОДов. По крайней мере, они установлены и успешно эксплуатируются в нескольких мегаваттных ЦОДах, проекты которых были представлены на форуме «МИР ЦОД», включая объекты CloudDC, «ВымпелКома», ФНС России и SDN.

Рис. 2. Динамический ИБП Hitec, установленный в системе бесперебойного электропитания ЦОДа SDN в Санкт-Петербурге

Так, например, в системе бесперебойного питания ЦОДа SDN в Санкт-Петербурге установлены динамические ИБП производства Hitec Power Protection (см. рис. 2). Особенностью этого объекта (проектная емкость —1500 стоек, мощность электропитания — до 14 МВт) является то, что он построен на основе запатентованного модульного решения «Stack.КУБ». Модули бесперебойного электроснабжения (МБЭС, см. рис. 3), помимо ДИБП, содержат трансформаторы (10 кВ / 400 В) и коммутационное оборудование.

Рис. 3. Установленные в ЦОДе SDN модули бесперебойного электроснабжения (МБЭС) содержат, помимо ДИБП, трансформаторы (10 кВ / 400 В) и коммутационное оборудование

После трансформаторов вся система распределения (400 В) выполнена на шинопроводах, что, как утверждают специалисты SDN, повышает надежность и позволяет исключить проблемы, которые случаются при перегреве силовых кабелей, такие как возгорание. Все пути распределения от коммутационного оборудования МБЭС дублированы (шина А + шина Б), причем каждая из подсистем шинопроводов способна обеспечить передачу полной мощности. В качестве магистральных шинопроводов применяются изделия компании LS-Cable, имеющие класс защиты IP68 вне помещений и IP54 внутри. Распределение питания по серверным шкафам внутри серверной ячейки осуществляется при помощи шинопроводов и отводных блоков StarLine производства Universal Electric Corporation. Данное решение позволяет устанавливать отводные блоки в шинопроводы, проходящие непосредственно над серверными шкафами, в любой точке без отключения питания. Стандартно каждый серверный шкаф подключен сразу к двум шинам (подсистемам А и Б).

Преимущества применения шинопроводов становятся уже общепризнанными, и они используются в большинстве новых ЦОДов. По данным, которые приводит Павел Мурзакаев, старший инженер по работе с проектными институтами компании Schneider Electric, шинопровод Canalis занимает пространство, до четырех раз меньшее по сравнению с кабельной линией. Эти решения были установлены, в частности, в ЦОДе компании «ВымпелКом» в Ярославле (см. рис. 4). Данный объект рассчитан на 1500 стоек, мощность ИТ-нагрузки — 10 МВт, уровень надежности — Tier III (сертификация уже выполнена).

Рис. 4. ЦОД компании «ВымпелКом» в Ярославле

В этом ЦОДе также установлены динамические ИБП (компании Piller). Систему электроснабжения объекта, по словам специалиста Schneider, отличает кольцевая схема подключения трансформаторных подстанций (вместо традиционной радиальной), что позволило значительно сэкономить на кабельных линиях среднего напряжения. Кроме того, в этом ЦОДе применена концепция «умный щит» (распределительный щит с цифровой поддержкой). Информация с такого щита собирается по каналу Ethernet (один щит — один IP-адрес), при этом все устанавливаемые в щит устройства подключаются по принципу Рlug&Рlay.

В Ярославском ЦОДе «ВымпелКома» установлена автоматизированная система управления электроснабжением EMCS. По мнению Павла Мурзакаева, потребность в такой системе тем выше, чем большую площадь занимает объект: если автоматизированная система управления отсутствует, электрикам приходится тратить больше времени, чтобы добраться до нужного элемента системы и проверить его состояние или получить необходимые данные. Система EMCS обеспечивает сбор данных с трансформаторных подстанций, щитов, ИБП и других элементов, осуществляет мониторинг их состояния, учет потребления электроэнергии, выдачу предупреждений и пр. Специалисты Schneider Electric рекомендуют на крупных объектах использовать именно специализированную систему управления электроснабжением, а не полагаться на типовую систему управления зданием (BMS), поскольку она может оказаться перегруженной и неспособной собрать информацию с нужным уровнем детализации и оперативности.

СТАВКА НА ФРИКУЛИНГ

В нескольких реализованных за последние годы в России крупных ЦОДах, наряду с динамическими ИБП, используются системы естественного охлаждения с теплообменниками «воздух — воздух». Конечно, применение одного вовсе не предполагает установку другого, но в паре они обеспечивают высокую энергоэффективность объекта. Подобные решения установлены, в частности, в ЦОДах «ВымпелКома», SDN и CloudDC.

ЦОД CloudDC, расположенный в 20 км от Москвы в ОЭЗ «Зеленоград», интересен тем, что изначально проектировался в расчете на развертывание облачных платформ (а не на предоставление площадей и оборудования в аренду). Поэтому инженерная инфраструктура должна была обеспечить высокую плотность мощности: от 10 до 22 кВт на стойку. По словам Георгия Гургенидзе, главного инженера CloudDC, уже сегодня в эксплуатации находятся несколько высоконагруженных стоек, потребляющих по 16–18 кВт.

«При наличии высокоплотной инженерной инфраструктуры экономика облака сильно выигрывает, — объясняет он. — Дело в том, что для облака нужна довольно дорогая высокоскоростная сеть (40-гигабитная). Чем больше серверных ресурсов можно разместить в одной стойке, тем меньше требуется единиц сетевого оборудования, сокращаются расходы и на кабельную инфраструктуру. Предусмотрев высокоплотную инфраструктуру, мы серьезно помогли нашему ИТ-отделу». По мнению экспертов CloudDC, нельзя сделать хорошее, недорогое и эффективное облако, если инженерная инфраструктура ограничивает мощность на стойку 4–5 кВт.

Система охлаждения ЦОДа CloudDC основана на двухконтурной схеме с теплообменником класса «тепловое колесо» (см. рис. 5). При экстремально высоких температурах наружного воздуха дополнительно включается адиабатический охладитель, позволяющий снизить температуру теплоносителя с минимальными затратами на электроэнергию. Благодаря такой системе, в машинных залах поддерживается температура 25°С (±2°С). По данным, которые приводит Георгий Гургенидзе, в настоящее время при загрузке ЦОДа около 20% коэффициент PUE составляет порядка 1,4. В дальнейшем, при росте загрузки и повышении эффективности работы мощных ДИБП, PUE будет снижаться.

Рис. 5. Схема системы охлаждения, реализованной в ЦОДе CloudDC

Интересна реализованная в CloudDC технология раздачи холодного воздуха в машинных залах. Каждая стойка оборудована своей вытяжкой каминного типа (см. рис. 6). На каждой трубе находится клапан с приводом, управление которым осуществляется с учетом показаний температурных датчиков, установленных непосредственно в стойке. При повышении температуры клапан открывается, что ведет к увеличению потока воздуха и снижению температуры. Если стойка не работает, то через нее холодный воздух вообще не проходит. Таким образом система подстраивается под нагрузку каждой конкретной стойки, что гарантирует максимально эффективное расходование холодного воздуха.

Рис. 6. В серверных залах ЦОДа CloudDC каждая стойка оборудована своей вытяжкой каминного типа

ЦОД CloudDC рассчитан на совокупную ИТ-нагрузку мощностью 1,5 МВт. Проект объекта сертифицирован в соответствии с требованиями Tier III. В этом году планируется сертификация самого объекта.

Система охлаждения на базе «теплового колеса» установлена и в ЦОДе SDN. Но если CloudDC использует решение российской компании Ayaks Engineering, то система охлаждения объекта в Санкт-Петербурге построена на оборудовании всемирно известной компании Kyoto Cooling (см. рис. 7). В жаркую погоду для дополнительного охлаждения включаются фреоновые контуры тепловых насосов. При температуре атмосферного воздуха выше 30°С тепловые насосы полностью берут нагрузку на себя. В климатических условиях, характерных для Санкт-Петербурга, потребность в использовании тепловых насосов возникает в течение нескольких десятков часов в году. Как отмечают представители SDN, это позволяет экономить электроэнергию, снижая расценки для клиентов и отдавая большую мощность ИТ-потребителям. Расчетный коэффициент PUE объекта — 1,27.

Рис. 7. В ЦОДе SDN установлены «тепловые колеса» KyotoCooling

Оборудование охлаждения выполнено в виде отдельных ячеек, распределенных по всему ЦОДу; резервирование ячеек осуществляется по схеме не ниже N+2. Кроме того, определенное резервирование предусмотрено и на уровне самой ячейки. Циркуляцию внутреннего и наружного воздуха обеспечивают по два вентилятора промышленного класса. Тепловые насосы также выполнены в виде двух параллельных контуров, так что при выходе из строя одного из них сохраняется половина охлаждающей способности, которой достаточно в большинстве ситуаций. Тепловые насосы полностью дублируют роторный теплообменник при любой погоде, таким образом, при остановке ротора ячейка продолжает работать.

Отличие системы охлаждения ЦОДа «ВымпелКома» от рассмотренных выше систем ЦОДов CloudDC и SDN заключается в использовании другого типа теплообменника «воздух — воздух»: статического пластинчатого с интегрированными тепловыми трубками. На объекте применено техническое решение AST Modular (в составе Schneider Electric) — NFC (см. рис. 8). Система отличается компактностью, надежностью, высокой эффективностью и простотой обслуживания. Малый шаг наращивания мощности модулей NFC позволяет гибко управлять ресурсами охлаждения ЦОДа. Для резервирования и доохлаждения, в жаркие дни, подаваемого в ЦОД воздуха модули имеют встроенные водяные теплообменники, которые рассчитаны на отведение 100% теплоизбытков посредством чиллерной системы. Минимизировать время работы чиллеров помогает интегрированная система адиабатического охлаждения рекуперативного теплообменника.

Рис. 8. Система охлаждения ЦОДа «ВымпелКома» в Ярославле построена с использованием систем AST Modular (в составе Schneider Electric)

Как уже говорилось выше, выбор технологии охлаждения по большому счету не связан с выбором систем бесперебойного электропитания. И есть немало проектов, где инновационный фрикулинг соседствует не с динамическими, а со «старыми добрыми» статическими ИБП. Пример такого объекта — федеральный центр обработки данных ФНС России, открытый в мае 2015 года в Дубне. Вместимость этого ЦОДа, построенного для консолидации, обработки, анализа и хранения налоговой информации со всей страны, — 450 стоек, общее энергопотребление — 5 МВт (с возможностью расширения до 10 МВт). На объекте установлена система охлаждения на базе «теплового колеса» (разработка Ayaks Engineering), обеспечивающая теплообмен между воздухом, поступающим с улицы и циркулирующим в ЦОДе, который используется для охлаждения ИТ-оборудования. Для наиболее жарких дней дополнительно предусмотрены фреоновые кондиционеры, но они будут задействованы лишь 10% времени в году.

В ЦОДе установлены шесть центральных кондиционеров на базе роторных теплообменников (диаметром 5,1 м), холодопроизводительность каждой установки — 640 кВт. Схема резервирования — N+1 на каждый машинный зал, общая схема резервирования — N+2. Расчетное среднегодовое значение PUE климатической системы — 1,13. Каждый машинный зал (в ЦОДе их два) представляет собой огромный «холодный коридор», куда поступает холодный воздух через большие вентиляционные решетки. Регулировка производительности системы охлаждения осуществляется ступенчато на основании показаний датчиков температуры, установленных в холодных и горячих коридорах (см. рис. 9). При этом высокая энергоэффективность (низкий PUE) сохраняется даже при частичной загрузке комплекса, скажем на 20%.

Рис. 9. Горячий коридор серверного зала ЦОДа ФНС России (Дубна)

КЛАССИКА НА ВСЕ ВРЕМЕНА

Вместе с тем многие компании останавливают свой выбор пусть не на столь энергоэффективных, но проверенных и высоконадежных классических системах охлаждения, которые применяются в том числе на представленных делегатам форума «МИР ЦОД» объектах «Акадо», DataLine и Tele2.

Крупнейший в России поставщик услуг коммерческих ЦОДов компания DataLine ввела в 2015 году очередной новый ЦОД (NORD 4) на своей северной площадке на Коровинском шоссе. Этот объект площадью 11 700 м² рассчитан на общую мощность 20 МВА и позволит разместить 2016 стоек. В 2015 году запущены четыре зала NORD 4 на 1008 стоек. Еще четыре аналогичных зала будут вводиться в эксплуатацию в течение 2016–2017 годов.

NORD 4 стал первой площадкой, которую DataLine сертифицировала в Uptime Institute: в феврале 2016 года получен сертификат на построенный объект, на сентябрь намечена сертификация на операционную устойчивость (Operational Sustainability). Несмотря на то что объект построен на базе традиционных, и, как считают ряд экспертов, не самых энергоэффективных, решений (статические ИБП, чиллерная система охлаждения, см. рис. 10), проектное значение PUE впечатляет — 1,3.

Рис. 10. Несмотря на то что ЦОД NORD 4 компании DataLine построен на базе традиционной и, как считают ряд экспертов, не самой энергоэффективной чиллерной системы охлаждения, проектное значение PUE впечатляет — 1,3

Во многом это объясняется огромным опытом специалистов DataLine (в «арсенале» компании — 28 машинных залов, 85 ИБП, 12 чиллерных установок, 354 прецизионных кондиционера) и их партнера в этом проекте — компании Schneider Electric. Это позволило учесть в новом ЦОДе все нюансы. Так, например, основные элементы системы кондиционирования размещены на отдельном технологическом этаже, при этом обеспечено минимальное расстояние от чиллеров до теплообменников (последние установлены прямо под размещенными на крыше чиллерами). Это снизило потребность в дорогостоящем гликоле и позволило использовать менее мощные насосы, которые установлены непосредственно в чиллере. К слову, сами чиллерные установки при температуре на улице до +15°С работают в режиме фрикулинга.

И ДЕНЬГИ, И ВИРТУАЛИЗАЦИЯ

Бюджет на свой новый, уже третий по счету, ЦОД корпорация «КОМКОР» (торговая марка «АКАДО Телеком») сверстала в конце 2014 года, до начала резкой девальвации рубля. Строить же объект пришлось уже в новых экономических условиях. Поэтому дополнительным условием конкурса по выбору интегратора для проекта было обеспечение партнером начального финансирования. Как рассказывает Илья Астахов, директор департамента развития сетей и платформ «АКАДО Телеком», многие участники конкурса отпали по финансовым причинам. Еще одно важное условие состояло в том, что интегратор должен был реализовать не только инженерную инфраструктуру, но и платформу виртуализации. «Наши бизнес-кейсы показали, что строить ЦОД только под колокейшн уже невыгодно. Поэтому было решено изначально выделить часть ресурсов под облачную платформу», — продолжает он.

На роль интегратора была выбрана компания, известная в первую очередь как производитель: китайская Huawei взялась выполнить весь комплекс работ от проектирования и строительства до поставки системы виртуализации. ЦОД, рассчитанный на 200 серверных стоек (100 + 100 стоек в два этапа), был введен в эксплуатацию в начале 2016 года.

Инженерная инфраструктура классическая: системы гарантированного бесперебойного электропитания — на основе ИБП и дизель-генераторных установок; система охлаждения — чиллерная, двухконтурная, с использованием рядных кондиционеров в машзалах. Средняя электрическая мощность на серверную стойку — 10 кВт. Для повышения энергоэффективности были выбраны чиллеры с фрикулингом, а также изолированы коридоры в машзалах. ИТ-начинка, как уже говорилось, являлась частью общего проекта, она основана на гиперконвергентной инфраструктуре Huawei FusionCube, включающей программно определяемые хранилища данных.

ПОСТРОИТЬ ЦОД ЗА 7 МЕСЯЦЕВ

То, что даже в современных условиях ЦОД можно построить «быстро и дешево», доказала компания Tele2. Ее новый центр обработки данных в Ростове-на-Дону был построен всего за семь месяцев. Место строительства было, по сути, предопределено: исторически большая часть ИТ-департамента Tele2 находится в Ростове-на-Дону, там же расположены и две ИТ-площадки, а архитектура бизнес-критических приложений и план обеспечения непрерывности бизнеса компании предусматривают распределение основных систем между разнесенными ЦОДми, но при удалении не более 100 км.

Как рассказывает Дмитрий Дворников, руководитель департамента по ИТ и биллингу Tele2, логичным решением для быстрорастущей компании было бы арендовать недостающие площади и инфраструктуру в коммерческом ЦОДе, но в Ростове-на-Дону к тому моменту подходящих площадок не было. Поэтому решено было строить свой ЦОД. «В Ростове, как, наверное, и во многих других городах России, возникают сложности с получением необходимой электрической мощности, тем более по двум независимым лучам, — продолжает он. — Мы изучили рынок объектов недвижимости в первую очередь с точки зрения наличия необходимой электричес-кой мощности. Как оказалось, ее могут предложить только бывшие заводские площадки. Часть из них не подходили по требованиям безопасности, часть находились в процессе смены собственников или были выставлены на продажу. Но, к счастью, мы нашли две подходящие по всем требованиям площадки и далее выбрали лучшую из них. Так появилась точка на карте, где мы планировали создать новый ЦОД, и можно было переходить к выбору конкретных технических решений и подрядчика».

Далее ИТ-команда Tele2 столкнулась примерно с той же проблемой, что и «АКАДО Телеком»: бюджет на строительство нового ЦОДа был одобрен осенью 2014 года, еще до падения курса рубля. И в условиях непростой экономической ситуации на рынке руководством была поставлена задача выполнить проект обязательно в рамках бюджета и в срок (ввод в эксплуатацию новой инфраструктуры до конца 2015 года). Поэтому при выборе интегратора проекта применялись два основных критерия: сроки и бюджет. «Бюджет для большинства участников тендера оказался не такой большой проблемой, а вот со сроками согласились немногие. В итоге победителем стала компания «Техносерв», которая в июне 2016 года приступила к проектированию и строительству ЦОДа», — рассказывает Дмитрий Дворников.

Какое-то время в качестве основного варианта рассматривалось строительство модульного ЦОДа. Но модульное решение оказалось несколько дороже классического, кроме того, специалистов Tele2 смутило то обстоятельство, что из-за стесненного пространства внутри модулей могут возникнуть проблемы при обслуживании инфраструктуры. Поэтому от этого варианта отказались, выбрав классическое решение, но с возведением защитного кожуха внутри арендуемых площадей. Проектировщики разработали конструкцию, которая выполняла несколько функций: предотвращала внешнее проникновение, защищала от пожара в основном здании и выдерживала даже полное обрушение крыши, а также обеспечивала отличную теплоизоляцию (что позволяет значительно снизить нагрузку на кондиционеры в летнее время).

Итогом всех этих трудов стал запуск первого сервера в новом ЦОДе 28 декабря 2015 года. С точки зрения инженерной инфраструктуры объект нельзя назвать выдающимся: классические системы на базе статических ИБП и фреоновых кондиционеров. Но при этом бизнес-задача была выполнена в срок и в рамках бюджета, а для Tele2 это оказалось важнее коэффициента PUE. Ну а выдающиеся ЦОДы могут строиться многие годы…

Александр Барсков, ведущий редактор «Журнала сетевых решений/LAN»