«Южный порт» получил напарника | Журнал сетевых решений/LAN

Сбербанк ввел в эксплуатацию первую очередь своего второго мегаЦОД. Новый центр обработки данных в «Сколково» разделит нагрузку пополам с существующим ЦОД «Южный порт». Два мощных резервирующих друг друга ЦОД будут дополнять другу друга и позволят обеспечить непрерывное функционирование автоматизированных система банка.

«Это один из самых сложных технологических объектов в стране», — заявил Сергей Шуршалин, руководитель проекта строительства ЦОД. Повышенное внимание при проектировании и строительстве уделялось надежности систем, так как при такой высокой степени централизации отказ ЦОД может поставить под угрозу всю операционную деятельность банка. Проект ЦОД соответствует уровню Tier 3, при этом системы энергосбережения и энергозащиты, как утверждается, отвечают требованиям Tier 4 (все системы дублируются).

Площадь ЦОД составляет 34 тыс. м², при этом площадь технологических помещений — 24 тыс. м². Одних кабелей проложено 120 тыс. км. В рамках конкурса претендентам было предложено улучшить решения, предусмотренные проектной документацией. Благодаря таким решениям, как система естественного охлаждения с использованием элементов искусственного интеллекта для управления, удалось добиться высокой экономической эффективности эксплуатации ЦОД (PUE=1,3).

«Сколково» как площадка для строительства ЦОД было выбрано по нескольким причинам. Во-первых, как объясняет Сергей Шуршалин, это низкая арендная плата за землю (1 млн за 7 га), практически бесплатное присоединение мощностей 30 МВт (около полумиллиона рублей) и достаточно дешевая электроэнергия.

Согласно проведенной экспертизе, непосредственно строительство ЦОД должно было занять 36 месяцев, по результатам конкурсной процедуры срок был уменьшен до 25 месяцев. В конечном итоге время строительства было сокращено до 18 месяцев в связи с необходимостью «синхронизации ввода новых платформ с появлением новой инфраструктуры».

На строительство первых четырех модулей и инженерную инфраструктуру для них было потрачено 14 млрд руб., в Сбербанке рассчитывают окупить вложения уже за 2 года.

«Мы постарались использовать все самые современные технологии, которые только доступны в мире», — заявил во время церемонии открытия ЦОД «Сколково» Герман Греф, глава Сбербанка.

При этом в новом ЦОД более широко используются российское оборудование и продукты — от свай до программ с элементами искусственного интеллекта. Перед системным интегратором «Инсистемс» из группы компаний «Ланит», генеральным подрядчиком проекта, была поставлена задача максимально использовать российское ИТ-оборудование. Из ИТ-оборудования были выбраны, в частности, системы хранения СХД «Баум».

«Если в первом центре обработки данных почти не было российских компонентов, то здесь уже большое количество машин российского производства, — отмечает глава Сбербанка. — Мы отобрали трех российских производителей, которые отвечают нашим требованиям. И мы будем все больше закупать [российские продукты]».

В церемонии открытия ЦОД приняли участие глава Сбербанка Герман Греф, вице-премьер Аркадий Дворкович, министр связи и массовых коммуникаций РФ Николай Никифоров (на фото) и президент «Сколково» Виктор Вексельберг.

ЦОД состоит из пяти типовых технологических модулей (на фото макет типового модуля). На первом этаже размещается энергетическое оборудование, на втором — машинные залы, а на верхнем — системы вентиляции и охлаждения. На данный момент готово четыре модуля, пятый достраивается. В Сбербанке рассматривают возможность строительства шестого модуля. Пока введен в эксплуатацию лишь один зал в первом модуле.

Для нужд самого банка достаточно четырех модулей, пятый модуль, как заявил Герман Греф, будет обслуживать потребности экосистемы, а шестой, если решение будет принято, будет строиться «на перспективу». Пятый модуль планируется, в частности, использовать для развития кибербезопасности как нового направления бизнеса.

В 20 машинных залах будет размещено 2 тыс. стоек, при этом средняя расчетная нагрузка на стойку составит 8 кВт. Всего в центре планируется разместить 24 тыс. серверов и системы хранения емкостью 1 эксабайт. Все ИТ-оборудование имеет по два блока питания, каждый из которых подключен к своему лучу энергоснабжения.

Объект относится к критической инфраструктуре, поэтому предприняты особые меры безопасности. Пока работает единственный зал, куда были допущены журналисты. Если в «Южном порту» идентификация при допуске в машинный зал производится по рисунку вен руки, то в «Сколково» применяется система трехмерного распознавания по лицу.

На фото Дмитрий Рожнов, который будет отвечать за эксплуатацию нового центра обработки данных.

Из ситуационного центра осуществляется мониторинг инженерных системы ЦОД — энергоснабжения, холодоснабжения и противопожарных систем. Система мониторинга способна контролировать и управлять практически любым оборудованием в ЦОД. Технологические системы ЦОД «Сколково» интегрированы со всей распределенной технологической системой Сбербанка.

Ситуационный центр позволяет контролировать не только функционирование ЦОД, но и операционную деятельность Сбербанка на территории всей страны. В ЦОД работают более 700 автоматизированных систем. В реальном времени отображаются более 20 тыс. метрик и параметров, таких как количество операций по картам за последнюю минуту, объемы снятия наличности из банкоматов, количество разосланных пользователям SMS с разбивкой по регионам и т. д.

Центр позволяет также контролировать состояние системы безопасности — в частности, отслеживать атаки DDoS против банка. Кроме того, он будет выполнять функции «центра непрерывности», то есть при чрезвычайных событиях руководство деятельностью банка будет осуществляться именно из ЦОД «Сколково».

Одной из наиболее инновационных систем, которой гордятся руководители строительства ЦОД, является система естественного охлаждения («свободный холод»), которая была разработана в соответствии с требованиями Сбербанка. Для управления ею используется российское программное обеспечение, и разработан специальный алгоритм работы, позволяющий существенно экономить электроэнергию. Для переключения используются элементы искусственного интеллекта — в частности, система анализирует прогнозы погоды и аккумулирует холод, если ожидается скачок температуры.

Благодаря применению специальных алгоритмов, естественного охлаждения будет достаточно большую часть года (по предварительным оценкам, 330 дней и более). Часть выделяемого тепла направляется на отопление этажа. Только это должно позволить сэкономить 5 млн руб. ежегодно на отоплении всего здания. Всего же применение данной системы позволит экономить до 100 млн руб. ежегодно по сравнению с применением прецизионных кондиционеров. Благодаря естественному охлаждению, в зимний период расчетный PUE составляет 1.1.

На фото Сергей Шуршалин, руководитель проекта строительства ЦОД.

В ЦОД используются динамические источники бесперебойного питания. Запуск дизеля занимает 2 с. Маховики ДИБП способны поддерживать полную нагрузку в течение 10 с. Как и в случае других энергосистем, для обеспечения максимальной надежности предусматривается дублирование (2N) — по три ДИБП в модуле мощностью 1800 кВт на основной и резервный каналы подвода электроэнергии. Суммарная мощность шести ДИБП составляет 11,28 МВт, на имеющемся в расходных баках топливе они могут проработать 2 часа. Суммарный объем запаса дизельного топлива в подземных топливных емкостях составляет 200 т, этого достаточно для обеспечения полностью автономной работы ЦОДа в течение суток без подвоза топлива.

Все помещения с критической инфраструктурой — машинные залы, помещения с распределительными устройствами, электрощитовые и серверные — оснащены системой автоматического газового пожаротушения. В качестве тушащего вещества используется быстро испаряющаяся жидкость Novec 1230 («Сухая вода»), которая безвредна для человека, оборудования и окружающей среды (не разрушает озон и не создает парникового эффекта).