ЦОД «ТрастИнфо»: название обязывает

Центр обработки данных «ТрастИнфо» принадлежит группе компаний «Ай-Теко» и находится под управлением ее дочерней компании «Сервионика», специализирующейся на услугах ИТ-аутсорсинга и предоставлении облачных сервисов. ЦОД введен в эксплуатацию в 2008 году. Суммарная подведенная мощность составляет 10,5 МВт. На сегодняшний день в ЦОД расположено 10 машинных залов, рассчитанных на 1200 стоек с оборудованием. «ТрастИнфо» — один из крупнейших коммерческих ЦОД в России. Он используется для размещения ИТ-оборудования и ресурсов, а также для предоставления облачных услуг. В частности, на базе «ТрастИнфо» размещены облачные IaaS-платформы MakeCloud и eCloud компании «Сервионика», а также российская интернет-витрина SaaS-сервисов i-Oblako.ru.

ЦОД «ТрастИнфо» был спроектирован и построен с учетом требований стандарта TIA-942 и в соответствии с уровнем надежности Tier III по рекомендациям Uptime Institute. Гарантированный коэффициент доступности оборудования составляет 99,98%. Одной из его важных особенностей является то, что все пассивные системы распределения (щитовые устройства, трубопроводы и пр.), которые далеко не всегда резервируют, в «ТрастИнфо» построены по схеме 2N с физическим разнесением дублированных элементов. Все активные системы реализованы в соответствии с принципом избыточности N+1 и выше.

«ТранстИнфо» имеет несколько периметров безопасности. Во-первых, объект расположен на режимной охраняемой территории в черте Москвы. Во-вторых, само здание ЦОД находится под охраной собственной службы безопасности и защищено сигнализацией, системой оповещения и другими современными техническими средствами. На объекте установлено более 150 видеокамер для круглосуточного видеонаблюдения за всеми основными помещениями и проходами. Вход непосредственно в машинные залы контролируется системами электронного контроля доступа. Наконец, стойки с ИТ-оборудованием по желанию клиентов могут быть защищены специальными выгородками (см. Рисунок 1).

Рисунок 1. В этих «клетках» находятся серверы клиентов «ТрастИнфо». Многие серверные стойки защищены сварными решетками и кодовыми замками, чтобы исключить возможность физического несанкционированного доступа.

КЛАССИЧЕСКОЕ ПИТАНИЕ

Каждый машинный зал — это отдельный герметичный модуль внутри основного здания ЦОД, построенный из ударопрочных и пожаробезопасных панелей. Для обеспечения качественного бесперебойного электропитания используются статические ИБП серии Galaxy компании Schneider Electric (см. Рисунок 2). Из них сформированы пять систем бесперебойного электропитания (СБЭ), каждая из которых обслуживает по два машинных зала. Комплекс установленных в параллель ИБП со степенью резервирования N+1 представляет собой отдельную систему; он способен обеспечить автономную работу защищаемого оборудования в течение 15 мин и более, даже при полной загрузке. Две СБЭ реализованы на базе ИБП Galaxy 6000, в трех других установлены более современные аппараты Galaxy 7000.

Рисунок 2. Зал ИБП — часть системы энергоснабжения ЦОД «ТрастИнфо».

С целью обеспечения гарантированного электроснабжения в ЦОД установлены три дизель-генераторные установки (ДГУ), также работающие в параллель. Запаса топлива хватит для работы с полной нагрузкой в течение не менее 72 часов. Регламентные запуски и другие процедуры поддерживают «дизели» в постоянной готовности. Впрочем, вероятность их «боевого» использования невелика, поскольку внешнее питание подведено от двух независимых городских подстанций. На территории ЦОД построена собственная комплексная трансформаторная подстанция (КТП), понижающая напряжение с 10 до 0,4 кВ. При аварийном пропадании напряжения на основных вводах переключение электропитания на ДГУ осуществляется автоматически.

Подключение ИБП к городской электросети (КТП) и ДГУ осуществлено шинопроводами производства Schneider Electric (см. Рисунок 3). Оборудование автоматов ввода резерва, главного распределительного щита и блоков распределения питания — также этой компании. От систем ИБП в машинные залы проложено два луча электропитания. Соответственно, для питания серверного оборудования в каждом зале установлены два распределительных щита, а в составе каждой стойки — два розеточных блока распределения питания (PDU). Таким образом, обеспечивается степень резервирования 2N.

Рисунок 3. Подключение ИБП к городской электросети (КТП) и ДГУ осуществлено шинопроводами.

Специалисты «ТрастИнфо» рекомендуют клиентам устанавливать серверы с двумя блоками питания — в этом случае реализуются все преимущества описанной выше схемы 2N. Если же оборудование имеет только один блок питания, то следует устанавливать локальный автомат ввода резерва (АВР), который при необходимости будет осуществлять переключение на другую линию (например, в случае аварии), советует Геннадий Дунаев, руководитель отдела технической эксплуатации ЦОД «ТрастИнфо».

И БАССЕЙН НА ВСЯКИЙ СЛУЧАЙ

Если системы бесперебойного электропитания в ЦОД «ТрастИнфо» построены из расчета «одна система на два машинных зала», то охлаждение у каждого зала свое — так сказать, «персональное». Основная система холодоснабжения реализована на базе семи внешних чиллеров производства Geoclima (резервирование 2N+1). Это современные агрегаты с функцией естественного охлаждения (freecooling), снижающей энергопотребление. Использование в каждом чиллере двух компрессоров Turbocor позволяет продлить срок службы и понизить уровень шума и вибрации. Седьмой чиллер был построен специально по заказу «ТрастИнфо», с учетом практики эксплуатации ЦОД и особенностей российского климата.

Чиллеры обеспечивают подачу охлажденной жидкости (незамерзающий раствор этиленгликоля) во внешний контур. Через теплообменники этот контур взаимодействует с внутренним, где уже находится обычная вода. К внутреннему контуру подключены кондиционеры (производства компании Stulz) с холодильной мощностью до 106 кВт каждый. Они подают холодный воздух в машинные залы под фальшпол высотой 1,25 м. Воздушные потоки в залах разделены на «горячие» и «холодные» коридоры.

Изюминкой системы охлаждения ЦОД «ТрастИнфо» является использование в качестве аккумулятора холода подземного водохранилища объемом 3000 м3, наличие которого позволяет осуществлять холодоснабжение в течение восьми часов при отсутствии внешних источников холода.

ФРЕОН ПРИХОДИТ НА ПОМОЩЬ

Чиллерная система применяется для восьми залов ЦОД «ТрастИнфо», для двух залов (девятого и десятого) использовано другое решение — фреоновые кондиционеры. Как объясняет Геннадий Дунаев, указанные два зала находятся на значительном удалении от холодоцентра ЦОД, поэтому подключение их к чиллерной системе потребовало бы значительных расходов на прокладку труб, установку насосов и других элементов для подачи холодной воды. Подсчитав все эти затраты и сопоставив с несколько более высоким энергопотреблением фреоновой системы (в которой отсутствует функция фрикулинга), руководство «ТрастИнфо» сделало выбор в пользу последней, но предъявило жесткие требования к энергоэффективности и надежности оборудования. Для фреонового охлаждения были выбраны кондиционеры Uniflair производства Schneider Electric. Уже установлено 28 таких агрегатов. Конденсаторы кондиционеров размещены на крыше ЦОД, что позволило рационально использовать прилегающую к ЦОД территорию.

Вне зависимости от используемой технологии охлаждения все залы рассчитаны на отвод с типовой стойки 5 кВт тепла. Однако, изменяя схемы расстановки оборудования, установив плитки фальшпола с более высоким коэффициентом перфорации, организовав изоляцию «холодных» коридоров и применив ряд других технических мер, можно значительно повысить энергонагруженность стойки. По словам Михаила Луковникова, технического директора «ТрастИнфо», в ЦОД успешно эксплуатируются стойки мощностью 17 кВт. Возможно и дальнейшее повышение общей мощности оборудования в одной стойке.

ВСЕ ПОД КОНТРОЛЕМ

Современный ЦОД — это комплекс с самыми современными системами контроля и управления, и «ТрастИнфо» не исключение. В частности, здесь впервые в России начато внедрение специализированного программного обеспечения для мониторинга и управления — системы StruxureWare Data Center Expert компании Schneider. Это решение обеспечивает эффективный контроль инженерной инфраструктуры, которая может состоять из оборудования разных производителей и включать в себя системы электропитания, охлаждения, безопасности, контроля окружающей среды. Контроль в реальном времени, определяемые пользователем отчеты и графики, а также мгновенные сообщения об аварийных событиях и их эскалация на более высокие уровни помогают быстро оценить и решить критически важные проблемы инфраструктуры.

Архитектура системы StruxureWare Data Center Expert позволяет различным категориям пользователей обращаться к централизованной базе данных, содержащей информацию о состоянии инженерной инфраструктуры. Решение можно масштабировать в соответствии с изменяющимися потребностями бизнеса.

Эта система — своеобразный «зонтик», под которым находятся системы управления конкретными инженерными системами, включая ИБП Galaxy, кондиционеры Uniflair и другое оборудование. Для контроля работы комплекса чиллерного холодоснабжения и кондиционирования «ТрастИнфо» использует Wonderware — решение класса SCADA, разработанное компанией Invensys (с 2014 года входит в состав Schneider Electric).

«Глазами и ушами» систем управления в машинных залах и стойках с оборудованием являются различные датчики температуры, влажности, протечек и пр. «ТрастИнфо» практикует измерение температуры холодного воздуха на выходе из кондиционера и горячего — на его входе, кроме того, по три датчика установлено в каждом холодном коридоре (см. Рисунок 4). По желанию клиента число датчиков может быть увеличено. Электропотребление можно измерять вплоть до уровня стойки с помощью «интеллектуальных» блоков PDU, их установка осуществляется по запросу клиента. Как говорит Геннадий Дунаев, примерно в 30% случаев выбираются именно «умные» PDU, данные с которых поступают в систему управления «ТрастИнфо» и доступны непосредственно клиентам, чье оборудование размещено в конкретных стойках.

Рисунок 4. «ТрастИнфо» практикует установку минимум трех датчиков температуры в каждом холодном коридоре.

План развития ЦОД предусматривает дальнейшее совершенствование инженерных систем. В числе планируемых мер — расширение использования изолированных «холодных» и «горячих» коридоров в машинных залах. Это позволит снизить нагрузку на инженерные системы и станет одной из мер дальнейшего повышения энергоэффективности объекта.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.