«МИР ЦОД – 2014»: проекты

Несмотря на рост интереса к типовым модульным решениям, каждый проект строительства ЦОД по-прежнему остается уникальными. Уникален и поистине бесценен и опыт, который приобретают заказчики в ходе их реализации. Частью этого опыта они традиционно делятся на форумах «МИР ЦОД». В этой статье рассказывается о четырех проектах, реализованных в разных отраслях экономики — металлургической, финансовой, энергетической и авиастроительной.

ЦОД ПО СОБСТВЕННОМУ СТАНДАРТУ

Алексей Мочальников, директор по ИТ-инфраструктуре и АСУТП компании «ЕВРАЗ», рассказал о разработке на этом предприятии собственного стандарта на организацию серверных помещений и центров обработки данных, а также поделился опытом проведения аудита уже имеющихся объектов и представил проект по созданию нового корпоративного ЦОД в Сибирском регионе. «ЕВРАЗ» — вертикально интегрированная металлургическая и горнодобывающая компания с активами в России, на Украине, в США, Канаде, Италии и Южной Африке. Входя в двадцатку крупнейших производителей стали в мире, она является мировым лидером по производству рельсов и одним из крупнейших производителей ванадия.

«ЕВРАЗ» решила разработать свой корпоративный стандарт с целью снижения рисков отказа в предоставлении ИТ-услуг бизнесу. За основу взят документ ANSI/TIA-942 Telecommunications Infrastructure Standard for Data Centers, но при этом были учтены российские требования по пожаро- и электробезопасности, а также особенности бизнеса «ЕВРАЗ». Итоговый текст значительно короче TIA-942 — там, где возможно, дается ссылка на зарубежный документ.

Принятый в компании «ЕВРАЗ» стандарт отличается от еt, в частности, числом уровней надежности серверных помещений: в первом их три, во втором, как известно, четыре уровня Tier. Согласно документу «ЕВРАЗ», уровень 1 — базовый, уровень 2 — с резервированием основных компонентов инфраструктуры, уровень 3 — отказоустойчивая инфраструктура.

Серверные помещения в TIA-942 не классифицируются с привязкой к их площади — в них дается лишь общая рекомендация проектировщикам оценить необходимое пространство с учетом перспективы развития ЦОД. В документе «ЕВРАЗ» определены три категории помещений в зависимости от размера: серверный отсек, серверная комната и корпоративный ЦОД (см. Таблицу 1).

Таблица 1. Категории серверных помещений в зависимости от их площади, согласно корпоративному стандарту «ЕВРАЗ».

В принятом документе изложены рекомендации по разработке технических заданий при создании и модернизации помещений, предназначенных для установки элементов ИТ-систем. Кроме того, определены требования для проведения аудита серверных помещений и ЦОД.

В качестве примера Алексей Мочальников привел использование этого стандарта для аудита серверной инфраструктуры управляющей компании «ЕвразХолдинг». Цель аудита, проводимого внешним подрядчиком (компания «Ай-Ти»), заключалась в получении общей объективной информации и экспресс-оценки текущего состояния инженерных подсистем и серверного оборудования.

Аудит, в частности, показал несоответствие требованиям стандарта при организации резервного и бесперебойного электропитания: ДГУ отсутствовала (отказоустойчивость обеспечивалась только подключением к двум независимым подстанциям с автоматическим переключением через АВР), а в параллельной системе ИБП не было выполнено резервирование N+1. Аудитор рекомендовал исправить эти недостатки, а также изолировать «горячий» или «холодный» коридор и внедрить комплексную систему мониторинга и управления инженерными системами.

Корпоративный стандарт использовался и при возведении одного из новых ЦОД (введен в эксплуатацию в декабре 2012 года) — для «ЕВРАЗ ЗСМК» (Западно-Сибирский металлургический комбинат). Предпосыл-ками его создания стало моральное и физическое устаревание инженерной инфраструктуры прежнего ЦОД, что повышало риски перебоев в предоставлении ИТ-сервисов. Новый ЦОД с суммарной потребляемой мощностью 180 кВА гарантирует доступность инженерной инфраструктуры не ниже 99,95%. Максимальная мощность каждого серверного шкафа — 10 кВт. В ЦОД установлена система мониторинга StruXureWare Central компании Schneider Electric.

ПЕРЕЕЗД ЦОД НА 8000 КМ

Уникальным опытом миграции банковских сервисов из корпоративного ЦОД в Хабаровске на располагающуюся в 8 тыс. км от него площадку коммерческого ЦОД в Москве поделился Олег Попов — руководитель проекта построения ЦОД компании «Восточный экспресс банк».

Эта организация входит в тройку крупнейших банков по размеру филиальной сети, располагая самой широкой сетью филиалов среди частных российских банков, и в ТОП-10 по объему депозитов физических лиц и потребительских кредитов. Но изначально банк создавался как региональный. Его ЦОД в Хабаровске, построенный в 2005 году, представляет собой комплекс из пяти помещений общей площадью около 110 м2, в которых размещается 28 стоек с оборудованием. В 2013 году утилизация серверных помещений достигла 91%, и когда стало ясно, что текущие и потенциальные потребности бизнеса переросли возможности существующей инфраструктуры, было принято решение о необходимости организации нового ЦОД.

Вариант со строительством нового ЦОД или модернизацией уже имеющегося был отвергнут по ряду причин, включая отсутствие в регионе свободных электрических мощностей и квалифицированных специалистов. Несмотря на все сложности миграции, площадку стали искать в Москве, где эти ресурсы имеются, хотя и стоят дорого.

Собственный ЦОД решено было не строить, а воспользоваться услугами коммерческой площадки, в качестве которой был выбран ЦОД DataSpace1. Поскольку основными акционерами банка являются международные инвестиционные фонды, важным условием стало наличие у ЦОД сертификата Tier III. Кроме того, в пользу DataSpace1 сыграли его готовность немедленно принять оборудование, наличие необходимых свободных площадей и достаточной мощности, финансовая устойчивость и выгодные условия для заказчика.

В сжатые сроки на площадке DataSpace1 была развернута необходимая ИТ-инфраструктура. В качестве серверного оборудования установлены бизнес-критичные системы Oracle и системы x86 IBM FlexSystem, развернута система хранения данных HDS, в качестве сетевого оборудования были выбраны коммутаторы Cisco Nexus, а для сети SAN — продукты Brocade. Основная часть затрат (64%) при организации нового ЦОД пришлась именно на стоимость ИТ-инфраструктуры, в которой дороже всего обошлись серверы (46%) и СХД (32%) (см. Рисунок 1).

Рисунок 1. Структура расходов компании «Восточный экспресс банк» при организации собственного ЦОД на площадке коммерческого центра DataSpace1.

Собственно миграция приложений заняла всего две недели — она осуществлялась в новогодние каникулы 2014 года. Все работы были проведены менее чем за год после принятия решения о переводе в Москву инфраструктуры для предоставления банковских сервисов. Как отмечает Олег Попов, реализация проекта позволила решить задачу обеспечения непрерывности бизнеса, повысить надежность хранения и обработки данных, а также добиться более эффективного использования существующих приложений.

УЧЕТ И БИЛЛИНГ В НОВОМ ЦОД

Новый ЦОД, введенный в эксплуатацию в мае 2013 года, стал «домом» для современных систем абонентского учета, биллинга и управления энергоданными компании «Челябэнергосбыт». Эта организация обслуживает 1,3 млн физических лиц и около 40 тыс. юридических лиц, расчеты с которыми производятся по показаниям 1,5 млн приборов учета.

Как рассказывает Александр Меньшиков, начальник управления автоматизации «Челябэнергосбыта», до внедрения промышленной системы абонентского учета и биллинга для работы с физическими лицами использовались 14 изолированных баз данных во всех подразделениях, а с юридическими — 12 разнородных функциональных программных комплексов. Информационный обмен осуществлялся путем пересылки по почте файлов dbf. Единое решение для централизованной работы с энергоданными отсутствовало.

В настоящее время совместно с консалтинговой группой «Борлас» реализована трехуровневая ИТ-система, состоящая из систем управления энергоданными (Oracle Utilities Meter Data Management), биллинга (Oracle Utilities Customer Care & Billing) и аналитики (Oracle Business Intelligence) (см. Рисунок 2). Для выполнения этого ПО установлены оптимизированные программно-аппаратные комплексы Oracle: машина баз данных Exadata Database Machine и платформа приложений Exalogic Elastic Cloud. В состав обоих комплексов входят серверы, системы хранения данных, сетевые компоненты и программное обеспечение.

Рисунок 2. Архитектура ИТ-системы, которую использует ОАО «Челябэнергосбыт».

Проект потребовал модернизации внешней сетевой инфраструктуры, в частности установки балансировщиков нагрузки Cisco ACE-4710 (см. Рисунок 3). Что касается самого ЦОД, то при проектной мощности 110 кВт площадь его технологических помещений составляет 64 м2. Объект оборудован кондиционерами Emerson Network Power, источниками бесперебойного питания Chloride (в составе Emerson), системой газового пожаротушения на основе «Новек-1230», а также средствами видеонаблюдения, контроля доступа и охранной сигнализации.

Рисунок 3. Упрощенная схема ИТ-инфраструктуры, обеспечивающей деятельность ОАО «Челябэнергосбыт».

Итогом реализации проекта стало создание единой централизованной системы по расчетам с физическими и юридическими лицами, а также централизованного хранилища всех поступающих энергоданных. Кроме того, сформировано централизованное хранилище данных для генерации отчетов. В результате показатели работы существенно улучшились. Так, время расчета потребления и начислений снижено в 2,5 раза (с 32,6 до 12,1 мс на одного абонента), длительность выгрузки файла с квитанциями — в 7,5 раза (с 13,0 до 1,8 с на одного абонента), продолжительность обработки показаний приборов учета — в 11 раз (с 90,0 до 8,0 мс на один прибор учета).

ПЕРВЫМ ДЕЛОМ — САМОЛЕТЫ, НО БЕЗ ЦОД НИКАК

Полученные ОАО «Туполев» в 2013 году новые заказы, в основном в военной сфере, потребовали существенной модернизации ИТ-инфраструктуры. Как рассказывает Александр Кравченко, заместитель директора по ИТ этого ведущего разработчика авиационной техники, еще несколько лет назад ИТ-системы «ютились» в нескольких серверных, оборудованных в офисных помещениях и охлаждаемых бытовыми кондиционерами. В середине прошлого года, когда перед компанией были поставлены большие задачи в рамках государственной программы, она получила средства на создание современной ИТ-инфраструктуры.

Основная цель построения нового ЦОД — повышение доступности и отказоустойчивости ИТ-сервисов. Предстояло создать инфраструктуру для надежной и высокопроизводительной работы систем управления жизненным циклом изделий (PLM), а также проведения ресурсоемких аэродинамических и прочностных расчетов. Кроме того, реализация проекта должна была покрывать соответствующие потребности активно развивающегося предприятия как минимум в течение трех лет.

При выборе конкретных решений специалисты конструкторского бюро руководствовались определенными критериями: наряду с эффективной поддержкой виртуализации и организацией вычислительных кластеров необходимы были интегрированные возможности по централизованному управлению. Кроме того, во внимание принимался опыт эксплуатации подобных систем в ИТ-инфраструктуре других предприятий авиационной отрасли — как в России, так и за ее пределами.

Поскольку вся сеть предприятия построена на оборудовании компании Cisco, то и для сетевого решения в новом ЦОД приобрели устройства этого производителя. А вот при выборе серверного оборудования самым детальным образом анализировались блейд-системы всех ведущих производителей. В конечном счете приоритет был отдан тоже продуктам Cisco — серверам Unified Computing System (UCS). Рекомендации этой компании помогли определиться и с поставщиком систем хранения: для обеспечения наилучшей совместимости было решено использовать продукты EMC — дисковый массив Symmetrix V-MAX и систему резервного копирования DataDomain 670.

В ЦОД установлено пять блейд-корзин по восемь серверов UCS в каждой. В этих блейд-корзинах находятся только модули ввода-вывода, все функции по коммутации вынесены в сетевую «фабрику», основу которой составляют коммутаторы Cisco UCS 6248 Fabric Interconnect и Cisco Nexus 5548. Для подключения серверов к коммутаторам UCS 6248 Fabric Interconnect задействована конвергентная технология FCoE, а для подключения к ним систем хранения — классическая Fibre Channel (8 Гбит/с). Сама «фабрика» состоит из каналов 10 Gigabit Ethernet, а для сети управления использована менее скоростная технология Gigabit Ethernet. До конца года компания планирует подключить к созданной системе старое оборудование для обеспечения резервирования.

Подводя итог проделанной работы, Александр Кравченко констатирует, что созданный ЦОД обеспечивает потребности предприятия на ближайшие три года, с минимальными затратами на последующее расширение серверной инфраструктуры. Производительность вычислительного кластера на базе оборудования Сisco UCS B-Series составляет 1,6 Тфлопс. Мониторинг всех инженерных и вычислительных систем ЦОД реализован средствами MS SCOM.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.