По данным DataCenterDynamics, в прошлом году в американский рынок ЦОД было инвес-тировано около 6 млрд долларов, в текущем — общая сумма вложений может достичь 8 млрд долларов. Европейский рынок ЦОД аналитики BroadGroup оценивают примерно в 750 млн евро (по результатам 2007 г.). Как прогнозируют в аналитической компании «Современные Телекоммуникации», объем российского рынка услуг ЦОД в 2008 г. составит 2,31 млрд рублей, причем в промышленно развитых районах РФ спрос на подобные услуги растет на 25-30% в год. В основном этот бизнес сосредоточен в Москве (78%) и Санкт-Петербурге (12%), на регионы приходится не более 10%. По информации «Мастертел», в Москве функционирует около 20 крупных ЦОД, и их количество будет расти.
Несмотря на высокую стоимость строительства и эксплуатации ЦОД, спрос на услуги размещения информационных систем в хорошо оборудованных центрах данных с гарантированным электропитанием, мониторингом и привязкой к телекоммуникационным сетям с высокой пропускной способностью быстро растет, причем в России потребность в услугах ЦОД значительно превышает предложение. Как отмечает Алексей Солодовников, руководитель департамента по работе с корпоративными заказчиками российского представительства APC, сейчас реализуется несколько крупных программ строительства ЦОД, однако до сих пор правила диктует продавец, поскольку «стойко-места» раскупаются уже на этапе строительства. Между тем, даже у хостинг-провайдеров трудно найти ЦОД уровня Tier IV (см. Таблицу 1), и, как считают эксперты, они не появятся, пока не будет реальной конкуренции. Отечественные ЦОД все еще уступают зарубежным: заказчики предпочитают экономить и довольствуются не слишком высоким уровнем проектирования и функциональности систем диспетчеризации и управления. Однако при строительстве новых ЦОД разработчики стараются использовать опыт других стран, внедрять передовые решения и не повторять чужих ошибок.
По подсчетам Андрея Павлова, генерального директора компании «ДатаДом», российский рынок ЦОД растет на 30% в год. Еще недавно у клиентов не было полного понимания, что такое ЦОД и для чего он нужен. Теперь они задаются вопросом, как сделать ЦОД более надежным и экономически эффективным. По стоимости площадей ЦОД Россия вышла на мировой уровень, возросла и цена строительства (см. Рисунок 1). Так, ЦОД Tier III площадью 200 м2 обходится примерно в 1 млн долларов.
Аналитики Gartner выделяют несколько критических факторов, которые будут оказывать влияние на архитектуру ЦОД в ближайшие годы. Это процессорные технологии, архитектура систем и энергопотребление микросхем; системная архитектура на уровне серверов (плотность оборудования, типы серверов и виртуализация); операционные процессы и инструментальные средства (удаленное управление, настройка конфигурации, распределение ресурсов); защита от аварий и резервное копирование; изменения в ОС и приложениях (SOA, поддержка унаследованных приложений, мейнфреймы); консолидация ресурсов; изменения на уровне инженерных систем (энергоснабжение и охлаждение).
В июне «Журнал сетевых решений/LAN» при участии агентства корпоративных коммуникаций OSP-Con провел третью ежегодную конференцию по центрам обработки данных. Она называлась «ЦОД в России: проектирование, развертывание, эксплуатация» и была посвящена особенностям построения и обслуживания центров данных в отечественных условиях.
ЭФФЕКТИВНЫЙ ЦОД
При выборе того или иного подхода к созданию ЦОД необходим баланс затрат и рисков. Спирос Лионис, разработчик решений HP (подразделение трансформации ЦОД и обеспечения непрерывности бизнес-операций), подчеркнул, что одна из основных проблем ЦОД — рост энергопотребления до 4-12 кВт/м2. Иногда мощность стойки достигает 32 кВт, поэтому системы кондиционирования и вентиляции должны справляться с отводом выделяемого оборудованием тепла.
Как заметил Олег Письменский, директор департамента консалтинга и клиентских проектов APC, стоимость электроэнергии и кондиционирования составляет значительную часть расходов в ЦОД. По оценкам «ДатаДом», эксплуатационные расходы на реальный ЦОД, в котором размещается 100-220 заполненных на 50% стоек, делятся следующим образом: 40% — зарплата персоналу, 24% — аренда помещения, 11% — текущее обслуживание систем, 25% — оплата электроэнергии. При 100% заполнении стоек последний показатель возрастает до 40%.
Повышение энергоэффективности ЦОД — один из наиболее острых вопросов, широко обсуждаемых за рубежом. Дефицит энергомощностей, высокая стоимость подключения к электросетям и быстрый рост тарифов на электроэнергию заставляют и российских заказчиков уделять этой проблеме повышенное внимание. Так, Алексей Солодовников считает, что для площадок с потреблением в десятки киловатт повышение эффективности чиллеров и другого оборудования даже на несколько процентов означает существенный выигрыш в экономии электроэнергии.
Прогнозы роста энергопотребления стоек двух-трехлетней давности сбываются с точностью до киловатта (см. Рисунок 2), и в ближайшие 5-7 лет трудно ожидать существенных изменений в этих тенденциях. Хотя в мире среднее энергопотребление на стойку пока невелико (примерно 5 кВт), в отдельных решениях оно может достигать 40-50 кВт, причем в некоторых российских проектах — около 30 кВт. По данным «ДатаДом», в прошлом году в среднем отечественном ЦОД энергоемкость стойки составляла 5-25 кВт, а под одну стойку отводилась площадь 2-2,5 м2.
При тепловыделении свыше 10 кВт для отвода тепла применяются либо кондиционеры, встраиваемые в ряды стоек, закрытые горячие коридоры и горизонтальная циркуляция воздуха, либо жидкостное охлаждение на уровне шкафа. Сейчас разрабатываются системы, где плотность мощности может быть больше в 2,5 раза. Поэтому при развертывании высокопроизводительных серверов необходимо тщательно оценить их воздействие на инфраструктуру ЦОД.
Встраиваемые кондиционеры и горизонтальная циркуляция, в отличие от подачи холодного воздуха через фальшпол, позволяют добиваться равномерности охлаждения, утверждает Алексей Солодовников. Именно развертывание стоек высокой плотности привело к выпуску таких кондиционеров и к реализации систем бесперебойного, или непрерывного, охлаждения. Что касается систем с жидкостным охлаждением стоек, они хороши лишь при небольшой частоте изменений в ЦОД, поскольку перекладывание системы труб — серьезная и сложная работа. Кроме того, для сервера с водяным охлаждением придется покупать чиллер. Пока данный подход нашел применение лишь в суперкомпьютерах и кластерах HPC.
По словам Виктора Гаврилова, инженера технической поддержки департамента систем прецизионного кондиционирования Emerson Network Power, повысить энергоэффективность ЦОД можно лишь при условии грамотно спроектированной архитектуры. Без начальной инженерной проработки говорить о высокой отдаче от климатического оборудования не приходится. Необходимо детальное ТЗ, где указывается тепловыделение каждой стойки и описана геометрия помещения, иначе возможны ситуации, когда это оборудование потребляет энергии в полтора-два раза больше, чем системы ИТ, а некоторые стойки, тем не менее, перегреваются.
На важность планирования работы систем кондиционирования указывает и Андрей Павлов. До 20% их мощности теряется из-за ошибок проектирования и монтажа. Избежать этого можно с помощью термического моделирования и оптимизации инженерной инфраструктуры, сокращения расстояний между кондиционерами и серверными шкафами, устранения утечек холодного воздуха, увеличения высоты фальшпола, регулирования потока воздуха перфорированными плитами.
Правильно построенная открытая архитектура охлаждения позволит заказчику быстро отреагировать на меняющуюся нагрузку и принять меры к снижению энергопотребления и стоимости владения ЦОД. Оценить эффективность использования ЦОД весьма сложно, поэтому, по мнению Виктора Гаврилова, имеет смысл говорить о снижении потребления электроэнергии оборудованием (см. Рисунок 3).
Сегодня на каждый ватт активной нагрузки необходимо затратить ватт холодильной мощности для отвода тепла, в связи с чем актуальным становится использование более эффективного климатического оборудования. Компания Emerson, например, предлагает кондиционеры с плавной регулировкой холодопроизводительности (функция Digital Scroll) и вентиляторы с регулируемой скоростью вращения (EC), а для уменьшения времени работы компрессора кондиционера применяются системы естественного охлаждения (Free Cooling). По данным Emerson, размещение систем охлаждения ближе к нагрузке позволяет сберечь до 30% энергии. Подобные подходы реализуются многими известными поставщиками климатического оборудования.
Шкафные кондиционеры с вентиляторами, скорость вращения которых изменяется в зависимости от нагрузки на оборудование ИТ, поставляют большинство производителей. Такие вентиляторы обеспечивают правильное распределение воздушных потоков при росте инфраструктуры, вносят дополнительный вклад в энергосбережение (около 8%), а возврат инвестиций происходит всего за несколько месяцев. Скорость их вращения регулируется в целях поддержания постоянного давления под фальшполом. На основании информации от датчиков давления система подстраивается под меняющуюся нагрузку и геометрию пола, что позволяет контролировать температуру в зоне холодного коридора и отводить тепло, не применяя дополнительных кондиционеров-доводчиков.
Кондиционеры с компрессорами, обладающими функцией Digital Scroll (от 10 до 200 кВт) для плавной регулировки холодопроизводительности (в диапазоне от 30% до 100% в одноконтурных и от 15% до 100% в двухконтурных моделях) сглаживают пики тепловой нагрузки в помещениях, где условия работы не отличаются стабильностью. Контроллер автоматически изменяет производительность кондиционера — мощность системы охлаждения адаптируется к нагрузке. Это упрощает проектирование серверных комнат, рассчитанных на непостоянную нагрузку, и дает определенный запас холодильной мощности на случай отказа. Кроме того, когда компрессор разгружается до 80% мощности, характерное для него отношение явной и полной холодопроизводительности приближается к единице. Вдобавок он перестает осушать воздух, так что можно обойтись без увлажнителей. Как утверждают в Emerson, такое оборудование окупается примерно за год, а общая экономия достигает 24%. Если заказчики планируют развивать ЦОД постепенно, то применение данных систем окажется выгодным, поскольку не требуется сразу задействовать избыточную мощность климатического оборудования и эксплуатировать его в режиме «короткий пуск — длительный останов», резко снижающем срок службы компрессоров.
Локальный отвод тепла позволяет обойтись вентиляторами меньшей мощности. Кондиционеры-доводчики Liebert XD устанавливаются между стойками или над ними и отводят от стойки 15-30 кВт. Благодаря развязке контуров водяного (от чиллера) и фреонового охлаждения (к стойкам), мощность можно наращивать в процессе эксплуатации ЦОД. Шкафные кондиционеры с водяным охлаждением серии Liebert HPM (от 6 до 230 кВт) для крупных ЦОД предусматривают двойное резервирование трубопроводов и теплообменников (в соответствии со стандартом TIA 942). Кроме того, в них устанавливаются два независимых теплообменника (горячий резерв на уровне кондиционера) и вентиляторы EC.
При низкой уличной температуре естественным становится использование внешнего холода. В оборудовании с функцией Free Cooling контроллер анализирует наружную температуру. Если она не превышает +5°C, то компрессоры не задействуются. В условиях Москвы система свободного охлаждения экономит около 46% электроэнергии и пять-семь месяцев в году забирает воздух с улицы. Андрей Павлов отмечает, что системы свободного охлаждения снижают энергопотребление в зимний период в четыре-пять раз, однако они на 30% дороже стандартных и отличаются большими габаритами. Для Москвы их расчетная окупаемость составляет полтора года.
Чиллеры с компрессорами Turbocor (работают без смазки) тоже на треть дороже обычных и имеют аналогичный срок окупаемости. Обладая высокой надежностью (удвоенный срок наработки на отказ) и низким уровнем шума, они потребляют на 25-30% меньше электроэнергии за счет отсутствия трения на роторе. Специалисты «ДатаДом» рекомендуют применять их при малой нагрузке. По статистике, почти 80% времени чиллер загружен на 50-75%. При загрузке в 75% производительность устройства, оснащенного компрессорами Turbocor, на 25-30% выше по сравнению с обычным (имеющим винтовые компрессоры) чиллером, причем стоимость эксплуатации примерно одинакова.
Чиллеры Emerson могут иметь обратную связь со шкафными кондиционерами; электроэнергия экономится при уменьшении нагрузки за счет повышения температуры воды, поступающей от чиллера. По данным Emerson, совокупность технологий энергосбережения, используемых в климатическом оборудовании, позволяет добиться значительной экономии электроэнергии — до 40%.
Как подчеркивает Андрей Павлов, сократить потребление помогают газогенераторы, мини-ТЭЦ и абсорбционные чиллеры. Если подключение к энергосетям обходится примерно в 3 тыс. долларов за 1 кВт, то мини-ТЭЦ с чиллером стоит менее 1800 долларов за кВт. Для ЦОД мощностью 1500 кВт экономия с учетом стоимости электроэнергии и обслуживания достигает 800 тыс. долларов, а за год такое решение окажется в 2,5 раза дешевле питания от энергосети.
ЦОД — ЭТО НЕПРОСТО
Одна из основных задач при создании ЦОД — обеспечить соответствие проекта требованиям бизнеса. Если различными подсистемами ЦОД на этапе строительства занимаются разные партнеры, «на выходе» можно получить неработоспособный «зоопарк». Отвечать за проект должен один подрядчик, поэтому, как отмечают в Lampertz, следует тщательно выбирать не только вендоров, но и генподрядчика. По мнению Алексея Солодовникова, ни одна компания не обладает компетенцией во всех областях строительства ЦОД, поэтому ключом к успешной реализации проекта является коллективный труд, когда каждый вносит свое ноу-хау в строительство объекта. 80% проектов, реализованных не в срок, не с должным качеством или с превышением заданного бюджета, имели в своей основе плохое управление. В России существует дефицит компетенции, и следование лучшей мировой практике помогает избежать ошибок и добиться максимального соответствия концепции ЦОД задачам бизнеса.
Проектирование инженерных систем ЦОД — важнейший этап их создания. По словам Александра Ласыя, директора департамента автоматизации инженерных систем компании КРОК, необходима проработка и оптимизация технических решений, анализ конфигурации всех систем, учет их взаимодействия и взаимного влияния. На этапе монтажа у заказчика нередко возникает потребность внести те или иные коррективы, но любое, даже незначительное изменение в проекте может повлечь целый ряд взаимообусловленных проблем и тем самым серьезно увеличит его стоимость.
Специалисты стараются подобрать именно то решение, которое заказчику наиболее подходит. При этом последний подчас имеет представление лишь о бизнес-процессе и не разбирается в специфике внедрения современной вычислительной техники. Кроме того, подразделения, эксплуатирующие оборудование ИТ и инженерные системы, не всегда находят точки соприкосновения. Нетривиальная задача системного интегратора состоит в том, чтобы реализовать все доступные инновации в жестких рамках проекта.
Сотрудники APC уверены, что для успешной реализации проектов ЦОД необходима детальная проработка концепций ИТ, обеспечение взаимодействия в проектной команде, анализ сценариев с точки зрения обес-печения катастрофоустойчивости и непрерывности бизнеса, применение принципов ITIL для управления жизненным циклом ЦОД. По словам Спироса Лиониса, клиенты нуждаются в консалтинге, планировании и оценке стоимости проектов с помощью соответствующих инструментов. Консалтинг предполагает стратегическое и тактическое планирование, в процессе которого определяется, какие ЦОД необходимы заказчикам и где они должны размещаться, осуществляется выбор топологии, уровень резервирования и способ миграции данных на новую площадку, рассчитывается примерная стоимость.
Нередко заказчики стараются неоправданно экономить, указывает Александр Ласый, однако первоначальные инвестиции — сомнительный критерий при реализации проектов ЦОД. Кроме того, в создаваемую сегодня инфраструктуру ЦОД нужно заложить необходимый запас на будущее. Современные модульные системы позволяют поэтапно инвестировать в развитие ЦОД, наращивая мощность систем кондиционирования и электропитания по мере необходимости, однако рост нужно планировать заранее.
По мнению Василия Галагана, руководителя отраслевого сбыта Rittal, надо комплексно оценивать все решение и его последующее обслуживание. Уже на начальной стадии развертывания ЦОД приходится учитывать будущие требования. Это увеличивает капиталовложения и влечет высокие затраты на электроэнергию и аренду. Комплексное решение Rittal экономит, по оценкам HP, до 45% и более электроэнергии. Кроме того, благодаря модульности системы Rittal RimatriX5 заказчик «платит по мере роста». Идея модульности реализована и в решениях для поддержания климатических условий в ЦОД, включая жидкостную систему охлаждения LCP Inline, которая монтируется на боковую стенку стандартного серверного шкафа Rittal серий TS или PS. Модульная система электропитания Power Distribution Rack поддерживает до 32 стоек по 10 кВт, а расширяется без отключения основного питания.
В APC согласны с тем, что физическая инфраструктура ЦОД должна предусматривать возможность поэтапного внедрения при неизвестных будущих потребителях и обеспечивать эффективное использование электроэнергии, охлаждения и пространства. Для этого компания разработала так называемую адаптивную инженерную инфраструктуру.
БЕЗ ОТКАЗОВ
Все большее значение приобретают вопросы катастрофоустойчивости и создания резервных ЦОД. Для предприятий, предъявляющих высокие требования к непрерывности бизнеса, это становится обязательным условием. По мнению Андрея Иванова, ведущего инженера компании «Тринити», построение отказоустойчивой инфраструктуры надо начинать с исследования существующей инфраструктуры ИТ, выяснения требований по времени восстановления (RTO) и максимально допустимому объему потерь (RPO) для каждого информационного сервиса и компонента ИС, расчета стоимости простоя сервисов для основных подразделений, составления реестра рисков и определения необходимых изменений. В подобных проектах важна поддержка руководства компании-заказчика, подготовка существующей инфраструктуры ИТ к модернизации, составление плана внедрения с указанием сроков работ, тестирование механизмов отказоустойчивости.
В одном из таких проектов специалисты «Тринити» разделили серверы по группам для критичных и некритичных приложений. Защита информации серверов, RTO которых составляет более суток, осуществляется путем регулярного ежедневного резервного копирования (они не входят в состав отказоустойчивой системы), а серверы c кратко-срочным RTO (менее часа) резервируются путем объединения в кластер (с помощью ПО Symantec) вместе с общими СХД. Для уменьшения стоимости решения в «Тринити» использовали не полное дублирование компонентов, а резервирование N+1. Кластер подключается через резервируемые коммутаторы FC к резервируемой СХД. Группы серверов объединены в сеть, соединены с СХД для резервного копирования (посредством ПО Symantec BackupExec) и с ленточным накопителем. В результате заказчик получил отказоустойчивый кластер с возможностью наращивания вычислительных ресурсов и профилактики серверов без остановки сервисов, критичных для бизнеса.
Еще об одном проекте создания отказоустойчивого ЦОД рассказал Павел Пиотровский, заместитель начальника центра информационных технологий и связи (ЦИТИС). Он построен для «Уральского оптико-механического завода» (УОМЗ), эксплуатировавшего разнородный и многочисленный парк оборудования. Предприятию нужно было избавиться от нерационального использования ресурсов ИТ, высоких расходов на обслуживание серверов, длительного времени резервного копирования, недостаточной отказоустойчивости и масштабируемости. Разработчики решили эту задачу, развернув два шасси модульных серверов HP BladeSystem c7000 и серверы HP BL460c на двух идентичных площадках (узлах) с синхронным тиражированием. Оба узла, работающих в режиме Active-Active, обеспечивают высокую готовность за счет дублирования критичных компонентов: серверов, СХД HP EVA4000, сети хранения данных и системы электропитания. Время переключения узлов кластера не превышает 5 мин, а СХД — 15 мин.
При строительстве ЦОД нужно учитывать возможные долговременные отключения электроэнергии, дефицит мощностей, климатические особенности региона, а также аварийные ситуации, влияющие на его функционирование. Особо важные объекты требуют систем гарантированного электроснабжения. Григорий Муравьев, ведущий проектировщик NeuHaus, считает, что, прежде всего, надо обеспечить гарантированное электропитание и необходимый теплоотвод, правильно выбрав решения и оборудование.
Для достижения высокой надежности ЦОД требуется резервирование ИБП, электрогенераторов, кабельных магистралей, систем холодоснабжения. Система управления автоматически запускает электрогенераторы при аварии в энергосети, обеспечивает переход на резервное электропитание без отключения оборудования ИТ и возврат на питание от основной сети после ее восстановления. По словам Григория Муравьева, система распределения электроэнергии должна предусматривать гибкость переключений, возможность ремонта без остановки ЦОД и расширение без существенных дополнительных затрат, применение высококачественных комплектующих и унифицированных элементов. Подчас оптимальные решения сильно отличаются от устоявшихся классических схем.
Комплексные решения APC, Rittal и Emerson объединяют в себе всю инженерную инфраструктуру, а защищенные комнаты от Lampertz обеспечивают физическую безопасность центра данных. Такие системы все более востребованы, особенно крупными компаниями. По словам Александра Ласого, использование комплексной системы инженерного обеспечения ЦОД дает значительный эффект. Например, в результате внедрения отказоустойчивой системы поддержания климатических условий, бесперебойного питания и ограничения доступа в серверное помещение крупного оператора связи количество отказов серверов снизилось на 30%, комплектующих — на 50%, затраты на сервис и ремонт уменьшились на 35%, практически исключен несанкционированный доступ.
Для защиты ЦОД от пожара Rittal и Lampertz предлагают компактную (модуль 1U в стойке) и легко обслуживаемую систему пожаротушения на основе органического газа Novec1230 или FM-200 либо инертной газовой смеси Inergen. Газ необходимо заменять раз в три года, при тушении он не наносит вреда оборудованию. Между тем, 80% пожаров происходят снаружи ЦОД, поэтому центры данных уровня Tier II-IV требуют применения решений для физической защиты, причем российские заказчики все чаще используют решения Lampertz. «Строительными мерами невозможно добиться должного уровня пожарной безопасности, либо затраты будут выше стоимости защищенного помещения Lampertz», — утверждает Станислав Заржецкий, директор компании «Lampertz Россия». В мае в России вступил в действие новый ГОСТ Р №52919-2008 («Методы и средства физической защиты. Классификация и методы испытаний на огнестойкость. Часть 2. Комнаты и контейнеры данных»). Названный документ — перевод европейской нормы EN 1047-2 — содержит требования к физической защите ЦОД, которые действуют в Евросоюзе. Решение Lampertz отвечает требованиям ГОСТа и EN.
УДАЛЕННЫЙ ЦОД
Один и важнейших вопросов при строительстве ЦОД — его местоположение. В IBS DataFort в числе обязательных требований к размещению ЦОД выделяют легитимность сооружения, сейсмическую безопасность, наличие подъездных путей и парковки, возможности доставки тяжелого и негабаритного оборудования к месту установки. Иногда выдвигаются дополнительные требования: ограниченный доступ в помещение с двумя и более периметрами охраны, отсутствие окон, подвод энергоснабжения через подземные магистрали, наличие резерва в системах вентиляции, два независимых ввода магистральных линий связи, возможность беспрепятственного проезда заправщика к ДГУ.
Задача стоит непростая — найти баланс между отказоустойчивостью и надежностью ЦОД, с одной стороны, и его стоимостью, с другой. Решение — в размещении ЦОД за пределами мегаполисов. Как рассказал генеральный директор IBS DataFort Денис Калинин, несмотря на распространенное мнение, что ЦОД должен располагаться в том же месте, где базируется сама компания, реализация такого варианта сопряжена со значительными сложностями, да и необходимости в этом нет. Найдя правильное место, можно гораздо проще и дешевле решить 99% проблем, возникающих при строительстве ЦОД.
Нередко считают, что удаленный ЦОД неизбежно означает транспортную недоступность для персонала, сложную логистику, высокую стоимость и отсутствие каналов связи. Как утверждают в IBS DataFort, эти проблемы легко решаются с помощью удаленного администрирования, наличия на месте команды специалис-тов или путем аутсорсинга администрирования. Оборудование приходится доставлять не слишком часто, а стоимость строительства каналов сопоставима с тем, что предлагается в Москве. Компания нашла подходящую площадку для ЦОД в свободной экономической зоне в Дубне, благодаря чему удалось семикратно сэкономить на подключении энергомощностей, вдвое — на аренде земли и помещений, существенно сократить затраты на персонал.
В IBS DataFort считают, что ЦОД эволюционируют именно в направлении аутсорсинга (см. Рисунок 4). Аутсорсинг услуг ЦОД может принимать разные формы: размещение и обслуживание оборудования заказчика, сдача в аренду оборудования и инфраструктуры, предоставление услуг администрирования систем и управления системами («система как сервис»), хотя последнее встречается довольно редко.
При аутсорсинге заказчик получает такие выгоды, как гарантированная работоспособность оборудования, централизация ресурсов, возможность быстрого развертывания офисов и наращивания ресурсов, снижение ТСО, соблюдение параметров предоставляемых услуг (SLA). Ряд компаний уже предлагают соответствующие услуги тем, кто не готов тратить деньги на строительство центров данных или решать проблему создания резервных ЦОД. Однако многие не доверяют сторонним площадкам и предпочитают вкладываться в собственные центры данных.
ЦОД В КОНТЕЙНЕРЕ
Сегодня наряду с консолидацией и укрупнением ЦОД наблюдается и обратная тенденция, когда ЦОД разбивается на части, помещаемые в контейнеры. Как отмечает Андрей Кормильцев, директор департамента ИТ компании «Черус», это решение появилось в ответ на дефицит площадей, мощностей, профессиональных кадров и рост тепловыделения.
Кроме размещения ЦОД в отдельном здании или в специальном помещении, существует и полностью мобильное решение. По словам Григория Муравьева, монтаж оборудования ЦОД в перевозимом контейнере обеспечивает простоту развертывания, оперативность внедрения и легкость масштабирования (путем добавления контейнера). Такие решения находят применение в отрасли связи и в промышленности, например, в нефтегазовом секторе. Системы кондиционирования и питания (ДГУ) размещаются в отдельном контейнере, либо, при небольшом тепловыделении стоек, все оборудования монтируется в одном вандалозащищенном контейнере. Данный подход удобно использовать там, где невозможно построить стационарное здание.
Такой вариант иногда оказывается удобен и для установки систем резервного электропитания. Их можно поместить, например, во всепогодный контейнер на шасси-прицепе. При этом, поясняют в NeuHaus, согласования не требуется — необходимо лишь ввести кабель в здание и предусмотреть систему безопасного и бесшумного выхлопа.
Сегодня контейнерные/мобильные ЦОД есть практически у всех крупных зарубежных вендоров. В России такие продукты разработали компании «Черус» и «Ситроникс Информационные технологии». Как рассказывает Андрей Кормильцев, мобильный ЦОД (МЦОД) содержит ту же инфраструктуру, что и обычный, но заказчик получает свободу в выборе места размещения, модульность и масштабируемость, высокую скорость развертывания, экономичность (подключение к более дешевым источникам электроэнергии, отсутствие арендной платы за помещение, минимум персонала), а также широкие возможности выбора специальных конфигураций.
«Черус» разработала МЦОД класса Tier II (для основного ЦОД) и Tier III (для резервного). В 20-футовом контейнере размещается четыре-пять стоек 19” с оборудованием, одна стойка с ИБП и три кондиционера. В нем предусмотрены системы бесперебойного электроснабжения, газового пожаротушения, контроля доступа, видеонаблюдения. МЦОД может работать при температуре от -30 до +30°C. Компания планирует создать решение, предусматривающее увеличение холодильной мощности МЦОД с 30 до 120 кВт, жидкостное охлаждение, размещение чиллера, ИБП и ДГУ в едином корпусе 40-футового контейнера. Типовой МЦОД изготавливается за четыре месяца, а для монтажа и подключения (без учета доставки) на площадке заказчика требуется две недели.
Для раздельного питания серверного оборудования и кондиционера используются два ИБП APC Symmetra PX 30kW. К контейнеру можно подключить ДГУ (Рисунок 5). ПО VMWare ESX поддерживает 35 виртуальных машин и дает возможность сократить энергопотребление на 10-15%. В холодное время года электроэнергия экономится благодаря применению систем свободного охлаждения (кондиционеров Liebert HPW WM15MD). Автоматическая система диспетчерского управления обеспечивает удаленный контроль состояния инженерного оборудования, температуры и влажности, системы энергоснабжения, аварийных ситуаций, противопожарной защиты. Для размещения МЦОД нужна лишь ровная площадка, подведенная электрическая мощность и каналы связи. По данным разработчиков, стоимость типового МЦОД с инженерной и вычислительной инфраструктурой составляет 760 тыс. долларов. Согласно прогнозам «Черус», 2008 г. станет переломным в использовании мобильных/модульных ЦОД. Однако компания признает, что в России мобильный ЦОД пока остается нишевым продуктом.
КОНСОЛИДАЦИЯ И ВИРТУАЛИЗАЦИЯ
Кроме экстенсивного пути (увеличения плотности и мощности стоек), существует другой путь — виртуализация, отмечает Владимир Мешалкин, начальник отдела серверов и систем хранения «АМТ-Групп». Эта технология известна более 40 лет, но достичь значимых результатов удалось лишь сейчас. Среди множества достоинств виртуализации можно отметить более эффективное использование ресурсов без значительного увеличения энергопотребления и потребности в охлаждении, что позволяет рассматривать ее как способ сокращения издержек на электроснабжение, охлаждение и обслуживание систем ЦОД.
Функции переноса работающих приложений с одного сервера на другой (миграции виртуальных машин) можно использовать для перевода сервера в режим профилактического обслуживания, при отказе, для балансирования нагрузки, а в ночные часы переводить приложения на другие серверы, отключая недогруженные системы. За рубежом более половины компаний применяют виртуализацию серверов в качестве меры сокращения энергопотребления ЦОД, в России же эту технологию используют лишь два десятка крупных центров. Между тем, как показывает практика реальных проектов, ее применение позволяет упростить структуру ЦОД, снизить срочность поставки оборудования, сократить количество рутинных операций.
По данным «АМТ-Груп», виртуализация повышает коэффициент загрузки серверов с 15% до 50-70%, позволяет снизить капитальные затраты на оборудование и ПО на 30-40%, а операционные — более чем на 50%. Количество серверов, обслуживаемых одним системным администратором, увеличивается с 10 до 30, и обеспечивается поддержка непрерывности бизнеса, причем без специальных дорогостоящих решений (большинству приложений нужен уровень доступности 99,5%). «Основная идея виртуализации — получить больше за меньшие деньги», — таков вывод Владимира Мешалкина. По оценкам «АМТ-Груп», для сотни серверов — с учетом затрат на оборудование, лицензии на ПО и аренду площадей — виртуализация дает финансовый выигрыш примерно в 1,7 раза.
В IDC консолидацию и виртуализацию рассматривают как лучший способ преодоления неконтролируемого роста инфраструктуры ИТ. По данным HP, упрощение архитектуры ЦОД за счет консолидации приводит к значимым результатам. Для достижения больших успехов в своем бизнесе HP приступила к трансформации и консолидации собственных ЦОД (см. Рисунок 6). Цель проекта — сокращение затрат на ИТ, соответствие требованиям роста, обеспечение непрерывности бизнес-операций, ускоренное развертывание новых технологий. Это предполагает, в частности, внедрение непрерывного адаптивного управления охлаждением HP Dymanic Smart Cooling (DSC) для выделения ресурсов охлаждения согласно загрузке.
Как подтвердил Андрей Павлов, HP DSC экономит 20-45% электро-энергии (см. Рисунок 7) и позволяет использовать больше вычислительных систем, не выходя за рамки существующего бюджета. HP DSC активно управляет состоянием окружающей среды, опираясь на данные температурных измерений, получаемых от датчиков: охлаждаются только те элементы инфраструктуры ИТ, которые нуждаются в этом больше всего.
МОНИТОРИНГ ОТ И ДО
Основные инженерные системы ЦОД включают в себя СКС, систему кабелепроводов, бесперебойного питания, кондиционирования, обеспечения комплексной безопасности, мониторинга и управления инженерной инфраструктурой. Именно они, по мнению специалистов КРОК, составляют основу для надежной и долговечной работы серверов и систем хранения, обеспечения сохранности и целости важнейшей информации. Между тем, как считает Алексей Карпинский, директор департамента инженерных систем компании «Би-Эй-Си», в отечественных ЦОД проблема мониторинга и управления физической инфраструктурой до сих пор достаточно остра. Кроме того, по словам Дмитрия Никулина, технического директора «RIT Россия», для ЦОД характерна сложность учета ресурсов, разные зоны ответственности и риски, связанные с персоналом.
С точки зрения владельца, ЦОД — это высокая концентрация вычислительной техники на относительно небольшой площади и, как следствие, большое количество условий, которые нужно выполнить для обеспечения ее функционирования. На верхнем уровне существуют четко проработанные системы контроля ключевых бизнес-процессов (ITIL), програм-мные системы управления серверным парком и СХД. С инженерной инфраструктурой дело обстоит намного хуже. Опыт компании «Би-Эй-Си» показывает, что в 80% российских ЦОД системы управления и мониторинга инженерной инфраструктуры отсутствуют. Иногда внедряются разрозненные системы для мониторинга ИБП, ДГУ, СКС. Один из подходов к созданию единой системы мониторинга и управления инженерной инфраструктурой ЦОД состоит в следовании стандартам промышленных систем АСУТП и систем управления зданием. Открытая архитектура упрощает интеграцию с системами третьих производителей посредством открытых протоколов (BacNet IP, ModBus, LON, ProfiBus, KNX и т.д)
Разработанная «Би-Эй-Си» автоматизированная система мониторинга и управления (АСМУ) объединяет множество технологических и слаботочных подсистем (от контроля доступа до микроклимата) в единую систему, обеспечивающую оптимальное управление и мониторинг технического состояния оборудования, а также контроль всех основных элементов ЦОД. «Би-Эй-Си» реализует ее в пяти российских регионах для одного из операторов связи (см. Рисунок 8).
Важная часть ЦОД — структурированная кабельная система (СКС). Как отмечает Виталий Курдута, начальник отдела кабельных систем компании «Комплит», кабельная система ЦОД существенно отличается от слаботочной проводки в небольшой серверной. Для ЦОД характерна ограниченность монтажного пространства, большое количество портов (до сотен тысяч), большая частота коммутаций, критичность сроков и точности операций перемещения, добавления и замены оборудования, дороговизна монтажного пространства. В условиях ЦОД трудно вести журнал коммутаций кабельной системы. По данным «Комплит», уже через год эксплуатации образуется до 30% неучтенных подключений и появляются неточности в документации. В результате увеличиваются эксплуатационные расходы, а на каждое изменение в кабельной системе уходит более часа.
Кроме того, для традиционной технологии монтажа СКС характерны трудоемкие технологии оконцевания кабелей (сварка, кроссировка), затруднен перенос коммутационных панелей, ввод кабельных жгутов в шкафы, возникают проблемы при добавлении кабельных соединений. В одном из новых проектов ЦОД специалисты «Комплит» постарались исключить возможные трудности за счет использования претерминированных компонентов и системы мониторинга соединений между портами.
Для этого интегратор и заказчик выбрали претерминированную систему AMP Netconnect. Она состоит из волоконно-оптических каналов МРО на 10 Гбит/с и медножильных каналов MRJ21 на 1 Гбит/с и построена с использованием оконцованных и протестированных в заводских условиях соединительных кабелей, разветвительных шнуров, кассет и коммутационных панелей. По данным «Комплит», для проекта на 100 монтажных шкафов трудозатраты на СКС сокращаются не менее чем в пять раз, достигается экономия монтажного пространства (до 30%), обеспечивается простота реконфигурации и наращивания оборудования.
Однако, несмотря на «прозрачность» топологии СКС, возможность повторного использования компонентов, высокую плотность портов при минимальном заполнении кабельных трасс и исключение ошибок при монтаже, у этого подхода есть недостатки. К малым срокам монтажа нужно добавить сроки заказа и изготовления системы. Инсталляторы обращают внимание на жесткость кабеля MRJ21, что затрудняет его укладку на организаторах (требуется большой радиус изгиба), и критичность длины соединительного кабеля при заказе оборудования.
Такая кабельная система легко интегрируется с системой мониторинга — программно-аппаратным комплексом AMPTRAC (см. Рисунок 9). Он осуществляет контроль физических и логических соединений в реальном времени, ведет их журнал с фильтрацией по датам, портам и т.п., уведомляет о несанкционированных действиях, помогает находить устройства в сети (по IP- и МAC-адресу, а также по другим признакам), обеспечивает автоматизацию процессов сетевого администрирования, инвентаризацию ресурсов и заполнение кабельных журналов.
Александр Ласый утверждает, что такие решения позволяют сократить время установки нового оборудования в ЦОД или внесения изменений. При строительстве ЦОД КРОК использует кабельные системы SYSTIMAX/CommScope. Для управления физическим уровнем SYSTIMAX предлагает систему iPATCH, а для ЦОД разработаны претерминированные оптические решения InstaPATCH.
Эксплуатация ЦОД должна быть грамотно организована, и, по заверениям Дмитрия Никулина, системы управления СКС этому способствуют. Система управления кабельной инфраструктурой PatchView от RiT Technologies — ведущий продукт на данном рынке. Программно-аппаратный комплекс PatchView for the Enterprise Version 5.0 позволяет избежать трудностей эксплуатации ЦОД. Он работает в автоматическом режиме, самостоятельно обновляя свою базу данных, ведет учет ресурсов и журнал событий, осуществляет поиск устройств и упрощает коммутацию. Все это помогает обеспечить непрерывность сервисов.
Различные подразделения, эксплуатирующие ЦОД, могут получить доступ к единой базе данных, в которой содержатся сведения об оборудовании и портах, включая точное указание физического месторасположения устройств в реальном времени. В результате сокращаются сроки согласования графика работ, рабочее время персонала используется более эффективно, а действия сотрудников становятся более скоординированными. Кроме того, снижается риск ошибки и упрощается определение причин аварийных ситуаций. PatchView облегчает управление сложными объектами, повышает надежность работы оборудования и отказоустойчивость ЦОД в целом.
За последние годы в России создано немало современных ЦОД, скоро начнут появляться мегаваттные площадки, которыми нельзя управлять как небольшой серверной. Это требует соответствующего уровня проектирования, учета зарубежного опыта, внедрения современных систем диспетчеризации и управления.
Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.
Рисунок 1. Стоимость строительства ЦОД в России (по данным компании «ДатаДом»).
Рисунок 2. В APC, ссылаясь на данные IBM, отмечают, что потребность в эффективности вычислений опережает эффективность энергопотребления, и тепловыделения на стойку продолжают расти.
Рисунок 3. Распределение электроэнергии в ЦОД (по данным «ДатаДом»).
Рисунок 4. В отличие от большинства других стран, в России аутсорсинг услуг ЦОД пока не получил значительного распространения.
Рисунок 5. Гарантированное и бесперебойное электроснабжение в инженерной инфраструктуре МЦОД (по данным «Черус»).
Рисунок 6. Число ЦОД HP будет сокращено до шести центров, построенных по модульному принципу, причем модули конфигурируются под разную топологию, используют стандартные серверы и системы хранения (две основных платформы).
Рисунок 7. Оптимизация может значительно повлиять на использование мощности в ЦОД.
Рисунок 8. На нижнем уровне АСМУ применяются промышленные контроллеры и системы автоматики, различные датчики, исполнительные устройства. В функции системы входит контроль систем кондиционирования и вентиляции, электроснабжения, протечек, пожарной сигнализации и газового пожаротушения.
Рисунок 9. Система мониторинга физических соединений СКС AMPTRAC автоматически обнаруживает соединения между портами благодаря дополнительному проводнику в коммутационном шнуре и контактам на коммутационной панели. Она осуществляет контроль оборудования и соединений на физическом уровне сети в реальном времени.