С приставкой Мега

С приставкой «мега»

Целесообразность сертификации ЦОД вызывает много вопросов. Дополнительную остроту проблеме придает тот факт, что фактическим монополистом в области аудита таких объектов является Uptime Institute. Бурная дискуссия на эту тему развернулась и на форуме.

Сертификат не только на проект (Tier III Design), но и на построенный ЦОД (Tier III Facility) имеет пока единственный объект, причем не только в России, но и в Восточной Европе, — ЦОД компании DataSpace. Он имеет общую площадь 6 тыс. м² (площадь фальшпола для размещения оборудования — 3 тыс. м²) и рассчитан на мощность 9 МВт.

Как подчеркнул Дэвид Хэмнер, президент DataSpace, получение сертификата на проект еще не гарантирует того, что введенный в эксплуатацию ЦОД будет иметь такой же уровень надежности. Тем более не следует доверять заявлениям, что ЦОД якобы соответствует одному из промежуточных уровней надежности (наподобие Tier III+ или Tier IV-) — их просто не существует (о других мифах о сертификации см. Таблицу 1).

Сертификация построенного ЦОД — сложный и долгий (в случае DataSpace I он продолжался примерно три недели), но очень продуктивный процесс. Как рассказала Мария Марченко, вицепрезидент DataSpace, специалисты Uptime проверяли буквально каждый элемент инфраструктуры. В ЦОД были выявлены небольшие недоработки в охлаждающем контуре, для устранения которых пришлось увеличить число клапанов в системе трубопроводов. «Важно, что эти недочеты были обнаружены на этапе сертификации, а не в ходе эксплуатации, — отметила она. — На рынке много ЦОД, операторы которых заявляют о соответствии Tier III. Мы с самого начала проекта обратились в Uptime, чтобы исключить какие-либо спекуляции на эту тему».

К концу 2012 года DataSpace планирует получить третий, финальный, сертификат Uptime — на операционную устойчивость. Этот новый стандарт предусматривает оценку системы управления и эксплуатации ЦОД, включая проверку персонала, организационной структуры и процедур технического обслуживания.Такая сертификация проводится только через полгода после ввода ЦОД в эксплуатацию.

Далеко не все владельцы мегаЦОД уверены в необходимости сертификата Uptime. В частности, руководители Linxdatacenter считают, что им он пока не требуется. «Мы коммерческая компания, зачем нам тратить дополнительные деньги на сертификацию, — говорит Ричард ван Вагенинген, генеральный директор Linxdatacenter. — Пока клиенты не требуют наличия такого сертификата. К нам приезжают их инженеры, мы предоставляем им возможность все посмотреть, проверить. Этого достаточно».

На форуме «Мир ЦОД» компания Linxdatacenter представила объект, введенный в эксплуатацию в октябре 2011 года в Санкт-Петербурге. Его общая площадь составляет 7,5 тыс. м² (в 2012 году она будет увеличена до 9 тыс. м²), а мощность энергоснабжения — 3 МВт (с возможностью расширения до 12 МВт).По сути, это первый мегаЦОД в СевероЗападном регионе. Место строительства было выбрано в первую очередь исходя из наличия высокого спроса и хороших экономических перспектив. Планы оправдались. По словам Ричарда ван Вагенингена, за полгода эксплуатации ЦОД было продано столько же стоек, сколько за пять лет в Москве.

В ЦОД компании Linxdatacenter в Санкт-Петербурге реализован дополнительный уровень резервирования системы электропитания, который не является необходимым для объектов Tier III, — кстати, именно наличие такого уровня подразумевает столь критикуемый термин «Tier III+». «Мы не сертифицируем ЦОД, в том числе и потому, чтобы не снижать уровень резервирования», — отмечает Екатерина Куканова, коммерческий директор Linxdatacenter по Северо-Западному региону. Кроме того, она добавляет, что, по общемировой статистике, 99% простоев имеют под собой не техническую причину, а связаны с человеческим фактором.

Руслан Заединов, руководитель направления ЦОД компании «Крок», не поддерживает мнения о том, что демонстрации работы ЦОД заказчику достаточно для подтверждения отказоустойчивости и надежности. «Мы привыкли использовать внешний аудит для разных задач, например для подтверждения финансового состояния. Так, «Крок» при проведении тендеров почти всегда представляет результаты ежегодного аудита, проводимого KPMG. Своим именем и репутацией KPMG гарантирует достоверность нашей отчетности, — говорит он. — Это справедливо и в случае с ЦОД. Проведя аудит ЦОД, институт Uptime своим именем и профессионализмом подтверждает, что в ЦОД все в порядке».

Жалобы на высокую стоимость услуг Uptime и монополизацию этой организацией рынка аудита ЦОД он считает неоправданными. «Стоимость этих услуг несопоставима с затратами на сам ЦОД. На цену конечной услуги центра обработки данных влияют не затраты на сертификацию, а те технические элементы, которые в нем должны присутствовать для выполнения требований Uptime, — продолжает он. — И никакой монополии тут нет — просто Uptime хорошо делает свою работу. Будет замечательно, если у этой организации появится конкурент, который профессионализмом докажет свою состоятельность».

Самым крупных из трех ЦОД компании «Крок» является центр обработки данных «Компрессор» общей мощностью 8 МВт и вместимостью 800 стоек. Сертификат на проект Tier III компанией уже получен, в ближайшее время будут проводиться испытания на получение сертификата на объект.

По словам Сергея Шуршалина, руководителя проекта Сбербанка России, в Uptime следует обращаться, когда компания берется за новый проект. «Находясь на нулевом этапе, действительно можно получить дельные советы. А сертифицировать площадку, которая была построена много лет назад, — бессмысленно», — полагает он.

Сбербанку РФ принадлежит крупнейший в России ЦОД, располагающийся в районе Южного порта на месте бумажной фабрики «Восход». В этом ЦОД будут консолидированы ресурсы, которые ранее размещались в 36 региональных центрах обработки данных банка. Общая площадь здания центра — около 16 500 м², единовременная мощность, получаемая от городской электросети, — 20 МВА, мощность ИТ-нагрузки — 10–12 МВт.

МегаЦОД Сбербанка имеет сертификат на проект Tier III, летом 2012 года в компании ожидается комиссия для сертификации уже построенного объекта. Казалось бы, зачем этот сертификат корпоративному ЦОД? Сергей Шуршалин отмечает важность его получения для повышения общей стоимости бренда и капитализации компании.

МЫШЬ НЕ ПРОСКОЧИТ

Хотя сертификация на соответствие уровню Tier III не предусматривает оценку уровня физической безопасности, этому аспекту крупные ЦОД уделяют повышенное внимание. Стандартной услугой коммерческих ЦОД стало предоставление заказчикам индивидуального огороженного пространства, физически отделенного от оборудования других арендаторов. Но при этом электроснабжение и охлаждение обычно являются общими. DataSpace пошла дальше и для заказчиков с повышенными требованиями к безопасности предлагает индивидуальные залы (дата-холлы): эти отдельные помещения оснащаются в соответствии с потребностями заказчика, они имеют выделенные системы электроснабжения и регулирования микроклимата.

Помимо стандартных для крупных ЦОД многоуровневых систем контроля доступа, круглосуточной охраны и систем видеонаблюдения, на ряде объектов внедрены дополнительные средства. Например, в ЦОД DataSpace I установлены противоподкопные ограждения и бронированные тамбур-шлюзы, а для контроля доступа, помимо бесконтактных карт, применяются сканеры отпечатка ладони и сетчатки глаза. Все это позволяет представителям компании называть этот объект «самым надежным коммерческим ЦОД в Москве».

Наряду с имеющейся системой безопасности, в ЦОД компании «Крок» заказчики могут устанавливать дополнительные средства. Как рассказал Руслан Заединов, один банк даже смонтировал лазерные системы обнаружения проникновений, которые обычно используют в музеях для охраны культурных сокровищ.

Важным аспектом обеспечения безопасности и надежности является территориально распределенная катастрофоустойчивость. Все владельцы мегаЦОД стремятся реализовать это тем или иным способом. Например, три расположенных в Москве ЦОД компании «Крок» соединены высокоскоростным волоконно-оптическим кольцом. Linxdatacenter имеет собственную сеть географически удаленных ЦОД, расположенных в Москве, СанктПетербурге, Таллине и Варшаве. В планах DataSpace — построение в общей сложности шести ЦОД: два будут расположены рядом с первым (на территории бывшего Московского шинного завода), а три — в Московской области недалеко от МКАД. Суммарная площадь всех ЦОД составит 26 тыс. м², и они смогут вместить более 6 тыс. стоек.

PUE «НА МИРОВОМ УРОВНЕ»

Энергоэффективность построенных в России мегаЦОД находится на очень хорошем уровне. По крайней мере расчетные коэффициенты PUE впечатляют. Это достигается за счет эффективных систем электропитания и, особенно, охлаждения.

Так, отличительной особенностью ЦОД Linxdatacenter является то, что основным источником электроэнергии служит газопоршневая электростанция, по отношению к ней резервными источниками выступают дизельная электростанция и городская электрическая сеть.

Выделяемое газовой станцией тепло используется для работы абсорбционных чиллеров, благодаря чему они потребляют минимум электроэнергии. Эта и ряд других мер — например, изоляция коридоров и применение технологии естественного охлаждения (при снижении температуры ниже +2°C задействуется сухая градирня) — обеспечивают высокую энергоэффективность ЦОД: коэффициент PUE составляет менее 1,3 при полной нагрузке.

Уникальная система охлаждения реализована в ЦОД Сбербанка РФ. Использование специальных агрегатов Plate Heat Exchanger Air Handling Unit обеспечивает теплообмен между уличным (холодным) воздухом и воздухом, нагретым оборудованием в ЦОД. Всего установлено 27 таких очень габаритных машин (холодопроизводительностью 550 кВт). 78% времени в году такая система работает в режиме естественного охлаждения, что должно позволить обеспечить устойчивый коэффициент PUE не более 1,32. Это расчетное значение, которое может быть подтверждено на практике только по истечении определенного срока эксплуатации ЦОД, причем желательно на мощности, близкой к расчетной.

Как отметил Сергей Шуршалин, в Москве добиться значения PUE, равного 1,3, — все равно что совершить подвиг. По его словам, Москва — это экстремальный регион для реализации естественного охлаждения. Грязный воздух, большой перепад температур и влажности — все это серьезно усложняет задачу. Кроме того, как указывает Руслан Заединов, в Москве-реке живут бактерии, которые питаются хромом, выедая его из труб и за пару лет превращая нержавейку в решето. С этим столкнулись специалисты одного крупного государственного предприятия, которое для охлаждения оборудования решило использовать воду из реки. В результате пришлось строить специальные колодцы, куда погружаются рентгеновские лампы, чтобы убить в воде все живое, — и только потом ее можно использовать для технических целей.

По мнению Руслана Заединова, использование природных источников для охлаждения — чрезвычайно важная тенденция. Частичное естественное охлаждение используется во всех названных проектах, но этого недостаточно, тем более что ИТ-оборудование становится все более жаростойким.

«Мы мечтаем сделать ЦОД с прямым естественным охлаждением, — говорит Руслан Заединов. — Но в Москве не получится: пух, пыль и другие уже перечисленные негативные факторы не позволят. Такой проект можно реализовать только за городом, причем далеко за МКАД. Хочется попробовать, тем более что в мире подобный подход работает, и работает хорошо».

Ясно, что где-нибудь на севере, где чистый и холодный воздух, можно достичь и лучшего значения PUE. Но пока мегаЦОД сконцентрированы в двух столицах. Серьезным препятствием для «продвижения» мегаЦОД в регионы являются проблемы с каналами связи. Неслучайно участники форума «Мир ЦОД» из регионов настойчиво допытывались о возможности получения услуг центральных мегаЦОД с подписанием комплексных соглашений SLA, которые бы включали и характеристики каналов доставки. Такой опыт есть, например, у компании «Крок», но пока подобные проекты не носят массового характера.

Возможно, ситуацию изменит реализуемый сейчас «Ростелекомом» проект по развертыванию сети центров обработки данных, которые будут связаны выделенной системой высокоскоростных каналов связи. Этот проект представил на форуме директор проекта единого распределенного ЦОД ОАО «Ростелеком» Александр Мартынюк. Мы будем следить за развитием этого важного для страны начинания.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.