По данным недавнего опроса менеджеров ЦОД разных стран, проведенного Association for Computer Operations Management (AFCOM),
в 2009 г. в 38% центров данных ожидается сокращение бюджетов — в среднем на 15%. В 20% случаев его следствием является перенос сроков либо полный отказ от планируемого расширения или перевода ЦОД на новую площадку (см. Рисунок 1). Проблемы с получением кредитов ставят мировой рынок ЦОД в очень сложные условия: новые проекты стали жертвой экономического кризиса. В настоящее время большинство работ, связанных со строительством, приостановлены. Тем временем, как показывает исследование Tier 1 Research, за последний год спрос на площади ЦОД увеличился на 14%, а предложение — лишь на 6%, причем этот разрыв продолжает расти.
Источник: AFCOM
Рисунок 1. Отвечая на вопрос, какие затраты подлежат в текущем году сокращению в первую очередь (в случае такой необходимости), респонденты называют снижение расходов на командировки (30,1%), обучение (23,3%), закупки оборудования ИТ (21,1%) и инженерной инфраструктуры, включая системы охлаждения и электропитания (16,5%), затраты на персонал (14,3%) и безопасность (2,3%), а также прочие расходы (7,5%).
В России, по данным Федеральной службы государственной статистики, 29% руководителей организаций планируют снизить инвестиции в основной капитал. Стремление сократить затраты на собственные капитальные проекты может способствовать увеличению спроса на услуги хостинга или применению подходов, позволяющих отложить проект строительства ЦОД либо осуществлять поэтапное инвестирование в его развитие, быстро получая отдачу от вложенных средств.
В этой связи актуальность приобретают временные решения, в частности, контейнерные мини-ЦОД и системы электропитания, хотя высокая стоимость большинства таких предложений заставляет тщательно анализировать затраты и выгоды от их использования. Между тем, при нехватке вычислительных или энергетических мощностей они позволят отложить до лучших времен инвестиции в строительство нового ЦОД или расширение существующего либо за короткое время развернуть новый ЦОД, избавившись от непростой проблемы поиска подходящего помещения.
Аналитическая компания «Современные телекоммуникации» оценивает объем российского рынка услуг ЦОД в 2008 г. в 2,31 млрд рублей, отмечая высокие темпы роста спроса на такие услуги в промышленно развитых районах РФ — на 25-30% в год. Хотя рынок ИТ переживает спад, предполагается, что с началом его восстановления произойдет скачок цен на услуги хостинга, поскольку спрос будет значительно опережать предложение. Это связано с длительным циклом строительства ЦОД: чтобы построить его «с нуля», требуется 9-18 месяцев. В то же время изготовление и оснащение «ЦОД в контейнере» занимает у российских и зарубежных вендоров около четырех месяцев, а для монтажа и подключения достаточно всего пары недель.
Компании, предлагающие услуги аутсорсинга ЦОД в России, также рассчитывают на рост спроса, причем, вполне вероятно, еще до завершения кризиса. Поскольку собственные центры данных обходятся слишком дорого, кризис может способствовать использованию мощностей коммерческих ЦОД (см. Рисунок 2). В некоторых случаях проблема их нехватки и быстрого расширения решается с помощью контейнерного подхода.
Инфраструктура ИТ внутри контейнера уже полностью подготовлена к работе. Для его установки подходят помещения складов или легкие навесы, открытые площадки на собственной или арендуемой заказчиком территории, причем специального разрешения контролирующих органов не требуется. Контейнер имеет собственные кондиционеры или внешний чиллер, подающий воду для охлаждения, для него организуется бесперебойное электропитание и прокладываются коммуникации.
Некоторые отраслевые эксперты называют «контейнерный подход» важнейшим преобразованием в области строительства ЦОД и сравнивают его с той революцией, которую совершили морские контейнеры в области грузоперевозок полвека назад, позволив значительно снизить трудозатраты и ускорить процессы доставки грузов. Его сторонники утверждают, что замена стоек с серверами на системы, встроенные в контейнеры, упрощает создание ЦОД и наращивание вычислительной мощности, способствует предоставлению интерактивных сервисов и максимально эффективному использованию электроэнергии и пространства.
НИШЕВОЕ РЕШЕНИЕ ШИРОКОГО ПРОФИЛЯ
Развитие технологий приводит к изменению принципов проектирования ЦОД. Сокращение «жизненного цикла» центров данных делает слишком затратным традиционный подход к их созданию, практически не менявшийся долгие годы. Контейнеры могут стать привлекательным вариантом и с этой точки зрения, однако в обозримом будущем они не заменят традиционных ЦОД и останутся нишевым решением, оправданным лишь для определенных задач, перечень которых, впрочем, достаточно широк.
По мнению Андрея Кормильцева, руководителя департамента информационных технологий «Черус», контейнерный ЦОД можно применять как основной в труднодоступных местах, в качестве резервного центра данных (в катастрофо-устойчивом решении), в случае расширения инфраструктуры ИТ или для организации мобильного офиса. Например, если офис размещается в арендуемом на короткий срок здании, нет смысла создавать стационарный ЦОД, выгоднее приобрести контейнер, который при переезде легко демонтируется и устанавливается на новом месте.
Как отмечает Григорий Муравьев, ведущий проектировщик NeuHaus, использование под ЦОД существующих зданий часто сопряжено с модернизацией помещений, усилением несущих конструкций, подключением дополнительных систем, что требует согласования. Транспортные контейнеры удобны, когда подходящее стационарное здание отсутствует. Системы кондиционирования и ДГУ в этом случае можно монтировать в отдельных контейнерах.
Специалисты группы компаний «Радиус» отмечают, что в условиях финансового кризиса наиболее актуальными становятся решения, построенные по принципу «3M» (модульность, масштабируемость, мобильность), позволяющие минимизировать расходы на инфраструктуру. Что касается катастрофо-устойчивости мобильных ЦОД, то такая формулировка только вводит в заблуждение. Корректнее говорить об автономности и отказоустойчивости центра данных, обеспечивающего работу информационных систем в случае нештатных ситуаций.
Сергей Щербаков, руководитель группы системных инженеров компании APC by Scnneider Electric в России и странах СНГ, считает, что текущая ситуация может быть на руку поставщикам «ЦОД в контейнере». Однако, безотносительно кризиса, использование таких решений экономически оправдано в случае сравнительно небольших мощностей при однородной нагрузке, ориентированной на определенную задачу, а также для организации временных ЦОД. Кроме того, «ЦОД в контейнере», несмотря на достаточно высокую стоимость, может оказаться целесообразным выбором для ряда задач, например, когда требуется быстро внедрить систему или отсутствует возможность подготовить площадку для традиционного ЦОД, а заказчик готов переплачивать 40-70% стоимости.
По мнению Людмилы Стариковой, руководителя группы стратегического маркетинга компании «Синтерра», в России рынок контейнерных мобильных ЦОД только зарождается. Фактически МЦОД — некий комплексный продукт, обычно на базе оборудования его поставщика. Поэтому сравнивать функциональность МЦОД и стационарных ЦОД с разнообразной инфраструктурой не совсем корректно. По сути, это дорогостоящее нишевое предложение, которое, безусловно, найдет своего потребителя. Скорее всего, оно заинтересует крупные компании, которые будут использовать мобильный вариант как временное решение для быстрого развертывания корпоративной инфраструктуры.
Впрочем, опыт «Синтерры» в предоставлении услуг ЦОД свидетельствует, что корпоративные заказчики очень осторожны в выборе площадки. Большое значение придается ими инженерному обеспечению, обслуживанию, вопросам безопасности. В случае с МЦОД решать данные вопросы все равно придется, для чего потребуется соответствующая компетенция и время. Однако для сотрудников подразделения ИТ эта задача считается непрофильной.
Надо отметить, что вопросов относительно места установки МЦОД и подвода электропитания довольно много, несмотря на заверения сторонников МЦОД в обратном. В частности, при установке МЦОД на открытой площадке требуется организовать его охрану. Если предполагается использовать ДГУ, то выбор месторасположения МЦОД становится еще более непростой задачей — придется разбираться с проблемами доставки и хранения дизельного топлива и выбросов от ДГУ.
Таким образом, развертыванию МЦОД сопутствует ряд технических и организационных трудностей, и пока вопросов больше, чем ответов. Кроме того, при выборе ЦОД заказчик в первую очередь решает задачу оценки и минимизации рисков для инфраструктуры ИТ. Однако мобильный ЦОД уступает стационарным решениям по надежности и безопасности.
Игорь Мызгин, начальник отдела продвижения продуктов и услуг центра разработки инфраструктурных решений компании «Ай-Теко», выделяет следующие недостатки МЦОД. Это невозможность гибкого масштабирования в рамках самого контейнера, ограниченность конфигурации (выбор из нескольких типовых решений), трудности с логистикой (в России более жесткие нормы габаритов грузов, перевозимых автотранспортом, и длины автопоезда), высокие риски при перевозке контейнеров, противоречие между требованиями к сервисному пространству, рекомендованному производителями серверного оборудования, и величиной контейнера, вероятное увеличение сроков поставки.
Учитывая небольшие объемы продаж подобных решений в России, нельзя ожидать, что мобильные ЦОД окажутся в наличии на складах поставщиков. Соответственно, при заказе потребуется время на логистику, сборку, отгрузку, транспортировку. В МЦОД стоимость инженерных систем будет максимальной в пересчете на одно стойкоместо (по сравнению с другими вариантами возведения ЦОД), да и собственно мобильность недостаточно востребована. По мнению Игоря Мызгина, рыночная ниша мобильных ЦОД далеко не очевидна. Кроме того, как считают в «Ай-Теко», службы ИТ заказчиков стремятся работать на опережение, и ситуация, когда возникает потребность возвести ЦОД за несколько недель, маловероятна.
Иногда действительно появляется необходимость быстро разместить бизнес-приложения в ЦОД (например, при слиянии компаний), однако в такой ситуации адекватным решением будет аренда услуг коммерческого ЦОД. При наличии ограничений на вынос корпоративных ресурсов за пределы предприятия, если позволяют сроки, лучше построить собственный полноценный ЦОД. При этом можно использовать типовые решения (возведение здания из металлоконструкций и применение отработанных решений класса APC InfraStruXure типа B) — своего рода конструктор ЦОД.
И все-таки, по мнению специалистов компании «СИТРОНИКС Информационные Технологии», спектр заинтересованных в контейнерных решениях заказчиков достаточно широк: это телекоммуникационные компании, осуществляющие региональную экспансию; предприятия, нуждающиеся в быстром развертывании инфраструктуры ИТ, и даже малый и средний бизнес, которому строить стационарный ЦОД не по карману. Использование контейнерных ЦОД снимает множество проблем, включая поиск помещения, проектирование, интеграцию систем. Интерес к ним растет, в том числе и в России. В «Энвижн Груп» основными преимуществами контейнерных систем считают скорость и простоту их развертывания. Сейчас большинство заказчиков ждет первых откликов от опыта эксплуатации таких решений, но очевидно, что и на российском рынке есть задачи, где развертывание контейнерных систем окажется выгодным.
Как отмечает Максим Начинкин, руководитель группы инженерных систем российского офиса IBM, контейнерный центр данных можно применять в качестве защищенного ЦОД внутри здания или склада, а также на территории предприятия, для чего используются решения с технологией Smart Shelter. Передвижной модульный ЦОД IBM Portable Modular Data Center (PMDC) удобен для быстрого модульного расширения существующего ЦОД, в качестве временного удаленного или резервного центра данных, катастрофоустойчивого решения, в процессе строительства нового или реконструкции существующего ЦОД, при многоэтапном переносе ЦОД (см. Рисунок 3).
Контейнерные ЦОД применялись сначала в армии США. Считается, что первым действительно коммерческим продуктом стал Sun Project Blackbox, анонсированный в 2006 г. Сегодня контейнеры используются в ЦОД самого разного масштаба. Например, такие ЦОД приобрели три американских университета. Однако самые заметные проекты — крупнейшие ЦОД двух ведущих мировых Web-компаний, Google и Microsoft (150-200 контейнеров), для которых важна не столько мобильность, сколько модульность и масштабируемость. Наиболее быстроразвивающимися направлениями считаются приложения Web 2.0 и «облачные вычисления». Именно для этих целей развертываются крупные проекты контейнерных ЦОД, причем их мощности можно вводить поэтапно, оптимизируя капитальные затраты (см. Рисунок 4).
Андрей Павлов, генеральный директор компании «ДатаДом», полагает, что контейнерные ЦОД не помогут упростить задачу поиска помещения, где есть возможность подключения 2-3 кВт/м2. У каждой технологии своя область применения. Контейнерные ЦОД хороши для установки оборудования в «чистом поле» или масштабирования, например, когда требуется срочно открыть филиал оператора связи. Однако при равных исходных условиях приобретение подобных систем обходится заметно дороже строительства аналогичного по функционалу традиционного ЦОД. Определить их применимость можно, лишь зная специфику конкретного бизнеса. Маловероятно также, что у ЦОД с нетрадиционной архитектурой ТСО будет меньше: в них используются те же инженерные системы, что и в стационарных, требующие тех же регламентов. Однако контейнер можно развернуть в любое время — всегда полезно иметь ЦОД про запас. Именно за счет этого и будет расти популярность подобных решений.
По мнению Сергея Щербакова, ТСО системы мало зависит от размещения оборудования ИТ в контейнере или зале. В большей степени на него влияет метод отвода тепла от нагрузки (внутри ряда или по периметру), использование в системах охлаждения вентиляторов с переменной скоростью вращения, степень эффективности инженерных систем, достигаемая за счет оптимальной загрузки ИБП, чиллеров, подсистем распределения питания и т.д. Все эти методы вот уже несколько лет активно предлагают и компания АРС, и другие вендоры.
Что касается дорогостоящего оборудования высокой плотности, то не всегда имеет смысл размещать его в контейнере, который может быть поврежден или даже похищен. Для этого наиболее пригоден стационарный ЦОД, а контейнер обеспечит расширение или резервирование. Руслан Заединов, руководитель направления ЦОД компании «Крок», отмечает, что заказчик может купить контейнерный ЦОД по лизинговой схеме, которую невозможно использовать для финансирования реализации инженерных систем в обычном ЦОД. Контейнерные ЦОД — это собранный на заводе комплекс инженерных систем, который можно доставить заказчику и переместить в случае необходимости. Если перед компанией стоит задача распределить затраты, и она настолько стабильна, что может получить лизинговый контракт, то контейнерный ЦОД — хороший выбор. Кроме того, контейнерные решения избавляют заказчика от необходимости соблюдения высоких требований к зданиям или сооружениям, например, к нагрузке на перекрытия. Вместо строительства серверной или ЦОД достаточно поставить во дворе контейнер, который при переезде можно перевезти на новую площадку. В этом случае контейнерный ЦОД — неплохая альтернатива передаче вычислительного комплекса на аутсорсинг.
Однако сэкономить на персонале при таком выборе действительно сложно, ведь в контейнер упакованы те же инженерные системы. Экономия достигается другим способом. Классический ЦОД оборудован инженерными системами разных производителей, что усложняет поддержку всего комплекса оборудования. Контейнерные ЦОД производят известные компании. Они (или их партнеры) могут быть единой «точкой входа» для решения всех вопросов поддержки такого ЦОД, а централизация поддержки — это всегда экономия.
В то же время для контейнерных ЦОД существуют ограничения по типу серверов и систем хранения, которые можно установить в контейнер, например, по размеру. Поэтому, если компания сделала выбор в пользу именно того или иного оборудования, то нужно ориентироваться на производителя, способного укомплектовать контейнер такими системами. Другое ограничение связано с тем, что контейнер стоит на улице, а значит территория должна быть охраняемой. Остальные ограничения аналогичны классическим ЦОД.
Аналитики полагают, что время контейнеров наступит в 2009 г. Прошлый год уже стал годом прорыва в области контейнерных решений по количеству представленных разработок, включая российские.
КОНТЕЙНЕРНЫЙ БУМ
К настоящему времени около десятка производителей предлагают свои версии «ЦОД в контейнере», однако число заказчиков таких систем остается весьма скромным. По конструкции МЦОД достаточно разнообразны и отличаются размером и исполнением (на основе стандартного транспортного или специально изготовленного контейнера), количеством модулей (некоторые разработчики разносят системы электропитания/охлаждения и оборудование ИТ по разным контейнерам и предлагают конструкции, составленные из нескольких контейнеров), наполнением (специализированные, модульные серверы, системы разных вендоров или конкретного производителя), потребляемой мощностью (от менее 24 до почти 500 кВт) и плотностью оборудования, системами охлаждения (воздушное или водяное, встроенное или с внешним чиллером). Кроме того, иногда предусматривается возможность последующей перевозки на новое место после монтажа или стационарная установка на подготовленной площадке. Да и называют такие мини-ЦОД по-разному: контейнерными, модульными или мобильными. Например, АРС три-четыре года назад реализовала проект мобильного ЦОД «на колесах» — трейлер, где размещалась инженерная система для вычислительного центра с потребляемой мощностью 40 кВт, однако спрос на него оказался невелик.
Контейнерные ЦОД выпускают Sun Microsystems (Sun MD S20 — новая модификация Project Blackbox), Rackable (ICE Cube), IBM (Portable Modular Data Center). Одним из новых игроков этого рынка стала Verari Systems с 40-футовым контейнером FOREST (Flexible, Open, Reliable, Energy efficient, Scalable, Transportable), содержащим до 1400 серверов или системы хранения емкостью до 11,5 петабайт. Он потребляет 400 кВт/ч и может оснащаться встроенной системой охлаждения или подключаться к чиллеру. Разработчики сделали акцент на плотности оборудования и энергоэффективности решения. Как и разработки Dell, IBM и HP, контейнер FOREST способен поддерживать системы других производителей, а не только специально оптимизированное для него оборудование. Об этой потенциальной возможности говорят и разработчики Sun. Однако наиболее оптимально использование серверов самой Verari со специальной архитектурой охлаждения и продувкой стоек снизу вверх.
Серверы собственной конструкции (с питанием постоянным током) применяет и Rackable, причем, как утверждают разработчики, встроенная система охлаждения ICE Cube в процессе эксплуатации обходится на 80% дешевле, чем традиционные системы охлаждения в обычных ЦОД с аналогичным набором оборудования. В прошлом году компания выпустила новые варианты энергоэффективных контейнеров ICE Cube и серверов XE2208 с удвоенным числом процессорных ядер. Стойке серверов XE2208 необходимо 16 кВт электроэнергии, а контейнер ICE содержит 28 стоек (22400 ядер) и потребляет 448 кВт.
IBM, подобно другим вендорам, в своем решении, представленном в прошлом году, применяет стандартные 20- или 40-футовые контейнеры (ISO 668:1995), однако они усовершенствованы на основе технологии Smart Shelter и доведены до уровня огнеупорности FR120, благодаря чему способны выдержать 60 мин при внешней температуре до 9000C. Кроме того, такие контейнеры защищают содержимое от попадания пыли и твердых частиц, воды и влаги (IP55 по стандарту IEC/EN 60529), имеют антивандальную защиту (по классу WKIV), огнестойкие и водонепроницаемые кабельные вводы. Надежность работы инженерного оборудования ЦОД обеспечивается резервированием систем по схеме 2N или N+1. PMDC рассчитан на различные уровни энергонагрузки — до 25 кВт на стойку. В нем используется инженерное оборудование Emerson (источники питания и системы охлаждения), Eaton, Systimax/CommScope и др.
Интересно решена проблема доступа к задней части серверов. Обычно для этого приходится ограничивать глубину устанавливаемого в стойке оборудования, причем задний коридор все равно получается очень узким. В контейнере IBM серверы стоят вплотную к стенке, но каждая стойка монтируется на рельсы, поэтому ее можно выдвигать вперед для получения доступа к задней или боковой части. Такое решение позволяет установить в стойку любое оборудование глубиной до 1200 мм. В Sun Modular Data Center серверные стойки размещены по обеим стенкам контейнера, а посередине находится узкий проход. В HP Performance Optimized Data Center (POD) стойки установлены посередине, а пространство спереди и позади стоек позволяет имитировать холодные и горячие коридоры.
Решение IBM позволяет варьировать как содержимое контейнеров, так и их число, пристраивать различные конструктивные элементы, например, внешний тамбур и чиллер, использовать комбинацию из двух 20-футовых контейнеров (серверного и сервисного — с системами электропитания и охлаждения) или устанавливать чиллер внутрь 40-футового контейнера с серверами. При необходимости могут быть построены целые комплексы из четырех-пяти контейнеров с серверной и инженерной зоной, складом и помещением для персонала. Сроки реализации такого модульного ЦОД составляют 3,5-4 месяца. Контейнеры можно перевозить на новое место.
Производитель защищенных помещений Lampertz представил в прошлом году защищенный контейнер уличного исполнения Lampertz Outdoor Room (см. Рисунок 5) четырех типоразмеров (2,44x3, 2,44x6, 3x6 и 3x7 м). Его длина может достигать 9 м. Комната доставляется на трейлере, используется в качестве отдельного модуля или в сочетании с другими стандартными контейнерами, оборудуется системами кондиционирования воздуха, системой пожаротушения и видеонаблюдения. Контейнер защищен от огня по классу B1 (DIN 4102) и от взлома по классу WK II (дополнительно — до WK III). Компания предусматривает возможность его аренды.
Выпущенный летом прошлого года HP POD (см. Рисунок 6) рассчитан на быстрое расширение мощностей ЦОД. В нем устанавливается оборудование высокой плотности (27 кВт на стойку). 40-футовый контейнер POD вмещает более 3500 вычислительных узлов или 12 тыс. жестких дисков, предлагая вычислительную мощность, эквивалентную традиционному ЦОД площадью 370 м2. Срок поставки HP POD — шесть недель. Кроме того, HP предлагает услуги HP POD Infrastructure Services, в которых используется опыт строительства и проектирования ЦОД компании EYP Mission Critical Facilities, приобретенной в ноябре 2008 г. HP уверяет, что потенциально это дает ей возможность строить миллионы квадратных метров ЦОД по всему миру.
В декабре появились сообщения о создании компанией Dell собственного варианта контейнерного ЦОД. Он состоит из двух контейнеров: один заполняется оборудованием ИТ, а другой — системами электропитания и охлаждения. Поскольку в обоих можно установить стандартное оборудование, решение, по замыслу разработчиков, получается более экономичным и легко модернизируется. Каждый двухконтейнерный модуль содержит около 1300 серверов и стоит более 500 тыс. долларов.
Еще одна любопытная декабрьская новинка — компактная версия МЦОД Rackable Systems под названием MobiRack (см. Рисунок 7). Пластиковый контейнер на колесиках размером с обычный мусорный бак содержит серверы на базе процессоров Intel Xeon или AMD, системы хранения, сетевое оборудование, ИБП и системы распределения электропитания постоянного тока. По заявлению разработчиков, такой мини-ЦОД способен работать в самых неблагоприятных условиях, в том числе выдерживать вибрацию. Контейнер изготавливается на заказ и предлагается более чем в 30 конфигурациях, оснащается серверами конструктива 1U или 2U, которые устанавливаются в стойках высотой 5U, 11U, 14U или 16U; охлаждение может быть как воздушным, так и водяным.
СДЕЛАНО В РОССИИ
Прошедший год ознаменовался появлением на российском рынке ряда контейнерных ЦОД отечественной разработки. Пока спрос на эту продукцию невелик, и продвигающие их системные интеграторы, скорее, демонстрируют уровень своей технической компетенции, чем делают с их помощью реальный бизнес. Однако подобные разработки появляются не на пустом месте и обычно представляют собой доведенное до коммерческого продукта (или даже семейства продуктов) решение, разработанное в соответствии с требованиями конкретного заказчика, или воплощение хорошо продуманной концепции на основе анализа конкурентных разработок.
По мнению Андрея Кормильцева, директора департамента ИТ компании «Черус», через два-три года «единицей продажи» может стать уже не сервер или стойка, а готовый ЦОД в контейнере. Внимание рынка к мобильным и модульным ЦОД обусловлено возможностью поэтапного наращивания их мощности путем установки дополнительного контейнера. «На вырост» ЦОД строить крайне невыгодно. Кроме того, в Москве проблема получения энергомощности становится критичной. Контейнер же можно разместить там, где электроэнергия дешевле, а мощности доступнее. Отечественные и зарубежные контейнерные/мобильные ЦОД имеют развитые системы мониторинга и диспетчерского управления, а потому не требуют постоянного присутствия технического персонала ИТ на площадке. Иначе говоря, управлять ими можно удаленно.
Габариты мобильных контейнеров должны допускать их перевозку автомобильным и железнодорожным транспортом. Они должны быть достаточно прочными, чтобы выдерживать погрузо-разгрузочные работы и доставку в укомплектованном состоянии. Необходимо наличие конструктивных элементов для работы и обслуживания (тамбура, кабельного ввода, проходов достаточной ширины и пр.). Эти требования могут выполняться путем применения стандартных транспортных контейнеров (ISO 830-1981), однако их доводка порой оказывается не дешевле, чем изготовление специализированного контейнера. Спроектированные в соответствии с условиями работы оборудования ИТ или ДГУ, они изготавливаются из специальной стали с использованием дополнительного утепления и узлов прочности или из современных материалов (сэндвич-панелей, профилированного оцинкованного стального листа и пр.), а габариты подбираются с учетом размещаемого оборудования и обеспечения удобства перевозки.
Модульные и мобильные решения, когда в 20- или 40-футовый контейнер помещается вся инфраструктура ЦОД, предлагают несколько российских системных интеграторов — «Черус», «Ситроникс ИТ», «ТехноСерв». Правда, до сих пор они существовали в виде проектно-сметной документации или демонстрационных образцов. Согласно заявлению компании «Черус», она первой среди российских поставщиков ввела в эксплуатацию мобильный ЦОД собственной разработки (МЦОД CHERUS-MDC-24-1) для клиента из сектора розничной торговли. Еще один заказчик — логистическая компания. В течение года «Черус» рассчитывает продать около 20 МЦОД такого типа. «Ситроникс ИТ» также объявила о наличии заказчика на разработанный ею МЦОД «Датериум». Таковым стала компания МТС, которая ранее приобрела контейнерный ЦОД Sun BlackBox. Совсем скоро «Ситроникс ИТ» приступит к серийному производству: ее мощности позволяют выпускать до четырех таких изделий в месяц. Стоимость «Датериума» — до 500 тыс. долларов.
«Черус» размешает в своем МЦОД резервируемые ИБП (APC Symmetra PX30 kW) и четыре-пять серверных стоек (в типовом варианте — HP BladeSystem с-Class), коммуникационное оборудование, систему диспетчерского управления, снаружи навешиваются кондиционеры. Кроме того, компания готова предложить заказчикам 40-футовый контейнер, рассчитанный на работу в более суровых температурных условиях. Наряду с оборудованием ИТ и ИБП в него могут устанавливаться ДГУ и чиллер. При увеличении мощности оборудования возможно применение жидкостных систем охлаждения. По заявлению представителей «Черус», применение в МЦОД модульных серверов позволяет экономить площадь помещения и электроэнергию. В состав типового решения входит среда виртуализации VMware.
«Черус» собирает МЦОД на предприятии в Московской области. Полностью оборудованный контейнер проходит тестирование, затем с него снимаются кондиционеры, устанавливаются заглушки, и в таком виде МЦОД доставляется на площадку заказчика. На месте остается только установить кондиционеры, подключить МЦОД к каналам связи, сети электропитания и организовать заземление. По мнению разработчиков, данная конструкция позволяет уменьшить риск возникновения неисправностей в сложной системе кондиционирования, состоящей из раздельных соединенных трубками модулей, и упростить обслуживание системы. Специальный вариант контейнера с виброустойчивой платформой можно перевозить без демонтажа оборудования. Изготовление МЦОД (оборудование подбирается в соответствии с требованиями заказчика) занимает четыре месяца, а монтаж — две недели. Вес 20-футового контейнера с оборудованием — 5 т. Недорогой навес обеспечивает более комфортные условия для работы оборудования и позволяет сэкономить на охлаждении.
«Черус» создала несколько вариантов МЦОД класса Tier 2 и Tier 3 в 20- и 40-футовых контейнерах. Они работают при температуре окружающей среды от -45°С до +35°С. Базовый вариант МЦОД потребляет 24 кВт/ч. Как отмечают в компании, от заказчиков есть запросы на разработку контейнеров меньшей мощности всего с одной-двумя стойками. В этом случае в том же контейнере удается разместить компактную ДГУ и кондиционеры, а также несколько рабочих мест. Такое типовое решение подойдет для мобильного офиса, послужит в качестве резервного ЦОД или основного ЦОД в труднодоступных местах, поможет быстро решить задачу расширения инфраструктуры.
По утверждению Алексея Трояновского, директора департамента инженерных систем, предлагаемое «Черус» решение обходится не дороже, чем развертывание такого же оборудования в новых помещениях. Полная стоимость CHERUS-MDC-24-1 (см. Рисунок 8), укомплектованного оборудованием ИТ с программным обеспечением и инфраструктурой (без ДГУ), составляет 760 тыс. долларов.
Интересную концепцию построения ЦОД предложила осенью прошлого года компания «Ситроникс Информационные Технологии» (ранее известная как «Квазар Микро»). Она получила название Right In Time Extension (RITE) и нацелена на повышение коэффициента использования ЦОД при снижении начальных инвестиций без существенного увеличения TCO. RITE предусматривает сочетание стационарного ядра ЦОД и модульной части, расширяемой по мере необходимости. Стационарное ядро служит, главным образом, для размещения систем в нестандартных корпусах, таких как ленточные библиотеки или некоторые серверы. Все остальное оборудование (основные мощности ЦОД) устанавливается внутри модулей, причем акцент делается на применение линейки МЦОД «Датериум». Часть площади ЦОД выделяется под системы высокой плотности, которые могут размещаться как в «ядре», так и в контейнерах соответствующего типа. Согласно прогнозам, RITE позволит ускорить строительство, сэкономить за счет точного выбора масштаба объекта и перенести весомую часть затрат на более поздний срок.
В МЦОД «Датериум» (см. Рисунок 9) используется воздушная система охлаждения с разделением холодного и горячего коридоров. Дополнительно поставляется автономная система гарантированного электропитания. «Датериум» выпускается в трех вариантах: с диапазоном рабочих температур от -35°С до +40°С, от -50°С до +40°С и от -20°С до +50°С. Последний выдерживает повышенную влажность и защищен от насекомых. Для особых условий эксплуатации предлагаются версии с антивандальной защитой.
Помимо стандартной версии Tier 2, предусмотрена версия повышенной мощности и готовности («Датериум» MDC20 Tier 3). Семейство «Датериум» позволяет объединить несколько контейнеров в единый модульный ЦОД с общей системой диспетчеризации и управления при уровне доступности Tier 3. Опция Vertical Kit обеспечивает «поэтажную» установку контейнеров, подобно контейнерам Dell и IBM. Как отмечают разработчики, особенностью решения является его высокая эргономичность благодаря запатентованной оригинальной компоновке. Все стойки установлены на общей раме, которая перемещается с помощью сервопривода, поэтому отсутствуют ограничения на монтажную глубину оборудования и не возникает проблемы узких коридоров. Имеется внутренний тамбур-шлюз. Еще одна особенность МЦОД «Датериум» — высокая мобильность. Для подготовки к транспортировке требуется всего несколько часов (обратный процесс занимает столько же), причем снимать/устанавливать внешние навесные элементы не приходится.
«По соотношению «цена/производительность» данное решение успешно конкурирует со стационарными объектами и может использоваться для построения крупномасштабных ЦОД. При этом значительно сокращаются сроки развертывания, а заказчику удается распределять свои затраты во времени», — утверждает Алексей Мелешенко, директор по инфраструктурным ИT-решениям «Ситроникс ИТ».
По мнению Владимира Ливинского, руководителя управления систем обработки и хранения данных компании «АйТи», мобильные ЦОД — оптимальное решение для небольших компаний и региональных филиалов. Что касается установки ЦОД в неподготовленных помещениях, то с этой целью специалисты «АйТи» разработали для своих клиентов бюджетный вариант — Compact Data Center. Решение предназначено для консолидации ресурсов десятков серверов, работающих под управлением различных операционных систем, на одном или двух серверах и одном внешнем дисковом массиве. В компании заверяют, что оно позволяет повысить надежность и физическую безопасность основных и резервных корпоративных ЦОД, а также существенно снизить затраты на их организацию, эксплуатацию и поддержку. Другой вариант — использование транспортных контейнеров для размещения оборудования вне помещений.
Однако быстровозводимые ЦОД — это не только контейнеры. Например, при строительстве собственного ЦОД «Траст-Инфо» специалисты «Ай-Теко» возвели каркас из металлоконструкций, установленный на особом фундаменте и обшитый сэндвич-панелями. Такое решение позволяет обеспечить защиту от пыли, влаги, дыма, электромагнитного излучения и иных внешних факторов. Это проще, быстрее и эффективнее капитальных строительных работ. Аналогичные решения «Ай-Теко» предлагает в ряде текущих проектов. В сочетании с модульным подходом к построению ЦОД такие проекты занимают около полугода.
«ТехноСерв» поставляет широкий спектр телекоммуникационных контейнеров с полной комплектацией – от сравнительно дешевых моделей для базовых станций до дорогого сегмента контейнеров для волоконно-оптических систем, оснащенных автоматикой, климат-контролем и отсеком для ДГУ, благодаря которому система может работать в автономном режиме до двух суток. А кроме них предлагаются также контейнеры для модульных электростанций. Возможности компании позволяют выпускать в год от 100 до 200 контейнеров различного назначения.
В «ТехноСерв» также разработали универсальный МЦОД IT Equipage. Он содержит все необходимое для работы оборудования (серверное и инженерное) внутри одного или нескольких перево-зимых контейнеров, готовых к эксплуатации практически сразу после доставки на место, и не зависит от центрального электроснабжения. В компании рассказывают, что идея возникла при анализе ранее выполненных проектов, и по показателям мобильности/автономности сравнивают такой ЦОД с ноутбуком. IT Equipage — 40-футовый контейнер, состоящий из серверного блока и инженерного блока для обеспечения бесперебойной работы системы. В серверном блоке установлены шесть стоек (42U, 19”) для серверов и телекоммуникационного оборудования. Они монтируются на рельсовые направляющие с возможностью жесткой фиксации.
В IT Equipage осуществляется внутрирядное кондиционирование при помощи панелей водяного охлаждения. Шесть таких панелей позволяют отводить от каждой стойки до 20 кВт. Инженерный блок разделен на отсеки электропитания и холодоснабжения. ИБП мощностью не менее 120 кВт (с резервированием N+1) позволяет МЦОД работать автономно около 10 мин. В отсеке холодоснабжения смонтирован чиллер с гидравлической обвязкой. Для безопасности и контроля предусмотрены системы газового пожаротушения, охранной и пожарной сигнализации, видеонаблюдения и мониторинга инженерного оборудования. IT Equipage может выпускаться в нескольких вариантах, например, как 20-футовый или 40-футовый стандартный контейнер с ДГУ.
ЭЛЕКТРОПИТАНИЕ ИЗ КОНТЕЙНЕРА
Эффективная защита питания требует резервирования агрегатов бесперебойного питания, электрогенераторов, кабельных магистралей, а также возможности быстрого или поэтапного наращивания мощностей для снижения капиталовложений. При построении систем резервного (гарантированного или бесперебойного) электроснабжения широко применяются ДГУ. Как рассказывает Григорий Муравьев, у компании NeuHaus есть опыт использования систем резервного электропитания в мобильном контейнере снаружи здания. Зачастую такой антивандальный всепогодный контейнер монтируется на шасси-прицепе и обеспечивается системой безопасного бесшумного выхлопа. Вдобавок, установка мобильного контейнера вне здания решает многие проблемы, возникающие при выделении под ДГУ отдельного помещения, и не требует согласования — необходимы лишь работы по вводу кабелей в здание.
Обычно контейнерные ДГУ изготавливаются в заводских условиях по отработанной документации, комплектуются всеми необходимыми системами и, как и контейнерные ЦОД, устанавливаются в любом удобном для заказчика месте на ровной площадке. Если потребуется, их быстро демонтируют и перевозят на другое место. Иногда две дизельных установки, резервирующие друг друга или работающие на общую нагрузку, размещают в одном контейнере, что выгоднее и удобнее, чем применение двух отдельных контейнерных ДГУ.
«ЦОД — объект, требующий непрерывного электроснабжения, — подчеркивает Игорь Мызгин. — Начиная с Tier 3, необходимо наличие двух независимых систем электроснабжения. В условиях энергодефицита в крупных городах (особенно в Москве) получить два фидера от двух независимых трансформаторных подстанций сложно и дорого. Зачастую вопрос решается так: один фидер питается от городской электросети, второй – от газо-поршневой станции. Известны примеры использования газопоршневых и газотурбинных электрогенераторов в ближайшем Подмосковье. Иногда резервный фидер получает питание от ДГУ, чтобы обеспечить непрерывность функционирования ЦОД в экстренном случае. Такой подход оправдан в городских условиях. Генераторы, соответствующие нормам Евро 4, стоят дорого из-за наличия системы каталитического дожига».
По оценкам МЭРТ, к 2010 г. суммарный дефицит энергомощностей станет одним из серьезных препятствий развитию бизнеса в России. Стоимость подключения к электросетям и самой электроэнергии постоянно растет. Так, в прошлом году тарифы увеличились на 25%. В настоящее время получение необходимой энергомощности – одна из основных проблем при создании ЦОД. Как отмечают в «Ситроникс ИТ», некоторые владельцы ЦОД используют альтернативные источники электроэнергии, например, газовые электрогенераторы. Андрей Павлов подтверждает, что проекты, где оборудование получает энергию от газовых мини-электростанций, в России уже реализуются.
Приобретение собственной газоэлектростанции, как и вырабатываемая таким образом электроэнергия, иногда обходится дешевле, чем подключение к электросетям, однако получить разрешение на использование больших объемов газа порой очень сложно. По данным NeuHaus, с учетом разницы между дневными и ночными тарифами и ежегодного увеличения стоимости электроэнергии иногда выгоднее использовать электропитание от газовой установки, чем от электроподстанции. К тому же в часы пиковой нагрузки могут налагаться штрафы за превышение лимитов электроэнергии.
По мнению Сергея Щербакова, все зависит от конкретных условий, мощности систем, цен на энергоносители, стоимости обслуживания систем и т.д. Содержание ДГУ, газогенераторных и газотурбинных установок обходится дороже, однако в некоторых случаях они выгоднее, чем электроподстанции, особенно при использовании абсорбционных охладительных установок. Из-за сложностей, связанных с бесперебойной поставкой ГСМ, ДГУ чаще применяются только как резервный источник питания.
Установки резервного электроснабжения — удобный, а иногда и единственный способ обеспечения надежности и отказоустойчивости электропитания, считает Дмитрий Шаров, ведущий инженер отдела корпоративной сетевой инфраструктуры компании «АМТ-Груп». Многие поставщики предлагают стационарные ДГУ и установки, смонтированные на передвижном шасси во всепогодном исполнении. Причем возможна не только их покупка, но и аренда. Такой подход позволяет оперативно (иногда за несколько дней) решить вопрос с резервным источником электроснабжения. В полевых условиях ДГУ или газо-поршневые (или газотурбинные) установки являются, пожалуй, единственным способом обеспечить потребителей электроэнергией.
В отличие от ДГУ, которые, как правило, не предназначены для постоянной работы, газопоршневые электрогенераторы подходят для постоянной эксплуатации и успешно используются в местах, где нет электрических сетей, но можно относительно легко получить необходимые объемы газа, отмечает Руслан Заединов. Подобный вариант оправдан, когда нужно построить и обеспечить работу крупного ЦОД, например, для добывающих компаний, если строительство ЦОД предполагается в отдаленных районах.
Как рассказывает Контстантин Соколов, руководитель отдела технической экспертизы компании «Абитех», использовать ДГУ в качестве основного источника электроснабжения дорого — необходимо каждые 250 ч. проводить ТО, а для этого нужно организовать резервирование (установить второй ДГУ той же мощности или параллельную группу ДГУ). Сложности существуют и с хранением дизельного топлива, от обслуживающего персонала требуется высокая квалификация и т. д. Более эффективной по затратам может оказаться система резервного или основного электроснабжения на базе газовых генераторных установок, однако привязка к магистральному газу сводит «на нет» одно из основных преимуществ контейнерных систем — мобильность. Контейнерные решения для вычислительных систем, систем электропитания и кондиционирования имеют свою нишу, но отнюдь не являются панацеей.
Компания «ТехноСерв» разработала для модульных электростанций специальные контейнеры «Континент», благодаря которым они могут функционировать практически в любых климатических и природных условиях – от -60 до +50°С. Контейнеры производятся в Московской области и соответствуют техническим требованиям ГОСТ Р ИСО 9001-96. В них монтируются дизельные или газопоршневые электростанции, поддерживается стабильный температурный и вентиляционный режим. Цельносварная герметичная конструкция допускает все виды перевозок.
По словам Контстантина Соколова, анализ ситуации в Москве и других крупных городах показывает, что ввод новых объектов со значительным энергопотреблением сопряжен не только с трудностями поиска площадки, но и с дефицитом мощностей. Поэтому контейнерные решения для ЦОД менее актуальны для Москвы и могут быть в большей степени востребованы на региональных площадках. Они позволяют достичь экономии на начальном этапе развертывания, однако удобство эксплуатации выше у стандартных решений. Это относится, прежде всего, к системам электропитания.
Как надеются российские разработчики, отличительные особенности контейнерных ЦОД и систем электропитания могут сделать их привлекательными решениями в целом ряде ситуаций. Заказчик получает готовый, сконфигурированный под заказ продукт, соответствующий его потребностям, причем покупать его не обязательно — в ближайшее время будет доступен полный комплекс услуг, включая сдачу в аренду, обслуживание и модернизацию контейнерных ЦОД и систем электропитания. Однако, по мнению Игоря Мызгина, во время кризиса более актуальны услуги аренды коммерческого ЦОД. Этот рынок в России растет, а новые площадки соответствуют требованиям мировых стандартов. В условиях ограниченности сроков или бюджетов (а зачастую и того, и другого) предприятиям стоит рассмотреть вариант размещения оборудования в коммерческом центре данных.
Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.
Рисунок 2. Ведущие российские ЦОД (по данным J’son & Partners). Ранжирование производилось исходя из полезной площади ЦОД, предоставляемой клиентам на коммерческих условиях, количества стоек и объема продаж услуг. В 2008 г. российский рынок коммерческих ЦОД вырос на 55%, а доходы составили 160 млн долларов. 80% рынка сосредоточено в Москве и Московской области.
Рисунок 3. Примеры конфигураций контейнерного ЦОД от IBM.
Рисунок 4. По данным опубликованного в январе отчета Symantec «State of the Data Center 2008», основным приоритетом для владельцев ЦОД во всем мире является сокращение затрат.