Этот чудесный подземный и подводный мир… ЦОДов

ПОД ЗЕМЛЕЙ

При создании ЦОДов под землей часто используются различные бомбоубежища и бункеры, в большом количестве оставшиеся со времен холодной войны, а также выработанные шахты. Одно из преимуществ такой организации ЦОДов — использование естественных или созданных человеком пространств, что позволяет существенно снизить расходы на капитальное строительство. По сути, стены и потолок для серверных и других помещений ЦОДа уже имеются, причем, как правило, они хорошо защищены от различных природных катаклизмов и техногенных катастроф. Наличие почти готовых помещений (см. рис. 1) позволяет существенно сократить и срок ввода ЦОДа в эксплуатацию.

Рис. 1. Одно из преимуществ организации ЦОДов под землей — использование почти готовых пространств, что позволяет существенно снизить расходы на капитальное строительство

Для охлаждения архитекторы подземных ЦОДов стараются в максимальной степени использовать холод «матушки-земли». Глубоко под землей всегда холодно, однако необходимо продумать, как отводить тепло, генерируемое в процессе работы ИТ-оборудования. Большинство шахт и подземных бункеров оборудованы системами вентиляции, однако они рассчитаны, как правило, на обеспечение жизнедеятельности небольшой группы людей, но никак не на поддержку функционирования высоконагруженных серверов. Поэтому, при размещении ЦОДов в подземельях, приходится проделывать дополнительные вентиляционные отверстия наружу, что может оказаться не самым простым делом, особенно когда необходимо «пройти» толстую скальную породу.

Один из примеров больших подземных ЦОДов (см. рис. 2) — это комплекс на 10 МВт, который компания Iron Mountain организовала в бывшей известняковой шахте в Пенсильвании (США). Температура внутри шахты составляет около 13°С (известняковые стены поглощают тепло), кроме того, в шахте имеется подземное озеро с холодной водой, низкая температура которой также поддерживается естественным путем. Это позволило компании решить задачу охлаждения ИТ-оборудования без установки дорогостоящих и потребляющих много энергии традиционных технических решений, таких как чиллер.

Рис. 2. Компания Iron Mountain организовала ЦОД на 10 МВт в бывшей известняковой шахте в Пенсильвании (США)

Один из наиболее эффектных подземных ЦОДов принадлежит поставщику услуг коммерческих центров обработки данных компании Bahnhof. Он расположен в окрестностях Стокгольма в 30 м под скалой в бывшем ядерном убежище Pionen White Mountains (название, сохранившееся у объекта со времен холодной войны). Площадь объекта составляет более 1100 м², причем он может выдержать даже взрыв водородной бомбы. Bahnhof до сих пор использует «военные» средства резервного питания — дизельные генераторы, спроектированные для установки на подлодках (см. рис. 3). В ЦОДе размещены и офисы, в которых имитируется дневное освещение, организованы оранжерея и даже искусственные водопады, что создает комфортную рабочую атмосферу. Информацию об установленной системе охлаждения компания не детализирует, но известно, что она позволяет отвести тепло с нескольких сотен полностью заполненных ИТ-оборудованием шкафов (мощность до 1,5 МВт).

Рис. 3. Для своего ЦОДа, размещенного в окрестностях Стокгольма в бывшем ядерном убежище Pionen White Mountains, компания Bahnhof до сих пор использует «военные» средства резервного питания — дизельные генераторы, спроектированные для установки на подлодках

В Норвегии на берегу одного из фьордов подземный ЦОД построен в бункере, где ранее был склад боеприпасов НАТО. Общая площадь этого объекта (DC1-Stavanger), принадлежащего компании Green Mountain, на первом этапе составила 13,6 тыс. м² (см. рис. 4). При этом инженерная инфраструктура спроектирована в расчете на общую мощность 26 МВт. Среди клиентов этого ЦОДа, сертифицированного на уровень отказоустойчивости Tier III, — финансовые и государственные организации, учреждения здравоохранения, ИТ-компании.

Рис. 4. Свой ЦОД DC1-Stavanger компания  Green Mountain построила в Норвегии на берегу одного из фьордов, где ранее был склад боеприпасов НАТО

Для охлаждения ЦОДа DC1-Stavanger используется глубинная вода фьорда: она забирается с глубины более 75 м, где ее температура круглый год остается равной 8°С (см. рис. 5). Более того, для подъема воды используется гравитационный эффект и не тратится никакой энергии. В остальном система охлаждения довольно традиционна. В специальных теплообменниках вода из фьорда забирает тепло у воды, которая циркулирует по внутреннему контуру, проходящему через серверные комнаты. В них установлены внутрирядные блоки охлаждения, которые и обеспечивают подачу холодного воздуха к ИТ-оборудованию. Стандартное решение позволяет отвести до 6 кВт с одного квадратного метра, однако при необходимости теплоотвод может быть увеличен до 20 кВт с одного квадратного метра.

Рис. 5. Схема системы охлаждения ЦОДа DC1-Stavanger

Использование холодной воды фьорда в системе охлаждения предусмотрено и в ЦОДе Lefdal Mine Datacenter (LMD), который строится сейчас в горном массиве на побережье Норвегии в штольнях выведенной из эксплуатации шахты. Этот объект впечатляет своими масштабами: шестиуровневая система штолен (см. рис. 6) с 75 камерами предлагает 120 000 м² площади для инфраструктуры, потенциальная суммарная мощность которой составляет 200 МВт. На каждый из уровней ЦОДа LMD можно попасть по центральной дороге — «авеню», от нее отходят прямые улицы к отдельным камерам. Даже на самых глубоких уровнях грузовые автомобили могут разъехаться на двух полосах (см. рис. 7).

Рис. 6. ЦОД Lefdal Mine Datacenter (LMD) впечатляет своими масштабами: шестиуровневая система штолен предлагает 120 000 м2 площади для инфраструктуры, потенциальная суммарная мощность которой составляет 200 МВт

Рис. 7. На каждый из уровней ЦОДа LMD можно попасть по центральной дороге — «авеню», от нее отходят прямые улицы к отдельным камерам. Даже на самых глубоких уровнях грузовые автомобили могут разъехаться на двух полосах

Находящийся рядом с шахтами Lefdal фьорд глубиной 565 м окружен четырьмя ледниками и предоставляет неограниченный запас холодной (с температурой 7,5°С) морской воды. Благодаря расположению штолен ниже уровня моря расход энергии на подачу воды к теплообменнику ЦОДа сокращается до минимума. Система охлаждения ЦОДа LMD построена по двухконтурной схеме, подобной той, что показана на рис. 5. Нагретая вода поступает обратно во фьорд, однако ее температура составляет не выше 12°С. Проведенная экспертиза показала, что огромный объем фьорда и морские течения гарантируют, что сброс теплой воды не окажет никакого влияния на морскую природу.

Для энергоснабжения ЦОДа LMD предполагается использовать только возобновляемые источники энергии, добываемой при помощи ветра и воды. Несколько гидроэлектростанций, расположенных вблизи шахты, имеют более чем достаточную мощность. Совокупное производство электроэнергии в районе шахты составляет сейчас 12,7 ТВт×ч, причем, по статистике, за последние десять лет надежность электроснабжения составила 99,97%.

Согласно предварительной оценке, коэффициент PUE ЦОДа LMD составит всего 1,1. На первом этапе устанавливается инженерная инфраструктура на 30 МВт, затем будет поэтапно прибавляться по 7,5 МВт до 200 МВт. ЦОД планируется расширять путем добавления модулей на базе решения RiMatrix S компании Rittal. Всего будут использоваться пять различных модулей, имеющих по 10 или 12 серверных стоек. В зависимости от потребностей клиенты смогут выбирать варианты мощностью 5, 10 или 20 кВт на стойку. Сам модуль представляет собой полностью укомплектованный и предварительно сконфигурированный ЦОД с ИТ-стойками, электрораспределительным оборудованием и программным обеспечением для мониторинга ИТ-инфраструктуры и управления ею.

НА ВОДЕ

Идея использования холодной воды естественных водоемов для охлаждения ИТ-оборудования давно будоражит умы проектировщиков центров обработки данных. Эта задача решается наиболее эффективно, когда ИТ-системы находятся максимально близко к источнику холода. Еще в 2008 году Google зарегистрировала патент на плавучий ЦОД. Интересно, что, помимо закачки забортной воды в систему охлаждения, патент предусматривал использование энергии морских волн для генерации электричества, необходимого ИТ-оборудованию. По задумке Google, флотилия ЦОДа должна была располагаться на расстоянии 3–7 миль от берега. Однако пока нет информации о том, как продвигается реализация идей этого патента на практике.

В свое время проект по созданию целой флотилии плавучих центров обработки данных активно пропагандировал калифорнийский стартап International Data Security (IDS). Платформами должны были стать отслужившие свое военные корабли, которые планировалось разместить в заливе Сан-Франциско. Однако IDS так не смогла привлечь финансирование, необходимое для реализации своих амбициозных планов.

Наиболее близко к реализации идеи плавучих ЦОДов подошла компания Nautilus Data Technologies (NDT), топ-менеджеры который учли проблемы проекта IDS. В качестве платформы для своих ЦОДов NDT выбрала не военные корабли, а морские баржи, которые будут находиться прямо у причала (см. рис. 8). Использование энергии морских волн для снабжения таких ЦОДов электричеством не планируется. Зато они в полной мере задействуют преимущество эффективного охлаждения, благодаря чему, как утверждают в NDT, стоимость решения можно будет снизить на 40% по сравнению с традиционными ЦОДами, использующими чиллеры или фреоновые кондиционеры.

Рис. 8. Компания Nautilus Data Technologies решила использовать в качестве платформы для ЦОДа морские баржи, которые будут находиться прямо у причала

Первая экспериментальная баржа данных NDT уже прошла опытную эксплуатацию в 2015 году. На ней было размещено всего пять стоек с ИТ-оборудованием мощностью по 32 кВт (на стойку). Как утверждают представители Nautilus, все системы показали себя хорошо. Возвращаемая в море вода имела температуру всего на 4°С выше, чем забираемая, что гарантирует минимальное влияние на окружающую среду. Коэффициент энергоэффективности (PUE) такого ЦОДа оказался равным 1,045. Оператор не приводит данных о том, как измерялся этот коэффициент, но, скорее всего, из инженерных систем в нем учитывалась только система охлаждения.

Сейчас Nautilus готовит свои плавучие ЦОДы к коммерческой эксплуатации. Каждая баржа будет способна поддерживать работу ИТ-оборудования мощностью 8 МВт. А к одному причалу могут быть пришвартованы до пяти барж. Компания придерживается модульного подхода, «квант наращивания» составит 1 МВт. Стоимость создания таких ЦОДов, по данным Nautilus, — менее 3 млн долларов в пересчете на мегаватт.

ИТ-оборудование в «баржах данных» размещается на палубе в модульных дата-холлах в стойках с охлаждаемой задней дверью. Инженерное оборудование, включая системы ИБП и блоки распределения холодной воды, устанавливается в герметичном трюме. Сама система охлаждения строится по классической двухконтурной схеме. В одном контуре насосы прокачивают забортную воду, поступающую через фильтры. В специальных теплообменниках «вода — вода» эта (холодная) вода забирает тепло у пресной воды, циркулирующей в другом контуре. Охлажденная вода поступает в теплообменники «вода — воздух», расположенные в каждой стойке. Соленая вода — очень агрессивная среда, поэтому трубы системы охлаждения соответствующего контура делают из меди или титана.

Помимо ЦОДов, Nautilus разрабатывает свои системы оркестрации для платформ предоставления облачных сервисов и системы управления инфраструктурой ЦОДов — Data Center Infrastructure Management (DCIM). Заказчики получат возможность выбора: использовать ПО Nautilus или другие технические решения.

ПОД ВОДОЙ

Проект Natick был инициирован Microsoft с целью разработки, создания и эксплуатации ЦОДов под водой. Первый экспериментальный образец такого центра обработки данных, названный Leona Philpot (см. рис. 9), был погружен в воды Тихого океана в нескольких километрах от побережья США в августе 2015 года. Он находился в опытной эксплуатации четыре месяца, до ноября того же года, после чего был поднят на сушу и перевезен в офис Microsoft для изучения.

Рис. 9. Установка защитного колпака на стойку с ИТ-оборудованием экспериментального подводного ЦОДа Leona Philpot, построенного в рамках проекта Natick компании Microsoft

Основная цель создания подводных ЦОДов — построение инфраструктуры для предоставления облачных сервисов, которые стремительно набирают популярность. Как утверждают в Microsoft, такие ЦОДы будут обходиться дешевле, быстрее развертываться, а также наносить меньший урон окружающей среде по сравнению с традиционными центрами обработки данных. Проект по созданию и развертыванию такого ЦОДа, по данным Microsoft, может занять всего 90 дней. Это позволит быстрее реагировать на запросы рынка, а также окажется чрезвычайно полезным, когда необходимо оперативно развертывать ИТ-мощности — например, в случае чрезвычайных ситуаций или крупных спортивных событий, таких как чемпионат мира по футболу.

Кроме того, подобные решения позволят улучшить обслуживание потребителей облачных сервисов. Дело в том, что примерно 50% населения Земли живет вдоль побережья океанов и морей. Размещение центров обработки данных рядом с береговой линией даст возможность существенно сократить длительность задержки при обработке запросов.

Одно из главных экономических преимуществ подводных ЦОДов связано с сокращением расходов на охлаждение, а это самая большая статья расходов при эксплуатации традиционных центров обработки данных. Компания Microsoft не раскрывает технических деталей, однако очевидно, что охлаждение установленного в таком центре обработки данных ИТ-оборудования осуществляется за счет морской воды, которая на глубине всегда остается достаточно холодной.

Что касается электропитания, экспериментальный образец получал его «с земли», по проброшенному с берега силовому кабелю. Однако, по задумке разработчиков, в будущем подводные центры обработки данных будут получать необходимую для ИТ-оборудования энергию от возобновляемых источников — в частности, питаемых энергией ветра, волн, приливов и морских течений.

Через кабель, идущий с берега, ЦОД Leona Philpot был подключен и к Интернету. Однако, как известно, имеется большое число проложенных по дну океанов магистральных телекоммуникационных кабелей, которые в будущем можно будет задействовать для высокоскоростного подключения подводных ИТ-комплексов.

Как сразу же заметили многие эксперты, одним из слабых мест подводных ЦОДов могут стать проблемы с обслуживанием. Но в Microsoft уверяют, что современное серверное оборудование может без проблем и необходимости в каком-то обслуживании эксплуатироваться в течение всего «срока жизни», около 10 лет. Что касается ЦОДов, создаваемых в рамках проекта Natick, то они рассчитаны на необслуживаемую эксплуатацию в течение 5 лет. После чего капсула должна быть поднята на сушу для замены ИТ-оборудования. Таких пятилетних циклов может быть минимум четыре, то есть сам конструктив рассчитан на работу по меньшей мере в течение 20 лет.

В ВОЗДУХЕ

В свое время довольно много шума в Интернете вызвало заявление сайта The Pirate Bay о планах по созданию весьма необычной серверной инфраструктуры: на базе дронов. В частности, в нем говорилось о намерении создать систему летающих серверов-дронов на базе платформы морского базирования, курсирующей в международных водах. Главная цель такого решения — вывод нелегальных ресурсов из-под контроля государственных структур. Кроме того, активно муссировалась идея создания низкоорбитальных серверных станций (Low Orbit Server Stations, LOSS), своего рода ЦОДов на орбите. Однако ни один из подобных проектов реализован не был. До сих пор неясно, насколько серьезно они были проработаны.

Но идея реализации «ЦОДа в воздухе» не оставляет пытливые умы. В рамках проекта Server Sky разрабатываются ультратонкие пластины (thinsat) на основе подложки из алюминиевой фольги, которые одновременно выполняют функции солнечных батарей и вычислительных элементов. Получать питание такие элементы будут от солнечной энергии, перемещаться и позиционироваться — под давлением света, охлаждаться — естественным холодом космического пространства. Комплексы из десятков тысяч таких пластин могут служить мощными вычислительными узлами и одновременно фазированными антенными решетками для обмена информацией с приемопередатчиками на Земле.

Этот проект, если он будет реализован, позволит максимально эффективно использовать солнечную энергию: с ее помощью обрабатывать данные на орбите. А передавать мегабайты информации проще и дешевле, чем мегаватты энергии.

***

Представленные в статье проекты — от уже работающих в режиме коммерческой эксплуатации ЦОДов под землей до пока еще фантастических вычислительных узлов на орбите — иллюстрируют стремление инженерной мысли найти оптимальные места размещения и более эффективные технологии для создания центров обработки данных. При этом в первую очередь решаются задачи снижения энергопотребления, в том числе за счет оптимизации системы охлаждения, которая является основным потребителем электричества в ЦОДе. Эти задачи стоят и перед проектировщиками «обычных» ЦОДов, которые, возможно, смогут почерпнуть полезные идеи, реализованные в необычных объектах.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.