Чем выше производительность системы, тем больше она потребляет энергии, теряя ее значительную часть в атмосфере через систему охлаждения, поэтому разработчики современных вычислительных комплексов, как и их коллеги полвека назад, вынуждены решать две проблемы: снижение потребляемой мощности и отвод тепла от эксплуатируемых вычислительных стоек. Для снижения потребляемой мощности можно использовать более современные процессоры с минимальным напряжением питания и применять более эффективные решения по отводу тепла. Первый метод обеспечивает снижение энергопотребления за счет использования более точной литографии, низкого напряжения и, соответственно, меньшего тепловыделения. Второй позволяет добиться результата по той причине, что более половины мощности компьютеров тратится самими же системами охлаждения — если делать систему отвода тепла более эффективной, то могут быть сокращены и расходы на эксплуатацию.
Индустрия ИТ предлагает множество вариантов серверных конфигураций для построения высокопроизводительных решений — например, на базе стандартных серверных стоек, в которых монтируются серверы, образующие большие кластерные системы. Обычно в каждом сервере устанавливается своя система электроснабжения и вентиляции, что не всегда оправданно в случае большого количества вычислительных элементов в стойке, поскольку при изменении конфигурации оборудования, например, схема вентиляции меняется при выходе одного сервера из строя.
В конфигурации, предусматривающей использование серверов-лезвий (а не одиночных серверов), компактный модульный сервер устанавливается в специальную платформу, которая обеспечивает сетевое подключение, энергоснабжение и вентиляцию. В этом случае система подачи электроэнергии и отвода тепла работает более эффективно — одна комплексная система с дублированием может обслуживать около десятка серверов.
С появлением системы HP Apollo начался следующий этап развития серверных конфигураций для построения высокопроизводительных систем — применение сдвоенных лезвий. В каждом отдельном модуле содержится не один, а два независимых сервера, в том числе и с жидкостным охлаждением, что позволяет уменьшить энергопотребление при увеличении производительности на ватт затраченной энергии.
В линейке Apollo имеются решения как с воздушным, так и с жидкостным охлаждением. Первые построены на серверах ProLiant XL220a — один модуль содержит два сервера с процессорами Intel E3-12xx v3 Haswell (4 ГГц, 22 нм и напряжение питания ядра 0,65–1,35 В). Максимальная потребляемая мощность модуля со сдвоенным сервером составляет 169 Вт, а всего таких модулей может быть установлено в шасси размером 5U до 10 штук или 20 серверов на шасси. В монтажной стойке можно разместить до восьми шасси, это обеспечивает установку в ней до 160 серверов, что в пределах одной монтажной стойки позволяет масштабировать информационную систему в 80 раз. Только за счет объединения в один корпус двух лезвий вдвое сократилась потребность в площади, занимаемой серверами, при этом производительность увеличилась благодаря использованию более быстродействующих кристаллов. Шасси снабжается сетевым оборудованием, модули которого размещаются позади монтажной стойки и обеспечивают взаимодействие серверов с внешним миром. В целом шасси размером 5U плюс соответствующий источник питания могут быть установлены в любую уже готовую и хорошо кондиционированную монтажную стойку.
Более эффективной по производительности обещает быть система Apollo 8000 с жидкостным охлаждением и серверами ProLiant XL730f, в которой нет необходимости оставлять пространство для потока воздуха, поэтому серверы более компактны, однако для нее требуется дополнительное место для отвода тепла с помощью жидкости. В решении предусмотрена отдельная стойка, обеспечивающая охлаждение до четырех стоек с серверами. Система Apollo 8000 включает шасси HP Apollo f8000 с горизонтальным размещением серверов ProLiant XL730f. В одну стойку может быть установлено до 144 серверов, блоки питания до 80 КВт и система отвода тепла. Охлаждение серверов выполняется методом сухого контакта — контуры охлаждения в стойке и в серверах независимые, что упрощает обслуживание отдельных лезвий. Жидкостная система охлаждения закреплена на специальном лотке с передачей лишнего тепла через торцевой металлический контакт в шасси. HP ProLiant XL730f имеет до 256 Гбайт оперативной памяти и общий со вторым сервером твердотельный накопитель объемом до 120 Гбайт. Потребляемая мощность на лоток составляет 1200 Ватт.
.png "Лоток жидкостной системы охлаждения Apollo 8000") |
| Лоток жидкостной системы охлаждения Apollo 8000 |
Стойка охлаждения HP Apollo 8000 iCDU, занимающая 26U стандартной монтажной стойки, подключена к системе коммунального водоснабжения, а специальный вакуумный насос поддерживает субатмосферное давление, позволяющее удерживать жидкость внутри трубопровода в случае повреждения трубок (см. схему). Одна система охлаждения может обслуживать до четырех стоек.
.png "Схема охлаждения серверов HP Apollo 8000 iCDU (слева) с помощью специальных охлаждающих трубопроводов") |
| Схема охлаждения серверов HP Apollo 8000 iCDU (слева) с помощью специальных охлаждающих трубопроводов |
Связь стойки серверов с внешним миром обеспечивают восемь коммутаторов HP InfiniBand, каждый из которых позволяет подключить до 18 серверов, имеющих собственное подключение Gigabit Ethernet. В каждой процессорной стойке дополнительное место отводится системе водяного охлаждения, которая физически отделена от вычислительных компонентов. Сделано это за счет вертикального расположения серверов и тройного цикла охлаждения: отдельный замкнутый контур охлаждения смонтирован стационарно на плате сервера, второй контур уже вмонтирован в стойку, и только третий подключен к коммунальной воде. Взаимодействие первого и второго контуров происходит через боковую поверхность сервера, называемую температурной шиной. Такое разделение контуров упрощает обслуживание системы и обеспечивает возможность горячей замены серверов, поскольку модуль охлаждения замыкается внутри пространства сервера-лезвия и его не нужно отделять от остальной системы охлаждения.
Максимальная конфигурация Apollo 8000 включает шесть стоек, две из которых отведены под систему охлаждения и дополнительное оборудование, а четыре могут быть полностью заняты серверами-лезвиями. Несмотря на то что стойки охлаждения требуют дополнительного места, эффективность системы водяного охлаждения выше, чем воздушного, — по данным производителя, переход на водяное охлаждение позволяет сэкономить до 28% электроэнергии и на 40% увеличить производительность.
В комплект поставки Apollo входит ПО для управления кластерными решениями HP Insight Cluster Management Utility (CMU) и HP Integrated Light-Out (iLO) Management Engine, позволяющее управлять жизненным циклом серверов, не используя при этом дополнительного ПО в самих серверах. Благодаря iLO можно контролировать и обслуживать вычислительный центр, поддерживая его отказоустойчивость.
Оба решения (Apollo 6000 и Apollo 8000) могут наращиваться по мере необходимости, однако пользователям стоит заранее определить, для чего будут служить данные системы. В небольших ЦОД с уже готовой системой вентиляции лучше использовать Apollo 6000 для экономии пространства или увеличения производительности при неизменном энергопотреблении. Такое решение будет востребовано в компаниях с уже построенной инфраструктурой, у которых возникла потребность в увеличении производительности без необходимости добавления новых монтажных стоек. Для новых ЦОД, предназначенных для решения больших задач, лучше использовать Apollo 8000, которым не нужны системы кондиционирования воздуха, но требуется подвести воду. Для корпоративного применения лучше подходит Apollo 6000, а сервис-провайдерам, планирующим предоставлять услуги в облаках, имеет смысл обратить внимание на системы Apollo 8000, имеющие большие возможности для масштабирования.
***
Серверы Apollo предназначены для построения высокопроизводительных систем, ориентированных на работу с Большими Данными или выполнение веб-проектов, то есть они хорошо послужат там, где критично масштабирование, однако экстенсивное добавление новых узлов чревато ростом расходов на эксплуатацию. Применение при охлаждении воды, имеющей на несколько порядков лучшие, чем у воздуха, показатели теплоемкости, позволило снизить стоимость единицы производительности, повысив эффективность конфигурации.
Валерий Коржов (osmag@osp.ru) — независимый автор (Москва).
