Много ли внимания уделяется выбору стоек? Казалось бы, ничего сложного нет: если что-то известно о размещаемом ИТ-оборудовании, заказываются стойки нужной глубины, если неизвестно, организуется два ряда стоек — в одном менее глубокие, а во втором более глубокие. Вот, вроде бы, и весь выбор. Но рассмотрим ситуацию внимательнее!

ИТ-СТОЙКИ: КРАТКАЯ ХАРАКТЕРИСТИКА

Рисунок 1. Открытая ИТ-стойка.
Рисунок 1. Открытая ИТ-стойка.

Серверная стойка — это металлический каркас, устанавливаемый в ЦОД, серверных помещениях, компьютерных комнатах и коммуникационных узлах (см. Рисунок 1). Его основное назначение состоит в надежном размещении серверов форм-фактора 19″.

В соответствии со стандартом Ассоциации электронной промышленности (Energy Information Administration, EIA) каркас стойки имеет ширину 19″ (482,60 мм) и высоту, кратную 1,75″ (44,45 мм), или 1 юниту (1U), а кроме того, оснащается рельсами для установки модулей шириной 17 3/4″ (450,85 мм). Стойка часто используется для размещения не только серверов, но и прочего ИТ-оборудования и сетевых устройств. Серверные стойки также называют серверными шкафами, 19″-стойками, монтажными шкафами и т. д.

При выборе стойки для центра обработки данных следует учитывать следующие основные факторы: используемую в ЦОД систему охлаждения, схему организации воздушного потока и общее энергопотребление оборудования.

ФАКТОР СИСТЕМЫ ОХЛАЖДЕНИЯ

Современные вычислительные комплексы с высокой плотностью размещения оборудования, такие как блейд-серверы, выделяют большое количество тепла и размещаются в стойках. Поэтому необходимо четко понимать, какая роль отводится последним в общей схеме охлаждения серверного помещения.

Выбор стойки зависит от применяемых в ЦОД методов охлаждения. Базовый уровень тепловыделения (кВт/стойка) меняется в широких пределах — от 4 до 12 кВт и более в зависимости от типа и плотности размещения оборудования. Но нередко встречается нагрузка и 20 кВт на стойку. Для некоторого современного оборудования достижима планка в 50 кВт на стойку.

Рисунок 2. Серверный шкаф с перфорированной дверцей.
Рисунок 2. Серверный шкаф с перфорированной дверцей.

Если в центре обработки данных реализовано воздушное охлаждение (серверы обдуваются воздухом), то для достижения максимально возможного воздушного потока необходимо выбирать стойки с максимальной перфорацией (см. Рисунок 2). Причем чем выше мощность стойки, тем важнее общая площадь перфорации (сегодня она достигает 90%).

Если же система охлаждения жидкостная или встроенная в стойку, то сам шкаф, безусловно, должен быть герметичным. Отметим, что по мере роста плотности размещения серверов и распространения ресурсоемких приложений модули жидкостного охлаждения используются все чаще. Одно из основных преимуществ таких автономных модулей (как и встроенной в шкаф системы воздушного охлаждения) состоит в том, что они не влияют (или оказывают минимальное влияние) на работу используемых на объекте систем вентиляции и кондиционирования и на микроклимат в помещении.

Подобные решения, как правило, не используются в традиционных ЦОД, где имеется надежная прецизионная система охлаждения зала, однако они весьма полезны, когда небольшое количество ИТ-стоек размещается не в ЦОД или серверной, а в помещении иного назначения. Это может быть офис, склад, щитовая и т. д. Добавим, что в любом случае необходимо предпринять особые меры для отвода отработанного тепла.

УЧЕТ ГАБАРИТОВ

Внутреннее пространство серверной стойки должно быть достаточно объемным, чтобы можно было установить не только имеющиеся ИТ-устройства, но и инженерное оборудование (например, блоки питания и блоки распределения питания), а также разместить кабельную проводку. Высота оборудования измеряется в стандартных модулях (Rack Unit, U). Один U имеет высоту в 1,75″ (44,45 мм).

Необходимо оставить место для будущего расширения и размещения дополнительной техники, а кроме того, аксессуаров: устройств для мониторинга окружающей среды, оборудования для дистанционного управления питания, стоечных LCD-мониторов, KVM-панелей и резервных аккумуляторов.

К примеру, если необходимо установить 20 серверов по 2U, то, скорее всего, понадобится стойка высотой не менее 45U, чтобы в нее можно было поставить еще и коммутационную панель 1U, и резервную батарею 2U. Если же из-за ограничений по высоте данное оборудование требуется уместить в типовую стойку 42U, рекомендуется приобрести сразу две стойки по 42U.

Внутренняя высота стойки измеряется от наиболее высокой точки боковых направляющих до нижнего шасси. Внутренняя глубина соответствует расстоянию между передней и задней дверьми, а внутренняя ширина — расстоянию между боковыми панелями. Проверьте наружные размеры стойки и убедитесь, что она поместится в отведенное для нее пространство и не застрянет в дверных проемах (если конструкция неразборная). Удостоверьтесь в соблюдении всех требований безопасности.

Кроме того, при размещении оборудования внутри стойки следует придерживаться общего правила: то, что тяжелее, устанавливать в нижней части, чтобы предотвратить неправильное распределение веса и обеспечить максимально низкое положение центра тяжести стойки, что, в свою очередь, повысит ее устойчивость.

Дабы обеспечить доступ к оборудованию для его обслуживания, необходимо заранее четко спланировать, какие устройства будут устанавливаться в передней и задней частях стойки.

СТОЕЧНЫЕ ОПЦИИ КАК СПОСОБ ИНДИВИДУАЛИЗАЦИИ КОНСТРУКЦИИ

Большинство вендоров предоставляет для ИТ-стоек множество аксессуаров собственного производства, при помощи которых можно обеспечить соответствие предъявляемым к стойке требованиям.

В частности, для размещения и организации более простого доступа к некоторым видам оборудования могут быть использованы полки. Обычно предлагаются несколько вариантов размещения серверных полок, в том числе с настраиваемым или фиксированным положением и креплением по четырем точкам, полки на салазках с клавиатурой и креплением по двум точкам, вентилируемые, высокопрочные или консольные полки, а также универсальные. Глубина серверной полки должна быть на 6″ меньше, чем стойки. К примеру, если соответствующий размер последней 30″, то нужна полка глубиной 24″.

Верхние панели (потолок стойки) защищают оборудование от пыли и мусора. Доступные опции включают в себя перфорированные отверстия для обеспечения дополнительной вентиляции, герметичные отверстия для организации кабельной инфраструктуры, а также крепления для вентиляторов, выбрасывающих отработанное тепло. Боковые панели обеспечивают дополнительную безопасность и обычно предлагаются в нескольких вариантах: цельные несъемные панели, цельные съемные панели и цельные панели с вентиляторами.

Большая часть стоек оснащается двумя наборами рельсов. Почти все производители предлагают возможность выбора между универсальными рельсами для установки оборудования и рельсами стандарта EIA. Универсальные рельсы рассчитаны на сетевое и серверное оборудование размером 19″ EIA. Рельсы стандарта EIA поддерживают сетевое и некоторое серверное оборудование размером 19″ EIA. Вне зависимости от того, оснащаются ли рельсы квадратными или нарезными отверстиями, все они соответствуют стандарту ANSI/EIA-310-D (1992 год). Большинство производителей серверных стоек рекомендуют использовать рельсы с квадратными отверстиями и клетевыми гайками — в настоящее время ими оснащаются почти все стандартные стойки.

Доступные варианты ножек включают в себя: выдвижные ножки для стабилизации средне- и высоконагруженных стоек; ролики, которые присоединяются к нижней части стоек для удобного перемещения; уровни, применяемые совместно с роликами для обеспечения ровного положения стойки после перемещения.

ИТ-СТОЙКИ OPEN RACK

Некоторое время назад компания Facebook анонсировала проект Open Compute Project, призванный содействовать разработке открытых спецификаций оборудования для центров обработки данных. Целью его является внедрение нового стандарта проектирования серверных стоек для ЦОД с гиперскалярной архитектурой. В конце 2012 года сообщество Open Compute Project даже выпустило руководство по проектированию в рамках Open Rack, где содержатся спецификации и рекомендации, на основании которых производители ИТ-оборудования могут разрабатывать системы, совместимые со стандартом Open Rack.

Open Rack (см. Рисунок 3) предусматривает использование серверных слотов шириной 21″, то есть шире чем привычные 19″, считающиеся отраслевым стандартом. Более широкий форм-фактор позволяет использовать дополнительное пространство для улучшенного управления температурным режимом, размещения кабелей и питающих устройств.

Рисунок 3. Вид спереди (слева) и сбоку (справа) на стойку Open Rack.
Рисунок 3. Вид спереди (слева) и сбоку (справа) на стойку Open Rack.

 

Одной из ключевых инноваций является схема распределения питания: все блоки питания вынесены в специальную секцию (power shelf), так что теперь не нужно размещать их в сервере. Таким образом, питание фактически реализуется на уровне стойки.

В соответствии с общей тенденцией увеличения размера стойки на смену классическому юниту приходит секция высотой 48 мм, названная OpenU. Руководство по проектированию содержит спецификации как для стандартной одинарной стойки, так и для тройной (triplet), разработанной Facebook для своего ЦОД, который располагается в Прайнвилле, штат Орегон. Каждая стойка имеет несколько секций размером 10 OpenU, позволяющих производителям оборудования кастомизировать серверы и устройства хранения данных.

Текущая версия Open Rack предусматривает три секции 13×OpenU и одну размером 2×OpenU для установки коммутаторов. Три секции 13×OpenU разделены на секцию питания 3×OpenU и «секцию инноваций» 10×OpenU, предназначенную для установки ИТ-оборудования.

Блоки распределения питания размещаются в боковой части стойки, причем питание может осуществляться как от переменного, так и от постоянного тока. Блоки подключаются к электросети ЦОД и распределяют мощность по трем секциям питания, расположенным рядом с «секциями инноваций». Каждая из этих трех секций содержит семь блоков питания с возможностью «горячей» замены, которую можно выполнять из холодного коридора ЦОД (cold aisle). Далее питание распределяется по трем шинам с напряжением 12 В, подведенным к «секциям инноваций».

«Секция инноваций» предназначена для размещения ИТ-оборудования. Питающая шина находится в задней части секции, поэтому оборудование легко устанавливать и обслуживать спереди, то есть из холодного коридора. По бокам стойки располагаются уголковые крепления, предназначенные для ИТ-оборудования.

Кабельные секции располагаются в передней части стойки, что позволяет осуществлять их техническое обслуживание, не входя в горячие коридоры ЦОД. Кабели размещаются в защищенных зонах в боковых частях стойки, чтобы их нельзя было повредить при извлечении ИТ-оборудования.

В целом стойки Open Rack — это нечто среднее между открытой стойкой в привычном для нас понимании и телекоммуникационным шкафом. Безусловно, за прошедшие годы накоплен достаточно большой опыт, чтобы модернизировать один из самых фундаментальных элементов центра обработки данных — стойку для ИТ-оборудования. И создавая Open Rack, специалисты из Facebook именно на него и опирались. Фактически, имея необходимые ресурсы, они вкладывают средства в разработку нового концепта ИТ-стойки, который, по их мнению, позволит более эффективно использовать доступное внутреннее пространство, а также обеспечит определенный потенциал для реализации энергосберегающих идей.

По своему замыслу это сродни подходу Google к построению центров обработки данных: внедряя инновационные технологии охлаждения, реализуя фрикулинг, сокращая PUE всеми доступными способами, компания-гигант способствует развитию отрасли. И такой подход действует! После того как несколько лет назад Google представила профессиональному сообществу некоторые свои технологии и обнародовала данные о достигнутом с их помощью уровне энергосбережения, на свет появился целый ряд проектов, где показатели экономии энергии оказались не менее впечатляющими.

Схожие последствия может иметь и выдвинутая Facebook идея оптимизации пространства и инфраструктуры в ЦОД. Разрабатываемое руководство для производителей ИТ-оборудования призывает задуматься о новом формате, помимо привычного форм-фактора. При этом, следует отметить, в привычный мир ИТ вносятся принципиальные коррективы: изменение стандарта ширины ИТ-оборудования и высоты юнита.

ПОДВОДЯ ИТОГИ

Таким образом, от правильного выбора серверных стоек зависят простота и удобство эксплуатации как центра обработки данных в целом, так и отдельных его подсистем, включая ИТ-среду.

А учет факторов правильного охлаждения серверного оборудования и вовсе оказывает прямое влияние на надежность работы ИТ-оборудования.

Все перечисленные советы и рекомендации, безусловно, в большей мере относятся к корпоративным ЦОД, где стойки предназначаются для установки конкретного и, как правило, заранее известного ИТ-оборудования. Однако они столь же полезны и в случае обращения к услугам тех коммерческих ЦОД, которые предоставляют клиентам возможность завоза собственного ИТ-оборудования вместе со стойками. Наконец, их можно рассматривать как общий для всех КЦОД подход к выбору стоек для конкретного машинного зала.

Юрий Хомутский — независимый эксперт в области инженерной инфраструктуры ЦОД. С ним можно связаться по адресу AboutDC@AboutDC.ru. В статье использованы материалы интернет-портала о дата-центрах «www.AboutDC.ru — Решения для ЦОД».