Виртуализация оказывает прямое или косвенное влияние на все аспекты функционирования центра обработки данных и используемое в нем оборудование. Параллельное увеличение вычислительной мощности серверов ведет к тому, что для обработки той же нагрузки требуется меньше серверов, а для размещения последних — меньше стоек и шкафов. Как показывает исследование IMS Research, в 2011 году рынок монтажных конструктивов вырос на 7%, а в США, где процент виртуализации один из наибольших, отмечается еще больший рост.
Увеличению объема рынка, согласно выводам IMS Research, способствуют три фактора, совокупное действие которых превосходит негативное влияние виртуализации на продажи. Во-первых, потребность в вычислительной мощности растет быстрее, чем происходит консолидация серверов. В результате общее число серверов увеличивается быстрее, чем сокращается их количество вследствие виртуализации. Во-вторых, изменение в дизайне и конфигурации ведет к частой смене оборудования. Зачастую новые серверы устанавливаются в специально приобретенных для них шкафах, обычно более дорогих, поскольку для размещения современных серверов необходимы соответствующие конструктивы, которые отвечают требованиям к размерам, нагрузке, охлаждению и т. д. В-третьих, центры обработки данных активно строятся в развивающихся регионах, прежде всего в Азии.
По прогнозу IMS Research, до 2016 года мировой рынок будет расти в среднем на 9% ежегодно, а в Китае, Индии, Бразилии, России и на Среднем Востоке — на десятки процентов. Общий его объем в итоге увеличится почти на миллиард долларов (с 1,7 млрд в 2011 году до 2,6 млрд в 2016-м).
ВЫШЕ, ШИРЕ, ГЛУБЖЕ
Увеличение размеров шкафов, и прежде всего их высоты, связано с необходимостью размещения большего количества ИТ-ресурсов в ограниченном пространстве ЦОД. IMS Research прогнозирует опережающий рост поставок стоек высотой 48U — на 15% ежегодно. Вместительность таких конструктивов на 15% больше, чем у стандартных стоек 42U.
Однако бесконечно наращивать шкафы по высоте невозможно — и дело не только в наличии потолков. Как указывает аналитик Лиз Круз из IMS Research, шкафы большей высоты, чем 48U, вряд ли появятся, так как стойки высотой 51/52U или выше крайне трудно перевозить на автотранспорте, а размер дверных пролетов оказывается для них настоящим препятствием.
Размеры шкафов увеличиваются не только из-за потребности в размещении большего количества оборудования. Если устройства установлены слишком плотно, остается меньше воздуха для охлаждения и меньше места для прокладки кабелей. По оценкам IMS Research, спрос на конструктивы шириной 75–80 мм будет расти в два раза быстрее, чем на шкафы шириной 600 мм. Пока конструктивы глубиной 1100 мм имеют наибольшую долю, но лидерами роста продаж будут шкафы глубиной 1200 мм. Такие шкафы имеют увеличенный зазор в задней части для целей охлаждения и размещения кабелей.
Таким образом, вместимость оборудования является всего лишь одним из факторов, выбора «правильного» шкафа.
ОТКРЫТЫЕ СТОЙКИ ПРОТИВ ЗАКРЫТЫХ ШКАФОВ
Казалось бы, вопрос выбора монтажного конструктива окончательно решен в пользу закрытых шкафов, особенно в связи с растущей плотностью оборудования, для которого требуется мощное охлаждение. Однако до сих пор в центрах обработки данных можно встретить немалое количество открытых стоек. А предложенный Open Rack дизайн шкафов вообще представляет собой нечто среднее между стойкой и шкафом (см. ниже соответствующий раздел).
Так когда же выгоднее использовать открытые стойки и когда — закрытые шкафы? Очевидное преимущество последних, помимо большей нагрузочной способности и устойчивости, заключается в обеспечиваемом ими уровне безопасности. Двери шкафов могут быть снабжены замками, а оборудование скрыто от любопытных глаз: элементарная физическая защита существенно снижает шансы случайного или намеренного доступа и нанесения вреда.
Такая защита необходима, когда в помещении серверной могут оказаться посторонние, например при аренде места под стойки в ЦОД. Однако, как отмечают специалисты ЦМО, если доступ в зал строго контролируется (как в корпоративной серверной), во всем помещении поддерживается температурный режим, вес размещенного оборудования в стойках невелик и оборудование не является критическим (выполняет типовые офисные задачи), использование открытых стоек вполне возможно.
Закрытая конструкция ограничивает поступление воздуха к оборудованию, поэтому требуется организация вентиляции или жидкостного охлаждения. Однако при использовании открытых стоек эффективно охлаждать оборудование можно при нагрузке не более 5–6 кВт на стойку. При работе серверного оборудования выделяется большое количество тепла. Как отмечает Павел Милашевский, генеральный директор «Гром-М», отвести тепловые потоки и обеспечить комфортный температурный режим дешевле в объеме шкафа, чем в объеме целого помещения.
В случае стоек, для организации направленного воздушного потока к критичному оборудованию просто нет средств. Между тем уже сами двери и боковые стенки серверного шкафа выполняют функции регулирования воздушных потоков внутри ЦОД, а организовать холодные и горячие коридоры можно только при использовании закрытых шкафов. Возможность установки дополнительного вентиляционного оборудования и разделения потоков горячего и холодного воздуха позволяет в итоге значительно увеличить отвод тепла.
Организовать горячие и холодные коридоры, если соответствующая планировка не была предусмотрена заранее, бывает непросто и при наличии шкафов. Как указывает Вальдемар Руф, менеджер по продажам Pentair Equipment Protection в России, переоборудование рядов шкафов в уже действующем центре может обойтись дорого. Прежде чем изменять всю расстановку шкафов, можно воспользоваться разделительными панелями. Они препятствуют тому, чтобы горячий воздух из одного шкафа поступал в другой. Всасывающие элементы кондиционера должны быть сконцентрированы непосредственно над образовавшимся горячим коридором.
Эффективность уже существующей системы коридоров повышается за счет их изоляции, о чем также надо позаботиться заранее, так как сделать это в уже работающем ЦОД совсем не просто, особенно если в одном ряду стоят шкафы разных изготовителей, отличающиеся по высоте, ширине, форме крыши и особенностям крепления. С помощью предлагаемой компанией Pentair Equipment Protection гибкой концепции изоляции можно оптимизировать даже уже действующие ЦОД, независимо от того, какие шкафы там установлены.
Немаловажным фактором зачастую является и «экстерьер». Шкафы позволяют «спрятать» блоки распределения электропитания, шнуры и т. д. Стойка, плотно заставленная разношерстными серверами, к которым подключены самые разнообразные коммутационные шнуры, менее привлекательна с виду, чем закрытый шкаф. Как указывают в TE Connectivity, подобную картину нередко можно наблюдать на площадках, где размещается оборудование, принадлежащее различным компаниям (collocation). Впрочем, шкафы не только позволяют скрыть колтуны из кабелей, но и предусматривают специальные средства для их организации (о чем подробнее в следующем разделе).
Кроме того, шкафы с глухими или застекленными дверями позволяют снизить уровень шума, реализовать внутристоечную систему пожаротушения, обеспечить защиту от влаги и пыли и т. д. Специалисты Rittal, например, видят чуть ли не единственное преимущество открытых стоек в их невысокой стоимости. Как отмечают в Shtugger, стойки не только стоят меньше, но и их доставка обходится тоже дешевле, они удобны для погрузки-разгрузки, сборка занимает меньше времени, а уже установленное оборудование доступно со всех сторон. По мнению экспертов «Тайле», открытые серверные стойки высокоэффективны при использовании схемы с пассивным охлаждением и при необходимости частого доступа к оборудованию. Они отмечают, что стойки чаще всего используются в ЦОД, где преобладает пассивное оборудование и нет чрезмерного тепловыделения.
На эту же область применения указывают специалисты TE Connectivity. Открытые стойки удобны для размещения пассивного оборудования, организации кроссовых узлов уровня HDA или даже ZDA. Конечно, такие стойки должны быть изначально рассчитаны на подобное применение: оснащены специализированными кабельными организаторами и иметь увеличенную ширину (более 600 мм). Использование типовых стоек может только усугубить непростую ситуацию с размещением в них кабелей.
Подводя итоги, можно сказать, что открытые стойки являются наилучшим решением для относительно небольших инсталляций, когда оборудование размещается в контролируемых помещениях с центральной системой кондиционирования, где не требуется целевого охлаждения открытых стоек (организации и распределения воздушных потоков). По мнению специалистов компании Triton, в таких условиях проявляются все преимущества открытых стоек, а привлекательная цена способствует их популярности. Кроме того, стойки целесообразно использовать в крупных инсталляциях пассивного оборудования (при условии обеспечения защиты помещения). Типовые закрытые шкафы (с дверьми и боковыми панелями) отвечают требованиям реализации защиты на уровне отдельного конструктива (как в арендуемых центрах обработки данных), где необходимо организовать целевое охлаждение (например, для высокоплотного оборудования) или создать условия для специальных приложений (например, нужен высокий уровень защиты от влаги и пыли).
ЧЕРТ В ДЕТАЛЯХ
Как уже отмечалось, сборка открытых стоек проста и выполняется очень быстро, что является их несомненным преимуществом. Однако из-за постоянного совершенствования конструкции шкафов процедура их монтажа тоже все более упрощается. Так, например, рама шкафа серии Logic испанского производителя Retex собирается меньше чем за пять минут. Для сборки конструктива достаточно закрепить восемь монтажных болтов, панели и двери ставятся на место при помощи специальных фиксаторов, которые просто защелкиваются. Новые шкафы серии IT TS компании Rittal имеют сварную конструкцию, а все основные комплектующие устанавливаются, демонтируются и регулируются без винтов и инструментов — посредством защелок или крючков. Как утверждает производитель, один человек может собрать такой шкаф за пять минут.
Сравнительные достоинства сварных и сборных шкафов служат еще одним предметом постоянных дискуссий в отрасли. Очевидное преимущество сборных шкафов — удобство доставки. Как отмечает Сергей Лаврентьев, начальник отдела маркетинга ЦМО, малые серверные помещения зачастую находятся в цокольных или, наоборот, на верхних этажах зданий, в небольших комнатах. Повороты коридоров, лестничные пролеты, проемы дверей представляют для шкафа целую череду препятствий. Естественно, если он имеет разборную конструкцию, проблем не возникнет. Например, серверный шкаф ШТК-С поставляется (в зависимости от габаритов) в 3 или 4 транспортных местах, каждое из которых могут перенести два человека. Сборка шкафа занимает типовые 30–40 минут. Эта возможность не столь важна в случае ЦОД, где обычно предусматриваются удобные пути для транспортировки шкафа к месту установки.
Производители шкафов стремятся обеспечить максимально быстрый и удобный доступ к установленному в них оборудованию, чем нивелируют одно из основных преимуществ открытых стоек. Так, новые шкафы серии IT TS от Rittal имеют двухсекционные боковые стенки с фиксаторами. Стенки легко навешиваются и снимаются одним человеком без посторонней помощи. Задняя дверь — двухстворчатая. Серверные шкафы Shtugger ServoMAX тоже имеют аналогичные боковые панели, а двери легко демонтируются в процессе монтажа и технического обслуживания установленного оборудования. Задняя и передняя двери могут быть перенавешены для открывания влево или вправо. Специальные защелки и замки на боковых панелях обеспечивают простой и быстрый доступ внутрь шкафа. Подобные возможности — для быстрого снятия дверей — предусматривают многие производители: например, в шкафах Triton установлены специальные петли. В шкафах ЦМО глубиной 1200 мм боковые стенки у шкафа разделены по горизонтали на две части, что упрощает доступ в ограниченном пространстве.
Для облегчения монтажа оборудования и его последующего обслуживания применяется множество других инженерных решений. В частности, в серверных шкафах Conteg предусматриваются возможность бесшаговой (свободной) регулировки вертикальных направляющих и разделение задней пары направляющих на несколько секций для установки разной полезной глубины шкафа на разных уровнях. Например, в нижней части ставится тяжелое устройство большей глубины, а в верхней — менее глубокое. Для этого нижняя секция направляющих максимально раздвигается, а верхняя, наоборот, сдвигается. Даже такие простые меры, как пронумерованные отметки на монтажных профилях через каждые 44,45 мм (U), сделанные, например, в шкафах Shtugger ServoMAX, упрощают монтаж.
Для шкафов предлагается намного большее количество различных аксессуаров, чем для открытых стоек. Многие вендоры выпускают также кабели и компоненты, поэтому предметом их гордости служат кабельные организаторы. Так, TE Connectivity, которая собственных серверных шкафов не изготавливает, предлагает вертикальные организаторы и навесные элементы под компактные коммутационные модули, совместимые с конструктивами других производителей. Это позволяет освободить пространство внутри серверного шкафа, упорядочить кабельное хозяйство и улучшить прохождение воздушных потоков, причем в ряде случаев это можно сделать в уже установленных шкафах. Кроме того, с помощью специальных приспособлений пассивные компоненты могут быть размещены за пределами самого шкафа, но в непосредственной близости от него — сверху (на кабеленесущей системе) либо снизу (под фальшполом). Зачастую кабельные организаторы уже включены в комплектацию шкафа, так ШТК-С Проф производства ЦМО стандартно оснащаются вертикальными органайзерами размером 100 мм для упорядочивания кабеля и вертикального размещения блоков розеток.
Как отмечалось выше, все больше выпускается серверных шкафов шириной 800 мм. Дмитрий Гильмутдинов, старший инженер по продукции TLK в компании «Тайле», отмечает, что при ширине оборудования 19 дюймов, то есть 465 мм, между установленным оборудованием и боковой стенкой серверного шкафа остается больше 300 мм свободного пространства, которое и служит для укладки излишков и распределения кабеля. Кроме того, в серверных шкафах TLK предусмотрен цоколь с множеством кабельных вводов для удобства подвода кабелей со всех сторон, что позволяет уменьшить длину подводимых незащищенных жгутов кабелей.
В серверных шкафах ЦМО ШТК-С имеется пять кабельных вводов на торцевой поверхности цоколя и восемь — на горизонтальной для обеспечения прокладки кабеля к оборудованию. Горизонтальные вводы находятся в непосредственной близости от вертикальных (юнитовых) направляющих, что удобно для коммутации. Однако все чаще в ЦОД кабели прокладываются не под фальшполом, а в лотках над стойками. По этой причине в шкафах Rittal IT TS, например, стандартно предусматривается потолочная панель с двумя щеточными вводами. А крыша шкафов ШТК-С Проф подготовлена для установки фиксаторов кабельных лотков. В шкафах Triton кабельные вводы также расположены в верхней и нижней частях каждой вертикальной направляющей.
Поставщики шкафов предлагают множество новых, инновационных способов управления воздушными потоками внутри шкафа. Один хорошо спроектированный шкаф может обеспечить весьма существенную экономию электричества. С точки зрения пассивного охлаждения они мало чем уступают стойкам: так, 80% поверхности дверей шкафов Rittal перфорированы. Передняя и задняя двери серверных шкафов ServоMAX от Shtugger имеют перфорацию, форма которой специально рассчитана для обеспечения максимально высокой степени охлаждении. По утверждению производителя, она полностью отвечает требованиям поставщиков серверов в отношении вентиляции, а в некоторых случаях превышает их. Эффективность пассивного охлаждения повышается за счет внутренней конструкции шкафа. Например, в серверных шкафах ЦМО серии ШТК-С Проф передние вертикальные направляющие устанавливаются вплотную к передней раме, что устраняет паразитные воздушные потоки. И конечно, не стоит забывать о таких простых мерах, как установка заглушек.
В конструкции шкафов нередко предусмотрена возможность установки вентиляторов, что удобно в тех случаях, когда не хватает пассивного охлаждения. Так, в шкафах ServoMAX на крыше устанавливается вентиляторная панель. Если охлаждения недостаточно, задняя дверь может быть заменена на панель с шестью вентиляторами. Но и такая приточно-вытяжная вентиляция имеет свои ограничения. К тому же зачастую высокую мощность охлаждения требуется обеспечить не для всех шкафов, а для одного-двух. Тогда целесообразно использовать такие решения, как шкаф Varistar LHX 40 глубиной 1200 мм компании Pentair Equipment Protection с интегрированным воздушно-водяным теплообменником, с помощью которого отводится до 40 кВт тепловой мощности. Теплообменник имеет семь вентиляторов, устанавливается в шкафу слева или справа и обеспечивает однородное распределение воздуха по всей 19-дюймовой монтажной. Ширина теплообменника всего 200 мм, поэтому шкаф шириной 800 мм вполне подходит для этого варианта охлаждения.
Все аксессуары и приспособления, конструкторские решения и приемы просто невозможно перечислить. Этот список становится поистине необъятным, если в него включить шкафы специального назначения, например шириной 1000 мм, предназначенные для мощного сетевого оборудования Cisco. Один из подходов состоит в интеграции необходимых компонентов внутрь шкафа. Для облегчения монтажа, по словам Сергея Кулакова, менеджера по работе с партнерами TE Connectivity, зачастую применяются интегрированные системы распределения электропитания, а для упрощения обслуживания — системы мониторинга параметров с выводом на лицевую панель или центральный пульт. Например, в шкафах Triton блоки распределения питания интегрированы в раму шкафа.
ОТКРЫТЫЙ СТАНДАРТ OPEN RACK
Конструкция шкафов и стоек постоянно совершенствуется, но, с точки зрения некоторых весьма специфических категорий заказчиков, их дизайн все еще недостаточно эффективен и практичен. Так, например, Facebook хватило опыта строительства первого своего крупного центра обработки данных, чтобы прийти к категоричному выводу о том, что отраслевой формат шкафов 19″ устарел.
Как указывает Франк Франковски, директор по дизайну оборудования и по логистике, широко используемые сегодня в центрах обработки данных шкафы и стойки базируются на спецификации EIA 310-D, разработанной в 50-х годах прошлого века с целью размещения реле сигнализации на железнодорожном транспорте. Позднее EIA 310-D была адаптирована для телефонных коммутаторов, а затем и для компьютерного оборудования.
Главную проблему Франк Франковски усматривает в отсутствии стандартизации. По его словам EIA 310-D специфицирует только длину внутренних направляющих (rail) в стойке. Другие габариты и размеры, такие как высота, глубина и монтажные отверстия, оставлены на усмотрение производителя. В результате стойки разных вендоров совсем немного, но все-таки отличаются одна от другой, а в результате оказываются несовместимыми. В случае гигантских мегаЦОД это совершенно неприемлемо. Кроме того, имеются и сугубо конструктивные ограничения, в частности тот же формат 19″. При этом в стойках находится огромное количество сетевых и силовых кабелей, что затрудняет обслуживание размещенного в них оборудования. А при наличии десятков тысяч серверов любые конструктивные улучшения позволяют добиться немалой экономии.
.png "Рисунок 1. Внешние стойки Open Rack мало отличаются от своих предшественников, однако они рассчитаны на новый дизайн серверов и предусматривают новый подход к распределению питания.") |
| Рисунок 1. Внешние стойки Open Rack мало отличаются от своих предшественников, однако они рассчитаны на новый дизайн серверов и предусматривают новый подход к распределению питания. |
Год назад компания Facebook инициировала создание проекта Open Compute Project по разработке открытых спецификаций оборудования для центров обработки данных по принципу Open Source. Первым результатом деятельности его участников стало появление спецификации для монтажных конструктивов Open Rack. Внешне такой конструктив мало отличается от своих предшественников и похож на стойку с боковыми, верхними и нижними панелями (см. Рисунок 1). Стойки рассчитаны на совершенно новый дизайн серверов, который тоже разрабатывает OpenCompute, — в будущем серверы будут больше похожи на открытые салазки.
Как и EIA 310-D, стойка имеет ширину 24 дюйма, то есть 61 см, что соответствует стандартному размеру плитки пола. Однако отсек для оборудования шире на 2 дюйма. Это сделано для того, чтобы в одном шасси могли поместиться 3 системные платы или 5 дисков 3,5″ рядом друг с другом. Размер юнита увеличен со стандартных 44,45 до 48 мм, что позволит улучшить циркуляцию воздуха через оборудование (новый размер получил наименование OU, то есть Open Unit). Инновации коснулись и системы распределения питания внутри шкафа — провода отсутствуют, поскольку серверы подключаются (буквально — цепляются) к распределенной шине. И это только часть конструктивных решений.
Как заявил Франк Франковски, после проведения испытаний Facebook намерена все свои ЦОД перевести на новый конструктив. Спецификация является открытой, поэтому при желании ею могут воспользоваться все производители. И хотя в компании рассчитывают, что они примут этот стандарт, в ближайшее время его вряд ли будут применять в корпоративных ЦОД из-за нестандартного размера установочного места. Как показал наш небольшой опрос, вендоры весьма настороженно, если не сказать скептически, относятся к перспективам Open Rack.
Как отмечают в Veritek, все заводы по производству серверных шкафов ориентируются на стандарт EIA-310D. Его изменение повлечет за собой колоссальные финансовые, организационные, технологические перемены, на которые 90% производителей пока не готовы. В ЦМО между тем уверены, что сам каркас Open Rack произвести несложно, и если формат получит более широкое распространение, они готовы выпустить соответствующую линейку серверных шкафов. О готовности предложить аналогичное решение при наличии спроса заявляют и в «Тайле». У этой компании уже был опыт выпуска многоцелевых напольных шкафов серии TFM c универсальным размером установочного места для оборудования. Шкаф предусматривал возможность установки оборудования в трех стандартах: 19, 21 и 23 дюйма, но его производство было прекращено из-за отсутствия спроса. Специалисты «Тайле» обращают внимание на необходимость обеспечения совместимости с ранее выпущенным оборудованием по установочным местам и готовы предложить единое универсальное решение, отвечающее требованиям обоих стандартов.
По мнению Павла Веселого, технического директора Triton, это лишь одно из возможных направлений развития монтажных конструктивов — в виде блоков из нескольких рам (стандарт Open Rack предусматривает объединение до 3 рам в один блок) для уникальных приложений, в данном случае для оборудования, разработанного специально для Open Rack. Каждый вендор (прежде всего производитель серверов) предусматривает решения по креплению оборудования, распределению питания и т. д. — вряд ли, как считают в Triton, все участники проекта быстро придут к согласию и утвердят единый стандарт. Так что речь идет, скорее, о еще одном подходе к установке оборудования, чем о замене имеющихся решений.
В Rittal, отмечая интересный дизайн стоек Open Rack, обращают внимание на то, что эти изменения заставят полностью пересмотреть конструкцию телекоммуникационного оборудования, в частности в связи с новым подходом к распределению питания внутри стойки. Поэтому поддержка нужна со стороны производителей не только шкафов, но и активного оборудования и систем электропитания. Между тем о поддержке стандарта OpenRack уже объявили ASUS, HewlettPackard, AMD и Supermicro.
Вообще говоря, Open Compute Project предполагает кардинальное изменение подхода к дизайну оборудования. По образному выражению Сергея Кулакова из TE Connectivity, это особый «железный линукс» — отдельный мир, где программное и аппаратное обеспечение разрабатываются в соответствии с общими правилами, все элементы отлично сочетаются, масштабируются и виртуализируются. Из этого начинания может вырасти универсальная система, и тогда ЦОД будет строиться на ее основе, как Lego. Однако вполне возможно, что производители оборудования сочтут это направление неинтересным и невыгодным для себя, поскольку обострится конкуренция (и без того, как известно, немаленькая) и сократится прибыль.
Open Compute Project (и аналогичные ему иницативы, такие как Project Scorpio, крупнейших азиатских операторов ЦОД) ориентированы на потребности сверхбольших центров обработки данных. Поэтому Анатолий Бутенко, региональный менеджер Conteg по России, полагает, что Оpen Rack будет золотой серединой для крупных частных площадок, которые оборудуют для собственных нужд Google и другие ИТ-компании сравнимого масштаба. Однако таковых будет немного, ведь клиентам коммерческих ЦОД нужно более гибкое, защищенное и перспективное решение. Шкафы только базируются на спецификации EIA-310D, но это не значит, что их конструкция не меняется со временем — производители постоянно улучшают ее в соответствии с новыми требованиями производителей активного оборудования.
Дмитрий Ганьжа — главный редактор «Журнала сетевых решений / LAN».