Согласно исследованию «Глобальный рынок стоек для центров обработки данных» (Global Data Center Rack Market), опубликованному на MarketResearch.com в апреле этого года, к 2016 году объем рассматриваемого рынка достигнет 1,6 млрд долларов, а по прогнозу другого аналитического агентства, IMS Research, обнародованного годом ранее, он составит 2,6 млрд долларов (IMS Research уже в 2011 году оценивало этот рынок в 1,7 млрд долларов). К сожалению, из-за недоступности полных отчетов трудно объяснить такое серьезное расхождение в цифрах.

Однако обе компании сходятся в том, что рынок будет расти главным образом за счет строительства центров обработки данных в Азии. На развитых же рынках, таких как северо-американский, ежегодные темпы роста будут значительно ниже — на уровне 2–5% против 11% в среднем по миру. Это, в частности, объясняется широким внедрением виртуализации, активное использование которой вкупе с высокоплотным оборудованием ведет к снижению потребности в физическом пространстве и, следовательно, в стойках. Вместе с тем повышение удельной мощности оборудования заставляет искать новые конструктивные решения и тем самым способствует дальнейшему развитию рынка.

В ТЕСНОТЕ, ДА НЕ В ОБИДЕ

Тенденция к виртуализации приводит к существенному повышению тепловыделения в ЦОД. Миниатюризация и сокращение энергопотребления элементной базы оборачиваются повышением плотности мощности. Достаточно типичными стали значения тепловыделения 12–15 кВт на стойку. В результате появляется спрос на шкафы, конструкция которых обеспечивала бы эффективный отвод тепла и правильное распределение воздушных потоков.

Из-за новых требований меняется даже внешний вид шкафов, которые, например, все реже оснащаются стеклянными дверями. Конечно, у герметичных конструктивов остались еще свои ниши — например, они незаменимы в тех случаях, когда надо предотвратить попадание в них пыли. Для этого применяются шкафы с необходимой степенью защиты по классификации IP. В зависимости от конструкции шкафов для их охлаждения приходится использовать различные встроенные кондиционеры. Однако такие решения оказываются весьма дороги для широкого применения. Например, в свое время компания APC выпускала серию шкафов HDCE, однако из-за высокой цены они не пользовались популярностью. «Область применения у них была весьма специфическая, — вспоминает Павел Пономарев, системный инженер подразделения IT Business компании Schneider Electric, — мощные вычислительные системы, для которых не хотели (или не могли) выделить отдельное помещение».

На установленное в стойку оборудование необходимо подавать холодный воздух, а в случае стоек с закрытой или недостаточно перфорированной передней дверью делать это затруднительно. Двери у современных шкафов больше похожи на решето, поскольку производители стремятся максимально повысить степень перфорации: на ее долю приходится уже 80% (и даже более) поверхности двери. Так, в шкафах производства Conteg этот параметр составляет 86%. «Повышение тепловыделения влечет за собой необходимость внедрения новых решений по воздушной дистрибуции и применения максимально перфорированных дверей для правильной и беспрепятственной конвекции», — отмечает Денис Шарапов, менеджер по развитию бизнеса Conteg.

Особого внимания требует и организация распределения воздушных потоков внутри шкафа. Здесь весьма эффективными оказываются простые меры, например установка заглушек, но производители применяют и специальные конструктивные решения, направленные на повышение эффективности пассивного охлаждения. Как заявляет Стивен Вехтер, продакт-менеджер по ИТ-стойкам и решениям для управления воздушными потоками в компании Eaton, «гигиенический дизайн», применяемый в конструктивах этой компании, позволяет значительно сократить утечки воздуха — до величины, составляющей менее 3% от общего воздушного потока.

Кроме того, производители стали уделять повышенное внимание правильной организации кабелей внутри шкафа, чтобы они не препятствовали прохождению воздушных потоков. Так, TE Connectivity предлагает систему CoreVSM для Cisco Nexus 7010 (и аналогичную систему SAM для Brocade DCX 8000 и 4800), где учтены конструктивные особенности высокоплотных коммутаторов, в которых лезвия расположены вертикально. Подключение организовано таким образом, что боковое пространство монтажного шкафа остается свободным. В результате упрощается и ускоряется замена лезвий и повышается эффективность охлаждения оборудования.

Общей тенденцией, как указывает Александр Андреев, менеджер по технической поддержке региона в компании Panduit, стал повсеместный отказ от шарнирных кабельных организаторов, поставляемых с серверами, так называемых рук, в пользу интегрированных в конструктив шкафа кабельных организаторов. Не менее важно обеспечить эффективный отвод тепла от ИТ-стоек без смешивания с подаваемым холодным воздухом. Вопрос охлаждения на уровне шкафа нельзя рассматривать в отрыве от организации воздушных потоков в рамках машинного зала и всего центра обработки данных. Специалист Panduit, например, отмечает повышенный интерес к таким решениям, как шкаф с вертикальным воздухоотводом, когда горячий воздух направляется в пространство фальшпотолка.

Производители шкафов, как правило, предлагают комплексные решения для организации изолированных коридоров, внутришкафного или внутрирядного охлаждения. Однако эта тема выходит за рамки данной статьи. О преимуществах изоляции можно, например, прочитать в статье Джона Найманна, Кевина Брауна, Виктора Авелара «Влияние изоляции горячего и холодного коридоров на температуру и эффективность ЦОД» в октябрьском номере «Журнала сетевых решений/LAN» за 2013 год.

КРОССОВЫЕ ШКАФЫ

До сих пор, говоря о шкафах, мы неявно имели в виду серверные шкафы. Между тем в ЦОД наблюдается четкое разделение на монтажные конструктивы для размещения серверного оборудования и кроссовые шкафы для организации коммутационных зон. Кроссовые шкафы используются для установки пассивного коммутационного оборудования и контроллеров системы управления СКС. Они отличаются минимальным энергопотреблением, а следовательно, и тепловыделением, поэтому проблема охлаждения не стоит столь остро. Куда более актуален для них вопрос размещения кабелей. Денис Шарапов отмечает рост требований к кроссовым шкафам и к организации кабелей: «Повышенная емкость, контроль радиуса изгиба и направления, специализированные решения для коммутаторов повышенной плотности стали неотъемлемой частью большинства технологичных проектов».

Рисунок 1. На выдвижных кроссовых панелях Sysmatrix высотой 2U и глубиной 9U можно разместить до 432 портов RJ-45.
Рисунок 1. На выдвижных кроссовых панелях Sysmatrix высотой 2U и глубиной 9U можно разместить до 432 портов RJ-45.

Общая тенденция повышения плотности сказывается и на кроссовых шкафах. Оригинальное решение реализовано в системе Sysmatrix разработки NPE: за счет размещения панелей в горизонтальной плоскости удалось значительно повысить плотность медных портов (см. Рисунок 1). Применение выдвижных кроссовых панелей, укомплектованных коммутационными панелями высокой плотности, рассчитанными на 48 портов, позволяет разместить от 240 до 432 портов RJ-45 в форм-факторе 2U (в горизонтальной плоскости располагаются до 9U коммутационных панелей для коннекторов типа 110, RJ-12 или RJ-45 UTP). Кроссовые панели предназначены для установки в шкафы 19″ и стойки глубиной 800 и 1000 мм.

Правда, запрос на повышение плотности монтажа накладывает заметный отпечаток скорее на коммутационное оборудование, нежели на конструктивы, в которых оно будет смонтировано. «Основной акцент делается на максимально возможном уплотнении портов на 1U монтажной высоты, а также на диаметре транковых кабелей и монтажных шнуров, — подчеркивает Сергей Горюнов, менеджер технической поддержки решений Molex Premise Networks в России и СНГ. — При этом повсеместно применяются угловые панели и вертикальные кабельные организаторы».

В зависимости от решаемых задач кроссовый шкаф может быть предназначен для коммутации только медных портов, только оптических портов или предусматривать возможность размещения как медных, так и оптических портов. «Оптические кроссы характеризуются продуманной системой организации коммутационных шнуров и позволяют коммутировать более 1500 дуплексных LC-портов в монтажном пространстве 42U», — указывает Владимир Стыцько, директор по продажам в России подразделения Enterprise Networks компании TE Connectivity. Однако в большинстве случаев оптические кроссы не предназначены для установки коммутационных панелей с медными портами, а значит, имеют ограниченную область применения. Поэтому наибольший интерес представляют кроссовые шкафы, которые одинаково хорошо подходят как для меди, так и для оптики.

НЕ ТОЛЬКО РАЗМЕР ИМЕЕТ ЗНАЧЕНИЕ

Прямым следствием повышения плотности оборудования является увеличение его массы. По словам Алексея Рябова, руководителя отдела маркетинга Veritek, возрос объем поставок шкафов с грузоподъемностью 1500–2000 кг. Оборудование становится не только более массивным, но и все более габаритным (в первую очередь это касается глубины серверов), что заставляет производителей увеличивать размеры стоек. Как отмечают в Conteg, за последние два года востребованная глубина серверного шкафа выросла с 1000 до 1200 мм. Это позволяет установить даже самое крупное активное оборудование и оставить достаточно пространства для размещения мощных блоков распределения электропитания и кабельной организации. Вместе с тем Михаил Ермаков, директор «ИнтерТелеКомплекта» (группа компаний IEK) считает, что рост предельных габаритов шкафов (особенно серверных) практически остановился и даже появились решения для уменьшения габаритов серверов.

Помимо увеличения глубины, возникает потребность в увеличении ширины шкафа, в частности в связи с расширением доступности оборудования формата 21″. Поставщики предлагают конструкции, в которые можно устанавливать оборудование обоих форм-факторов, в том числе без использования специальных адаптеров. Однако, Павел Милашевский, генеральный директор компании «НЕТВОРК ИНЖИНИРИНГ», основываясь на опыте продвижения такого оборудования, указывает, что на российском рынке, в отличие от зарубежного, спрос на подобные конструктивы невелик — за полгода было продано лишь несколько экземпляров.

Впрочем, основную угрозу для традиционного формата стоек несет отнюдь не распространение негабаритного оборудования, а инициативы крупнейших потребителей конструктивов — Facebook, Google и других (например, OpenRack в рамках Open Compute Project). В течение нескольких ближайших лет Facebook намерена установить тысячи таких стоек, и ее примеру могут последовать другие. Речь идет не столько об изменении габаритов стоек, сколько о принципиально ином подходе к дизайну серверов, распределению питания и т. д. (см. подробнее статью автора «То ли стойка, то ли шкаф» в ноябрьском номере «Журнала сетевых решений/LAN» за 2012 год и статью Юрия Хомутского «Современный взгляд на ИТ-стойки» в номере за июль-август текущего года). Еще дальше в вопросах пересмотра архитектуры вычислительной системы пошла компания Intel.

Рисунок 2. Прототип «фотонной» стойки Intel, который компания представила на Open Compute Summit, предполагает дезагрегацию различных компонентов сервера (процессоров, памяти и ввода-вывода между различными подсистемами), для межсоединения которых предполагается использовать «кремниевую фотонику».
Рисунок 2. Прототип «фотонной» стойки Intel, который компания представила на Open Compute Summit, предполагает дезагрегацию различных компонентов сервера (процессоров, памяти и ввода-вывода между различными подсистемами), для межсоединения которых предполагается использовать «кремниевую фотонику».

На саммите Open Compute Project, состоявшемся в начале этого года, Intel представила прототип новой стойки, созданный совместно с Quanta Computers (см. Рисунок 2). Что же побудило компанию, ранее не проявлявшую заметного интереса к этому рынку, обратить на него внимание? До сих пор, чтобы воспользоваться новыми процессорами, заказчикам приходилось ждать, пока соответствующие модели выпустят поставщики серверов, а последние, в свою очередь, ожидали появления системных плат.

А если все компоненты сервера модернизировались бы независимо? Так возникла идея дезагрегации сервера.

Архитектура масштаба стойки (Rack Scale Architecture) предполагает разделение компонентов стандартных серверов. Одним из первых примеров может служить стойка, которая при содействии Intel была разработана участниками проекта Project Scorpio, китайскими провайдерами Tencent, Baidu, Alibaba и China Telecom. В этой конструкции вентиляторы и блоки питания перенесены из серверов в стойку — в так называемые зоны питания. Однако в данном подходе нет ничего нового — на уровне шасси то же самое делается в случае модульных серверов, а на уровне стойки уже реализовано, например, в CloudRack от SGI/Rackable. Intel в дезагрегации компонентов пошла намного дальше.

«В конечном итоге отрасль придет к дезагрегации подсистем, — объясняет Диана Брайнт, старший вице-президент и генеральный менеджер Datacenter and Connected Systems Group в Intel, — то есть процессоры, память и ввод-вывод будут полностью разделены и станут представлять собой отдельные модульные подсистемы. Вместо обновления всей системы можно будет модернизировать каждую из них». В прототипе стойки компоненты размещаются в отдельных серверных лотках: один — для процессоров Xeon, другой — для процессоров Atom последнего поколения, третий — для системы хранения. При появлении новых процессоров пользователь может просто поменять лоток, не дожидаясь появления новых системных плат и готовых серверов.

ФОТОННАЯ СТОЙКА

Дезагрегация компонентов сервера предполагает иную конструкцию стойки, но главное — между ними требуется организовать высокоскоростное соединение. В представленном Intel прототипе используются высокоскоростные оптические соединения — так называемая кремниевая фотоника (silicon photonics).

Над этой технологией Intel работает свыше 10 лет. Вместо передачи электрических сигналов по медному кабелю осуществляется передача фотонов света по тонкому оптическому волокну. В представленном прототипе скорость передачи данных достигает 100 Гбит/с, и этого вполне достаточно для обеспечения совместной работы компонентов сервера, даже если они находятся на удалении один от другого.

В Intel кремниевую фотонику считают ключевым фактором успеха предложенной концепции. Оптические технологии и оборудование традиционно весьма дороги, так что корпорация, опираясь на помощь кабельных вендоров, добивается их удешевления. В частности, для этого требуется обеспечить эффективное прохождение света по заданному пути. В случае соединений на плате фотоника реализуется в кремнии, а для снижения потерь при сращивании волокон оптического кабеля предлагается новый тип соединителя — телескопический.

Наиболее распространенный оптический соединитель MTP, как считают в Intel, морально устарел. «MTP был создан в середине 1980-х для телекоммуникационных задач, и хотя он разработан с использованием передовых производственных технологий и ноу-хау того времени, для современных информационных приложений этот соединитель неоптимален, — объясняет позицию Intel в своем блоге Раеджианн Скиллерн, директор Intel по маркетингу облачных решений. — MTP имеет сложную составную конструкцию, стоит дорого и подвержен загрязнению».

Между тем за последние четверть века отрасль продвинулась далеко вперед как в области производственных технологий, так и в создании материалов. «Телескопический» оптический соединитель, который Intel разрабатывала совместно с Corning, основываясь на этих достижениях, упрощает задачу выравнивания сердцевин волокон при их сращивании, делает загрязнение торцевых поверхностей менее вероятным и позволяет соединять до 64 волокон при меньших, чем у многоволоконного разъема MTP, размерах корпуса. Причем все это достигается при меньшем числе используемых компонентов и за меньшую цену.

При сращивании двух оптических волокон даже незначительное несовпадение их сердцевин ведет к существенным потерям оптической мощности. В точке сращивания соединитель Intel «телескопирует» 40-микронное сечение в 170-микронное. Это позволяет передать большую часть оптической мощности из одного волокна в другое без использования дорогих технологий юстировки, даже если торцевые поверхности не совмещаются идеально. Таким образом, перспективные разработки Intel могут повлиять не только на рынок монтажных конструктивов, но и на кабельный рынок в целом.

КУДА ФИГА, ТУДА ДЫМ

В целом рынок относится весьма осторожно, если не сказать скептически, к таким нововведениям, как открытый стандарт OpenRack или архитектура Rack Scale от Intel. С одной стороны, сопротивление вызывает сам пересмотр традиционного форм-фактора 19″, который применяется уже более полувека. И возражения сторонников новых подходов, указывающих на то, что соответствующий формат изначально не предназначался для ИТ-оборудования, понимания не вызывают. «Нестандартные размеры самих стоек, новый форм-фактор серверных блоков, новые единицы ширины и высоты — введение всех этих новшеств не продиктовано крайней необходимостью, — замечает Борис Васильковский, менеджер по продукции ИТ компании Rittal. — Игнорирование стандартов, сложившихся за многие годы, без наличия веской причины вряд ли быстро получит широкую поддержку производителей и потребителей».

С другой стороны, предлагаемые решения рассматриваются как нишевые — предназначенные для весьма специфического рынка и его немногочисленных игроков масштаба Facebook, Google и иже с ними, но отнюдь не для массового потребителя. «Подобные решения имеют преимущества только при осуществлении тотальной унификации парка оборудования с целью получения сверхмощных вычислительных ресурсов. Компании с такими ИТ-аппетитами можно перечислить по пальцам одной руки. — говорит Денис Шарапов. — И каждая из них использует решение, адаптированное и кастомизированное согласно ее требованиям. В обычных проектах заказчик в 99,99% случаев выбирает решение, которое предоставляет максимум гибкости и простоты применения для эффективного решения его задач. И это отнюдь не OpenRack и специализированные продукты».

Признавая потенциальные преимущества подобных решений, в числе которых высокая энергоэффективность, модульность, легкий доступ, высокая плотность размещения оборудования, масштабируемость, отсутствие потребности в изоляции коридоров и разделении воздушных потоков в стойках, специалисты обращают внимание и на потенциальные недостатки. «В связи с тем, что во многих таких проектах используется иная монтажная ширина, например 21″ в Open Rack, придется поддерживать линейки с одинаковым функциональным назначением, но имеющие различные монтажные размеры», — указывает Сергей Горюнов.

Кроме того, поскольку в них применяются уникальные технологии, при массовом производстве и многочисленных инсталляциях могут возникать проблемы с надежностью. «Стойка Facebook с серверами содержит сотни соединительных штуцеров, через которые прокачивается жидкость, охлаждающая отдельные серверные модули, — объясняет Борис Васильковский. — Индивидуальный подвод жидкости к каждому серверу давно используется в суперкомпьютерах, но станет ли это решение универсальным и надежным? При массовом внедрении такой технологии велика опасность утечки или завоздушивания. Что надежнее — система из тысяч трубочек с охлаждающей жидкостью (по две на модуль оборудования) или пара шлангов к внутрирядному теплообменнику, охлаждающему сразу целый ряд стоек?»

Но даже в случае очень крупных центров обработки данных такие стойки не вписываются в архитектуру уже существующих ЦОД. «Высокая степень структурированности спецификации Open Compute (OCP), особенно в части монтажных конструктивов, затрудняет ее реализацию в уже существующих инсталляциях, — предостерегает Стивен Вехтер.— Поскольку требования к различным системам, начиная от системы питания и его распределения и заканчивая монтажом оборудования, отличаются, OCP имеет смысл реализовать только при строительстве крупного ЦОД с нуля — тогда его архитектура может быть изначально рассчитана на поддержку OCP». Тем не менее, по его мнению, отдельные элементы OCP, в частности архитектура серверов и систем хранения, может найти широкое применение в ИТ-оборудовании.

Впрочем, как и во всех остальных случаях, производители готовы последовать за рынком, если на соответствующие решения будет спрос. «Изготовить конструктив несложно — на подготовку серийного производства шасси уйдет не более двух месяцев», — заверяет Сергей Лаврентьев, начальник отдела маркетинга производственной группы «Ремер». Он считает, что системы наподобие Open Rack и Scorpio будут совсем скоро широко использоваться не только в провайдерских, но и в корпоративных ЦОД: «Пока потребности среднего офиса в обработке и хранении данных ограничиваются 1–2 серверами, технология будет востребована только крупным бизнесом. Как только малым компаниям понадобятся 10–15 серверов, появятся коробочные решения в формате Open Rack и Scorpio».

Потенциальную угрозу новые конструктивы представляют не только для традиционного рынка монтажных стоек и шкафов, но и для смежных сегментов, в частности электропитания. «Проекты Open Rack и Scorpio — это еще и попытка создать универсальный конструктив, позволяющий легко и просто организовать электропитание оборудования, — добавляет Александр Касякин, продакт-менеджер компании «Линдекс». — Для подачи питания к оборудованию в стойках применяются довольно сложные PDU, и в шкафах им требуется специально выделенное пространство. Попытка интегрировать распределение питания в конструктив способствует решению этой задачи». (Подробнее о блоках распределения питания см. в статье Александра Барскова «БРП и управление электропитанием» в этом номере «Журнала сетевых решений/LAN».)

ЗА ПРЕДЕЛАМИ ЦОД

Несмотря на тенденции укрупнения центров обработки данных, сегмент малого и среднего бизнеса с его классическими потребностями остается весьма значительным. Вряд ли новые форматы стоек найдут массовое применение на этом рынке в обозримой перспективе. «Будущее российского рынка слабо зависит от новых разработок, скорее — наоборот, — считают в Conteg. — Конечно, новые разработки и технологии придают ему некоторое ускорение и развитие, но не имеют определяющего значения».

Именно по этой причине производители продолжают активно развивать свои традиционные линейки. В первую очередь в них находит отражение тенденция повышения плотности оборудования. Так, компания «Тайле» планирует увеличить глубину своей серии шкафов SERVER II c 1000 до 1200 мм, грузоподъемность — с 900 до 1300 кг, перфорацию — с 40 до 70% и изменить организацию кабелей (в частности, использовать высокоплотные панели 0,5U на 24 порта).

Рисунок 3. Монтажный шкаф Netshelter SX по виду мало чем отличается от типичной офисной мебели. При этом он снижает уровень шума от установленного оборудования на 18 дБ.
Рисунок 3. Монтажный шкаф Netshelter SX по виду мало чем отличается от типичной офисной мебели. При этом он снижает уровень шума от установленного оборудования на 18 дБ.

«Сегодня производители стоек стремятся предложить заказчику именно то, что ему необходимо, как бы это банально ни звучало, — говорит Павел Пономарев. — Например, в небольших офисах или удаленных филиалах крупной компании нередко не хватает места для размещения оборудования и не всегда есть возможность организовать отдельную мини-серверную. Устанавливать же серверы в одном помещении с людьми как минимум негуманно». В качестве решения данной проблемы Schneider предлагает стойку с шумоизоляцией Netshelter SX (см. Рисунок 3). Снаружи она ничем не отличается от офисной мебели, так что посторонний человек мог бы принять ее за шкаф для бумаг или одежды, если бы не запираемая дверь. Уровень шума от установленного оборудования снижается на 18 дБ, и звук оказывается не громче офисного гула в рабочий день.

Кроме того, предложения монтажных конструктивов не исчерпываются продуктами для установки внутри помещений. По оценке компании ITK, решения уличного назначения, а также антивандальные корпуса составляют около половины рынка в денежном выражении. В этом сегменте зачастую отмечаются две крайности — заказчики выбирают либо самое надежное (и дорогое), либо самое простое (дешевое) исполнение. Слабая востребованность золотой середины объясняется тем, что некоторые специалисты, принимающие решение об использовании, почти ничего не знают об этой продукции: «В России специалисты зачастую путаются и даже пугаются большого списка опций и предпочитают выбирать по принципу «все включено» или покупают комплектные решения без излишеств, — констатирует Михаил Ермаков. — Данный сегмент еще формируется, и в нем можно ожидать существенных изменений (возможно, и революционных) в конструкции, материалах и системах обеспечения».

Дмитрий Ганьжа — главный редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: diga@lanmag.ru.