Кроссы высокой плотности для ЦОД

Если строители ЦОД ратуют за высокую и сверхвысокую плотность портов, то эксплуатационники этому не рады, так как обслуживать такое оборудование нелегко. Рассматриваемая проблема имеет экономический характер. Площадь ЦОД, занимаемая каждым кроссовым шкафом, обходится, по данным TE Connectivity, примерно в 40 тыс. долларов, и при высокой плотности портов в центральном кроссе выигрыш составит довольно крупную сумму. Однако загрузка обслуживающего персонала при этом значительно возрастает, а будет ли достигнута реальная экономия — большой вопрос. Экономический анализ данной ситуации оставим компетентным авторам и займемся изложением технических характеристик высокоплотных кроссов. В качестве примера рассмотрим кроссовые системы двух компаний, CommScope и TE Connectivity, имеющих наивысшие достижения в этой области.

ОПТИЧЕСКИЕ КРОССОВЫЕ СИСТЕМЫ

CommScope выпускает оптическую систему сверхвысокой плотности Systimax 360 Ultra High Density (UHD). Она обладает следующими преимуществами: плотность свыше 48 дуплексных портов LC на 1U, удобная организация кабелей, хорошо читаемая маркировка, модульный подход "плати по мере роста". В ее состав входят: претерминированная полка Systimax 360 1U Ultra High Density с разъемами LC, полка Systimax 360 G2 UHD 4U, проходные панели с соединителями MPO, претерминированные линейные кабели InstaPATCH 360 MPOMPO, усиленные шнуры MPO-LC/ SC/ST InstaPATCH 360, волоконнооптические шнуры Systimax LC/SC/ ST. Кроме того, в комплект включена панель для кассет InstaPATCH 360, на которой располагаются до четырех кассет в монтажном пространстве высотой 1U с разъемами LC-LC. Кассеты устанавливают горизонтально.

Рисунок 1. Оптическая полка с откидными лотками системы UHD CommScope.

Изюминкой Systimax 360 UHD является претерминированная оптическая полка с разъемами LC высотой 1U. Эта полка оснащена выдвижными откидывающимися лотками (Рисунок 1). Такие лотки облегчают доступ к разъемам для очистки и перекоммутации, что дает дополнительные выгоды при обслуживании. Аналогичные по конструкции полки оборудованы разъемами и проходными адаптерами MPO. Полка Systimax 360 UHD позволяет подключить до 432 каналов 10GbE, до 72 каналов 40GbE при установке 12-волоконных MPO и вдвое больше при использовании 24-волоконных соединителей MPO.

Как можно видеть, в Systimax 360 UHD преобладают предварительно оконцованные изделия: претерминированные полки, линейные кабели, соединительные шнуры и предзаделанные кассеты. Но есть в составе комплекта и полка Systimax 360 UHD высотой 1U для сварных оптических соединений, которая, как ни странно, не имеет собственного обозначения. Все остальные изделия претерминированные, включая линейные кабели и волоконнооптические шнуры с разъемами LC/ SC/ST, причем различные шнуры предназначены для разных применений.

Рисунок 2. Корзина с модульными панелями Q3000 оптического кросса TE Сonnectivity.

TE Connectivity выпускает систему High Fiber Count Platform (HFCP) с высокой плотностью портов для оптических кроссов. В ее состав входят: Q-Frame (каркас, на котором монтируются другие элементы), панели Q3000 и Q4000 и короба Fiber Guide. На каркасе Q-Frame, устанавливаемом в телекоммуникационном шкафу или стойке 19″, монтируются специальные шасси высотой 1U, 2U или 4U, в которые вставляются 2, 4 или 8 модульных панелей соответственно (Рисунок 2).

Комплекс High Fiber Count характеризуется следующими свойствами:

• максимальная емкость Q-Frame составляет 3072 волокна с разъемами LC;
• благодаря встроенной системе организации кабелей порты можно переключать при помощи шнуров одинаковой длины;
• обеспечиваются необходимый радиус изгиба, защита и упорядочивание оптических шнуров;
• созданы условия для высокой скорости монтажа;
• гарантируется соответствие нормам пожарной безопасности по выделению дыма и отсутствию опасных компонентов.

Рисунок 3. Оптическая кассета с разъемами LC.

Создание претерминированных кабельных изделий произвело революцию в кроссовых системах. Для заделанных на заводе разъемов потребовались кассеты, куда эти изделия монтируются (Рисунок 3). Появление кассет привело к формированию, с одной стороны, платформы для объединения различных кабельных изделий (Рисунок 4), а с другой — к созданию шкафов с вертикальными органайзерами, куда убирают излишки кроссовых шнуров. Таким образом, вся структура кроссовой системы претерпела коренные изменения. Теперь в основном выпускаются системы класса Plug&Go, требующие только сборки, а не сварки и склейки, как это было еще недавно. Монтаж значительно ускорился и упростился. Правда, применение претерминированных кабельных изделий привело к повышенному расходу оптического волокна, но последнее становится с каждым годом дешевле, тогда как стоимость монтажных работ постоянно возрастает. Кроссы с высокой и сверхвысокой плотностью портов могут быть построены только с использованием претерминированных изделий, иначе монтаж таких систем затянулся бы на многие месяцы. Для устройств Plug&Go сроки монтажа резко — в несколько раз — сократились.

Рисунок 4. Универсальная платформа переключений UCP TE Сonnectivity.

Заметим, что одна лишь невысокая плотность портов, без специальных средств для организации шнуров, не дает преимуществ в обслуживании оптических кроссов. Она негативно влияет на использование пространства ЦОД и ведет к увеличению капитальных затрат, а также ограничивает возможности расширения сети.

Монтажные шкафы с новой системой органайзеров описаны в статьях Д. Ганьжи (см. «Журнал сетевых решений LAN» — октябрьский номер за 2011 год и ноябрьский за 2012-й).

СОЕДИНИТЕЛИ MPO (MTP)

Рисунок 5. Многоволоконный разъем MPO/MTP (для 12 волокон).

Плотность кроссов в ЦОД резко возрастает с применением разъемов MPO (MTP). Практически все передовые компании используют их в кроссах высокой плотности. (Рисунок 5). Причем некоторые обозначают их как MTP, другие — как MPO (Multi-fiber Push On). В таком соединителе может быть от 12 до 72 волокон, расположенных по 12 в ряд, но наибольшее распространение получила 12-волоконная версия соединителя.

Соединитель MPO стандартизован в международной нормативной базе (стандарт IEC 61754-7), в США (стандарт TIA-604-5), а также в международном стандарте СКС для ЦОД ISO/IEC 24764, где название «MTP» не используется. С точки зрения конструкции, размеров и механической совместимости MPO и MTP одно и то же. Заведомо говорить о каких-либо преимуществах MTP над MPO (или наоборот) некорректно, то есть надо сравнивать оптические характеристики (вносимое затухание, возвратные потери, параметры глазковой диаграммы и т. д.) конкретных моделей претерминированных кабельных сборок и распределительных кассет со стандартным соединителем.

Перспективные высокоскоростные приложения, такие как 40/100 Gigabit Ethernet и Fibre Channel на 16 Гбит/с, предъявляют высокие требования к оптическим характеристикам компонентов MPO/MTP. Стандартом IEEE 802.3ba (40/100 Gigabit Ethernet) нормируется очень низкий уровень затухания в кабельном тракте СКС. Для тракта ОМ4 протяженностью 150 м максимально допустимое затухание составляет всего 1,5 дБ, при этом суммарное затухание на оптических соединениях не должно превышать 1,0 дБ. Согласно требованиям к Fibre Channel на 16 Гбит/с, максимально допустимое затухание в кабельном тракте ОМ4 равно 1,97 дБ. Отсюда следует, что для поддержки перспективных приложений предпочтительными являются компоненты MPO/MTP со сниженными вносимыми потерями (Insertion Loss ≤ 0,35 дБ на кассету-модуль) и минимальным отражением сигнала в зоне оптического контакта (Return Loss ≥ 28 дБ для MPO и ≥ 35 дБ для LC).

Компании TE Connectivity и CommScope предлагают претерминированные кабели и кассеты MPO, оптимизированные для высокоскоростных приложений. Они удовлетворяют вышеназванным требованиям благодаря применению прецизионных элементов в конструкции соединителя, использованию более совершенного технологического процесса полировки световодов и интерферометрическому контролю геометрических параметров торцов волоконных световодов. Кабельные сборки MPO поставляются с волокном ОМ3 и ОМ4, емкостью до 96 волокон.

ОСНОВНЫЕ ОТЛИЧИЯ ОПТИЧЕСКИХ КРОССОВ

Современные кроссы рассчитаны на передачу данных по оптическим трактам, содержащим большое число соединений. Стандарты на приложения, где в качестве оптических передатчиков используются лазеры VCSEL, предусматривают значительно более жесткий бюджет мощности для тракта, чем прежние приложения на основе светодиодов — 2,6 дБ вместо 11 дБ. При этом СКС в ЦОД содержит зачастую большое число разъемов на короткой трассе.

СКС ЦОД часто базируется на трактах, содержащих претерминированные соединители и кассеты с разъемами MPO/MTP, LC и SC. А монтированная СКС должна отвечать новейшим требованиям приложений 40/100 Гбит/с. Норма по обязательному ограничению бюджета потерь вступает в противоречие с необходимостью увеличения числа соединителей в тракте. Некоторые производители оборудования это противоречие разрешают путем применения оптических волокон с улучшенными характеристиками, другие находят выход в улучшении соединителей и повышении качества оптического контакта в разъемах.

В большинстве трактов используются градиентные волокна с диаметром сердечника 50 мкм класса ОМ3, оптимизированные для работы с лазерными излучателями на длине волны 850 нм. Требования к соединителям сформулированы в стандартах на приложения: ограничение по вносимым потерям (≤0,75 дБ) и возвратным потерям (≥20 дБ), что ведет к необходимости значительного улучшения соединителей. С целью их удовлетворения компания TE Connectivity осуществила оптимизацию параметров соединителей: вносимого затухания, возвратных потерь и геометрических параметров торцов оптических волокон (для LC и SC, а также многоволоконных (MPO) соединителей).

Параметры соединителей были улучшены, и в результате создана система MPOptimate. Затухание в точке контакта волокон вызвано поперечным смещением сердцевины волокна и присущим волокнам несоответствием размеров. Низкий уровень затухания в разъемах МРО нового поколения достигается благодаря использованию волокон с жесткими допусками. Дальнейшее уменьшение вносимых потерь в контакте будет возможно, если промышленность сможет улучшить контроль сердцевины волокна.

С ростом числа соединителей возвратные потери оптической линии ухудшаются. Чтобы удовлетворить требование по суммарным возвратным потерям тракта в 12 дБ, соединители, входящие в состав тракта, необходимо оптимизировать по параметру возвратных потерь (см. Таблицу 1). Это было достигнуто путем внедрения более совершенных методов заводской полировки и ужесточением допусков. В случае одноволоконных разъемов процедура не вызывала особых трудностей.

Таблица 1. Сопоставление систем MPO/MTP.

Полировка многоволоконных разъемов MPO — процесс более сложный, чем в случае разъемов LC и SC. Задачу осложняет то, что все 12 волокон в соединителе находятся в одном наконечнике и для каждого должен быть обеспечен контакт с 12 волокнами стыкуемого разъема (см. Рисунок 5).

Таблица 2. Сравнение коммерческой системы MPO/MTP и MPOptimate.

Сравним по параметрам тракты для ЦОД, собранные на основе коммерческой системы MTP/MPO и MPOptimate (см. также Таблицу 2). Типичные значения для коммерческой кассеты MPO: вносимые потери 1 дБ, возвратные потери 20 дБ. Затухание оптических волокон ОМ3 равно 3 дБ/км. Как упоминалось выше, согласно требованиям стандарта для 10 Gigabit Ethernet бюджет мощности составляет 2,6 дБ. Тракт из двух кассет и 100 м кабеля будет иметь потери 2,3 дБ; запас не превышает 0,3 дБ, в результате любые улучшения в ЦОД, как и переход на более высокие скорости, оказываются затруднены. Для кассеты MPOptimate данные такие: вносимые потери 0,35 дБ, возвратные потери 28 дБ на разъем MPO и 35 дБ на разъем LC. Затухание оптического волокна ОМ3 в претерминированном кабеле MPOptimate — 2,7 дБ/км. При тракте из двух кассет и кабеля между ними (100 м) потери составят 1 дБ; для тракта бюджет равен 2,6 дБ, то есть в запасе еще 1,6 дБ. В данном случае любые последующие улучшения трактов значительно облегчаются: если судить по запасу потерь, новая система MPOptimate позволяет без особых сложностей перейти от скорости 10 Гбит/с к 100 Гбит/с. Что касается 10 Гбит/с, то число кассет в тракте может быть увеличено до 6 на длине до 300 м. При этом тракты будут полностью соответствовать стандартам для ЦОД. Кроме того, запас оптических характеристик кассет MPOptimate позволяет компенсировать увеличение затухания при попадании пыли на торцы соединителей, вследствие чего повышается надежность передачи высокоскоростных приложений по оптическим трактам СКС.

Кабельные линии, собранные из компонент MPOptimate с улучшенными параметрами и прошедшие полировку по усовершенствованной технологии, испытывались на соответствие требованиям бюджета мощности в 2,6 дБ. В лаборатории TE Connectivity были собраны две кабельные линии. Как показали результаты испытаний, оба тракта "вписываются" в бюджет затухания 2,6 дБ этого приложения. Тем самым было продемонстрировано, что использование MPOptimate позволяет удвоить число кассет в тракте и при этом обеспечить требуемый бюджет мощности для 10 Gigabit Ethernet при длине тракта 216 м. Возвратные потери для тракта с 8 кассетами системы MPOptimate не превышают минимально допустимого уровня, определенного стандартом на приложения.

ВИТОПАРНЫЕ КРОССОВЫЕ СИСТЕМЫ

Обе компании — и CommScope, и TE Connectivity — выпустили претерминированные решения для витопарной проводки двух видов: особо высокой плотности, с новыми соединителями, и обычной плотности, с соединителем RJ45, но с высокой степенью готовности к монтажным работам. Рассмотрим эти решения и проанализируем их преимущества и недостатки.

Рисунок 6. Система InstaPATCH Quattro, состоящая из трех компонент.

Соединительная система InstaPATCH Quattro CommScope сочетает высокую пропускную способность (Категория 6А) с простотой монтажа по принципу Plug and Play: новое оборудование состоит из панели, кассеты и линейных (транковых) кабелей, оконцованных разъемами MC (Рисунок 6). Контактная колодка кассеты под разъем MC показана на Рисунке 7. Все компоненты протестированы на заводе с помощью приборов Fluke Networks, чем гарантируется надежная работа устройств в условиях современного ЦОД.

Рисунок 7. Контактная колодка кассеты системы InstaPATCH Quattro.

Теперь CommScope предлагает полный набор претерминированных кабельных решений (витая пара, оптическое волокно и телекоммуникационные шкафы), обеспечивающих высокую скорость передачи сигналов и быстроту развертывания от ядра ЦОД до серверной фермы. Созданы комплекты оборудования для 10 и 40 Gigabit Ethernet, которые полностью соответствуют требованиям ЦОД и обеспечивают условия для быстрого монтажа.

Рисунок 8. Система InstaPATCH Cu CommScope.

Комплект InstaPATCH Quattro дополняется решением InstaPATCH Cu, тоже претерминированным, но более простым. Линейная часть скоростного решения InstaPATCH Cu состоит из кабеля U/UTP серии 91B и розеточного модуля MGS600 (Рисунок 8). Более раннее решение CommScope — кабель серии 91A и модуль MGS500 — описано автором в статье, опубликованной в январском номере «Журнала сетевых решений/LAN» за 2007 год. Диаметр нового кабеля равен 7,2 мм (для сравнения, у кабеля 91A аналогичный показатель составляет 8 мм), благодаря чему пространство, занимаемое пучком кабелей в монтажном коробе, уменьшается на 22%. По электрическим параметрам он соответствует (или превосходит) требования стандартов ISO/IEC 11801 с поправками и ANSI/TIA 568 B-2-10 в полосе частот 500 МГц и обеспечивает скорость передачи до 10 Гбит/с в канале GigaSPEEDx10D.

Розеточный модуль MGS600 соответствует (или превосходит) требования стандарта при использовании в составе тракта GigaSPEEDx10D. Оптимальная пропускная способность тракта достигается при условии применения шнуров GigaSPEEDx10D 360 GS10E. Решение обеспечивает полную обратную совместимость с компонентами Systimax более ранних модификаций.

Многие производители выпускают панели с плотностью портов 48 RJ45 на 1U. Оригинальное решение есть у TE Connectivity: это MRJ21 для 1 Гбит/с и MRJ21 XG для 10 Гбит/с. Плотность портов у панелей для 1 Гбит/с и 10 Гбит/с — 48 на 1U. Плотность кабелей, подходящих к панелям MRJ21 сзади, намного меньше, чем плотность обычных четырехпарных кабелей, подключаемых к панелям на 48 портов, которые выпускаются многими производителями.

Новая система MRJ21 XG представляет собой претерминированное решение Plug&Play на базе витопарного кабеля и обеспечивает передачу со скоростью 10 Гбит/с. MRJ21 XG разработана с целью ускорения монтажа кабельных соединений и более эффективного использования монтажного пространства в ЦОД. С ее помощью владельцы и операторы ЦОД смогут оперативно наращивать емкость кабельной системы в кроссе и эффективно внедрять новые услуги.

Рисунок 9. Панель переключений MRJ21 XG TE Сonnectivity.

Благодаря своей конструкции разъем MRJ21 XG позволяет организовать четыре отдельных тракта передачи со скоростью 10 Гбит/с по одному линейному кабелю. При подключении кабелей к кассетам MRJ21 XG можно разместить 32 порта RJ45 (по 8 в каждой кассете) в панели высотой 1U (см Рисунок 9).

Претерминированные сборки изготавливаются из экранированного кабеля и обеспечивают максимальную защиту от переходных помех в кабельном пучке. Линейные сборки выпускаются в варианте, когда разъем MRJ21 XG повернут на 450, благодаря чему сохраняется допустимый радиус изгиба кабелей при их подводе к панели переключений в условиях ограниченного пространства. Применение угловых панелей позволяет убрать шнуры переключений в боковые органайзеры, тем самым обеспечивается экономия пространства на лицевой поверхности шкафа.

Рисунок 10. Соединительная система Sigma-Link TE Сonnectivity.

В отличие от MRJ21, решение TE Connectivity AMP Sigma-Link содержит 24 порта RJ45 в типоразмере 1U — 6 портов RJ45 в одной универсальной кассете (Рисунок 10). Оно полностью соответствует Классу E_A и Категории 6_A — линейные кабели длиной от 2 до 90 м. Вся система собрана в заводских условиях и протестирована на стационарном испытательном оборудовании. Для заказа доступны три типа сборок: кассета/кассета, кассета/модульные гнезда, кассета/ неоконцованные кабели.

Таким образом, TE Connectivity предлагает как решения MRJ21XG для расстояний 40–50 м (этого вполне достаточно для большинства линий в ЦОД), так и решения Категории 6_A для линий длиной до 90 м и претерминированной сборки. Выбор той или иной системы зависит от предназначения ЦОД и объемов его финансирования.

Рисунок 11. Планка претерминированной витопарной системы CommScope.

У CommScope тоже имеется соответствующее претерминированное решение для витопарной проводки. Оно состоит из планки, в которую вставляются разъемы предварительно оконцованных кабелей (Рисунок 11). В изделии Systimax InstaPATCH Cu с предварительно оконцованными витопарными кабелями, протестированными в заводских условиях, используются кабели с неэкранированными витыми парами. Данное решение предназначено для тех участков ЦОД, где требуются высокая плотность портов и одновременно высокая пропускная способность — например, при подсоединении коммутатора доступа к серверам.

Благодаря наличию предварительно заделанных в разъемы жгутов кабелей на монтаж тратится намного меньше времени, чем при традиционном способе, а модульность конструкции обеспечивает лучшую организацию проводки. Кроме того, претерминированные жгуты создают стабильность за счет сведения к минимуму работ по заделке разъемов в полевых условиях и, вследствие этого, повторного выполнения работ по монтажу в кросс.

Давид Гальперович — консультант «Журнала сетевых решений/LAN».