Кабельная система для ЦОД: витая пара или оптическое волокно?

До сих пор, несмотря на ту важную роль, которая отводится кабельным системам в ЦОД, к их проектированию нередко приступают лишь после отбора серверов, коммутаторов, кондиционеров, источников бесперебойного питания и т. д. Отчасти это связано с тем, что кабельная система прокладывается уже после установки стоек и шкафов и даже по завершении монтажа активного оборудования. Такой подход тормозит внедрение самых современных кабельных систем в ЦОД.

В результате вопрос о кабельной проводке решается в самую последнюю очередь и в спешке. На это прискорбное обстоятельство обратили внимание несколько специалистов по кабельным системам, с которыми нам довелось обсуждать затронутую проблему, и они просили поставить вопрос подобным образом: техническая сторона выбора кабельной системы очень важна, но в таких условиях эта задача не может быть эффективно решена.

Для ЦОД имеются европейский стандарт EN 50173-5 и международный стандарт ISO/IEC 24764. Однако в последнее время наиболее часто цитируется американский стандарт TIA-942. Стандарт EN 50173-5 рассматривает только особенности построения кабельной системы, тогда как TIA-942 охватывает широкий круг вопросов, связанных с организацией ЦОД.

Хотя положения стандартов TIA-942 и EN 50173-5 в части кабельной системы ЦОД схожи, между ними имеются некоторые отличия. Поскольку российские инженеры традиционно придерживаются европейских стандартов, более подробно остановимся на стандарте EN 50173-5.

Стандарт EN 50173-5 предусматривает иерархическую структуру кабельной системы ЦОД. Подключение внешних сетей и служб осуществляется через сетевые интерфейсы оборудования (Equipment Network Interface, ENI). Физически эти элементы располагаются, как правило, в отдельной комнате, где установлено активное оборудование для доступа к службам сервис-провайдера или территориально распределенной корпоративной сети. Поступивший извне трафик обрабатывается и затем направляется уже по кабельной системе ЦОД. Первый ее участок называется подсистемой сетевого доступа и ведет к основному кроссу (Main Distributor, MD). Далее — до зонных кроссов (Zone Distributor, ZD) — прокладывается основная (магистральная) подсистема распределения. Подключение розеток оборудования (Equipment Outlet, ЕО) осуществляется по зонной подсистеме распределения. Отметим, что в стандарте TIA-942 аналогичный участок называется горизонтальной подсистемой.

Состав и структура кабельной системы в ЦОД зависят от выбранной схемы соединений серверов и коммутаторов. Всего можно назвать четыре варианта подключения: EoR (в конце ряда), ToR (вверху шкафа), ZDA (зоновая система) и централизованная топология. В зависимости от выбранной схемы и производится расчет длин кабелей и количества распределительных устройств. В серверной части ЦОД скорость передачи данных составляет 1 Гбит/с, в коммутационной — 10 Гбит/с (см. Рисунок 1). Однако картина очень быстро меняется, и в ближайшее время типовыми скоростями в серверной части станут 10 Гбит/с, а для коммутационной — 40 Гбит/с. В связи с этим следует отметить, что, проектируя ЦОД для поддержки скоростей 10/40 Гбит/с, уже сейчас следует предусмотреть переход на 40/100 Гбит/с и заложить соответствующее количество кабелей в проекте (см. статью автора в майском номере «Журнала сетевых решений/LAN» за 2012 год). В противном случае при переводе серверной фермы с 10 Гбит/с на 40 Гбит/с придется заново прокладывать всю кабельную систему, а в работающем ЦОД это сделать невозможно.

Рисунок 1. Распределение серверов и коммутаторов с различными портами по годам (история до 2011 года и прогноз до 2020 года, по данным Nexans).

Далее мы будем рассматривать в основном кабельную систему в серверной части ЦОД (на «серверной ферме»). И вот почему. На Рисунке 1 приводится соотношение между коммутаторами и серверами в современных ЦОД, а также прогноз (до 2020 года) относительно поддерживаемых скоростей. Как можно видеть, львиная доля линий приходится на серверную часть ЦОД, и скорости в ней значительно отстают от коммутаторной части. В скобках заметим, что современная проводка в значительной мере удовлетворяет требованиям серверной части. Однако если 10 Гбит/с полностью поддерживаются как витопарными, так и оптическими системами проводки, то 100 Гбит/с в ядре ЦОД еще не освоены кабельными системами, а стандартов на такие системы попросту не хватает.

В ближайшие годы будут стандартизированы витопарные системы на 40 Гбит/с; для оптических систем такие скорости передачи данных можно считать освоенными (см. статью автора в сентябрьском номере «Журнала сетевых решений/LAN» за 2011 год).

ВИТОПАРНАЯ КАБЕЛЬНАЯ СИСТЕМА

Симметричная витопарная медная кабельная проводка присутствует в центрах обработки данных со времени их появления. Обусловлено это тем, что симметричные порты дешевле, чем аналогичные оптические, а используемые в них разъемы RJ45 представляют собой наиболее массовый вид соединителя в компьютерной отрасли. К недостаткам такой проводки следует отнести повышенное (по сравнению с оптической) энергопотребление, но эта традиционная проводка хорошо освоена многими специалистами и привычна для них.

Кабельные системы Класса E_A и компоненты, отвечающие Категории 6_A, с полосой пропускания 500 МГц появились еще несколько лет назад (см. статью автора в сентябрьском номере «Журнала сетевых решений/LAN» за 2010 год). Такая система способна передавать потоки со скоростью 10 Гбит/с с необходимым уровнем битовых ошибок. Ею оснащены многие ЦОД, и она в состоянии обеспечивать работу серверных ферм еще долгие годы, по крайней мере до 2017–18 годов. Протяженность такой проводки — по крайней мере для 95% линий — не превышает 50–55 м.

Рисунок 2. Гнездовой модуль AMP-TWIST-6AS TE Connectivity.

В качестве примера рассмотрим кабельные системы Класса E_A (Категории 6_A) Nexans и TE Connectivity. Каждая из них содержит весь набор кабелей, соединителей и шнуров для создания на объекте проводки Класса E_A. Имеются монтажные инструменты, инструкции по эксплуатации, а также сертификаты на оборудование, выданные испытательными лабораториями DELTA и GHMT.

Рисунок 3. Гнездовой модуль LANmark-6A Nexans.

Розеточные модули для таких систем показаны на Рисунках 2 и 3. Обе кабельные системы экранированные. (Это обусловлено необходимостью гарантированного обеспечения требуемых параметров, так как соответствующие им неэкранированные системы других производителей не прошли испытания на электромагнитную совместимость.) Рабочая полоса частот этих кабельных систем составляет 500 МГц, а скорость передачи — 10 Гбит/с; для обеспечения этих показателей используются соединители RJ45 новейшей модификации.

Рисунок 4. Гнездовой модуль Cat. 6A RiT.

Компания RiT тоже предлагает продукцию Категории 6_A для 10 Гбит/с. В состав ее системы входит кабель U/FTP и соединитель Категории 6_A (Рисунок 4). Новинка RiT — предоконцованный пучок кабелей Категории 6_A, которые заделаны в соединители, вставляемые в специальную рамку (Рисунок 5). Решение Install & Go внешне довольно привлекательно и облегчает проведение монтажных работ.

Рисунок 5. Предоконцованные витопарные кабели RiT.

По имеющимся сведениям, основные организации по стандартизации ISO/IEC и TIA/EIA приступили к работе над спецификациями на витопарные кабельные системы, предназначенные для поддержки приложений со скоростями свыше 10 Гбит/с. Специалисты уже давно указывают на необходимость их реализации в сетевых решениях, и в настоящее время телекоммуникационная отрасль вкладывает довольно большие средства в развитие данного направления. Эксперты обеих организаций высказали предположение о вероятной пригодности витопарной проводки Класса 7_A для передачи данных со скоростью 40 Гбит/с, но вместе с тем заявили, что, возможно, потребуется разработка нового класса такой проводки.

Некоторые члены этих организаций призывают расширить рабочий диапазон Категории 6_A до частот 1,6 ÷ 2 ГГц, при условии сокращения протяженности тракта (50–55 м — на кабели такой длины приходится 95% проводки в серверной части ЦОД). За Категорию 7_A выступают Nexans и Siemon: Nexans продвигает соединитель GG45, а Siemon — соединитель Tera, оба изделия поддерживают диапазон частот, который значительно шире необходимого для передачи данных со скоростью 40 Гбит/с на стандартное для СКС расстояние 100 м.

Отметим, что в портфеле Nexans, RiT и TE Connectivity имеется кабельная продукция, полностью удовлетворяющая требованиям Категории 7_A по стандарту ISO/IEC 11801 2002 (с Поправками 1 и 2), о чем имеются сертификаты испытательных лабораторий DELTA и GHMT.

ОПТИЧЕСКАЯ КАБЕЛЬНАЯ СИСТЕМА

Конкуренцию витопарной проводке всегда составляла оптическая. О достоинствах витопарной системы сказано выше, а волоконно-оптическая отличается низким энергопотреблением и большей степенью готовности для монтажа (предоконцованные изделия). При этом соотношение этих качеств со временем существенно меняется.

Далее рассмотрены оптические кабельные системы LANmark-OF MPO Low Loss (Nexans), Smart Xlight (RiT) и MPOptimate (TE Connectivity), применяемые в ЦОД. Несмотря на то что системы обладают схожими технологическими параметрами, они имеют и существенные различия.

Компания Nexans модернизировала свою систему MPO и дала ей новое название: LANmark-OF MPO Low Loss. От прежней она отличается лучшей полировкой волокон в месте контакта и более точным соблюдением размеров при изготовлении. Сравнение прежней и новой систем представлено в Таблице 1.

Рисунок 6. Оптическая панель переключений LANmark-OF MPO Plug&Play Nexans.

Продукция, составляющая LANmarkOF MPO Low Loss, содержит ствольные (Trunk) кабели LANmark-OF, предварительно заделанные в соединители (PreTerm) LC и MPO, и панели переключений с распределительными кассетами LANmark-OF MPO (Рисунок 6), приспособленные к платформе Nexans (Plug&Play). Оптическая проводка из этих компонентов быстро и удобно монтируется. При этом можно собрать тракт с четырьмя соединителями, имеющий потери менее 1,9 дБ, что соответствует требованию стандарта (см. Таблицу 2).

Для перехода на 40-гигабитные скорости предусмотрено две модели: двухконнекторная и четырехконнекторная. Первая модель — это тракт без кросс-соединения, а вторая — с кросссоединением в середине. Nexans рекомендует следующее решение для 40 Гбит/с: ствольные (магистральные) кабели Pre-Term с волокном OM4 и MPO Low Loss. При этом в двухконнекторной модели допустимо увеличение длины линии до 150 м, а в четырехконнекторной модели можно применять кросс-соединения.

Компания RiT разработала систему оптической проводки для ЦОД, основанную на одномодовых и многомодовых оптических волокнах. Одномодовые волокна применяются в ЦОД крайне редко, поэтому остановимся на многомодовой технике. Многомодовые оптические кабели компании RiT по своим параметрам не отличаются от выпускаемых другими производителями. Количество волокон в кабеле 12 или 24, при длине волны 850 нм затухание составляет менее 2,8 дБ/км. Шнуры переключений под маркой Xlight оконцованы разъемами MPO и обладают параметрами, указанными в Таблице 3.

Рисунок 7. Панель переключений RiT Smart Xlight с адаптерами MPO-MPO.

Панели переключений Xlight от RiT (см. Рисунок 7) поддерживают приложения 40GBaseSR4 и 100GBaseSR10. В них предустановлены адаптеры MPO-MPO, монтажная высота равна 1U, панели выдвижные.

Компания TE Connectivity предложила кабельную систему MPO нового поколения, оптимизированную для высокоскоростных приложений, и назвала ее MPOptimate. Параметры кассет MPOptimate представлены в Таблице 4.

Соблюдение полярности в MPOptimate решается просто: одна из кассет в тракте имеет противоположную полярность — пары волокон меняются местами. У всех претерминированных кабелей одинаковая полярность. В случае использования стандартных шнуров с разъемами SC или LC Duplex полярность в тракте соблюдается при любом количестве кассет, что упрощает проектирование трактов.

Сравнение систем MPO/MTP, представленных на рынке, с MPOptimate приведено в Таблице 5.

Кабельные системы, собранные из компонентов MPOptimate, прошедших полировку по усовершенствованной технологии, испытаны на соответствие требованиям бюджета мощности в 2,6 дБ. В лаборатории TE Connectivity были собраны две кабельные линии (Рисунок 8), где каждая кассета содержала по одному разъему MPO и LC. Испытания показали, что оба тракта не превышают бюджет затухания 2,6 дБ для 10 GbE, поэтому использование системы MPOptimate позволяет удвоить число кассет в тракте и остаться в рамках бюджета потерь для 10 Gigabit Ethernet при длине тракта 216 м.

Рисунок 8. Оптические линии TE Connectivity c кассетами MPO и MPOptimate.

Данное преимущество имеет практическую ценность для ЦОД, так как обеспечивает сквозное подключение серверов к коммутатору ядра сети через все промежуточные кроссы без использования уровня агрегации и доступа. Кроме того, применение системы MPOptimate в сетях хранения данных (SAN) дает возможность своевременного перехода на Fibre Channel 16 Гбит/с, поскольку кабельный тракт с четырьмя кассетами MPOptimate гарантированно укладывается в норматив по затуханию менее 2 дБ.

СЕРТИФИКАЦИЯ ПРОВОДКИ ДЛЯ ЦОД

До недавнего времени практически не было инструментов для сертификации проводки в крупном ЦОД. Дело в том, что такие ЦОД содержат сотни, а иногда и тысячи стоек и шкафов и, соответственно, в них проложены десятки, а то и сотни тысяч кабельных линий. В последнее время появились приборы для сертификации таких массивов кабельных систем.

Рисунок 9. Кабельный тестер Certifier 40G компании JDSU.

Подобные приборы выпустили на рынок компании JDSU и Psiber. Они позволяют сертифицировать как витопарную, так и оптическую проводку (см. Рисунок 9).

Прибор Certifier 40G NGC-4500 компании JDSU и тестер Data WireXpert WX4500 производства Psiber очень похожи и имеют сходные характеристики, поэтому далее будет представлено общее описание их возможностей.

Кратко представим эти устройства. Два блока, из которых состоит тестер, идентичны. Диапазон частот у кабельного сертификатора равен 1,6 ГГц. Тестирование системы Класса E_A выполняется за 9 сек. Память прибора вмещает до 2000 отчетов для систем Класса E_A.

Большой сенсорный экран и удобный доступ к прибору облегчают специалистам освоение тестера и работу с ним. За счет быстрого выполнения тестов удается экономить до 30 мин рабочего времени при тестировании каждых 150 линий Класса E_A. Кабельные тестеры удовлетворяют требованиям стандартов без потери точности измерений.

Для витопарных кабелей измеряются следующие параметры: вносимые потери, переходные помехи (NEXT и ANEXT), возвратные потери, сопротивление цепи, схема разводки кабеля, длина кабеля (линии), задержка сигнала, перекос задержки между парами. Для оптического волокна — длина, потери в каждом направлении, полярность.

Время тестирования: для Cat6/Cat6A согласно TIA — 9 сек, для Класса F/FA по ISO — 15 сек, для волокна по TIA/ ISO — 8 сек. Имеется разъем USB для копирования результатов и соединения с персональным компьютером. Для полной сертификации оптических линий предлагается использовать тестер в комбинации с оптическим рефлектометром MTS-2000 и другими приборами для тестирования оптических линий связи (ВОЛС).

ЗАКЛЮЧЕНИЕ

Витопарные и волоконно-оптические кабельные системы полностью соответствуют требованиям современных ЦОД, но через несколько лет они перестанут удовлетворять им по скорости передачи. Витопарные системы на 40 и 100 Гбит/с пока не стандартизированы, а оптические, хотя и соответствуют стандарту IEEE 802.3ba, требуют прокладки 20 волокон на один 100-гигабитный канал, что представляется чрезмерным.

В ISO/IEC разрабатывается стандарт под условным наименованием 100BaseSR4 для передачи 100 Гбит/с по восьми волокнам, как и в случае 40 Гбит/с. Проект имеет код IEEE 802.3bj, срок его окончания запланирован на март 2014 года. В случае его успешного завершения передача 100 Гбит/с будет осуществляться практически по тем же линиям, которые проложены для передачи 40 Гбит/с. Это станет революционным шагом в развитии кабельных систем.

Давид Гальперович — консультант «Журнала сетевых решений/LAN».