Оптические СКС для 40- и 100-гигабитного диапазона скоростей

Заметное влияние на увеличение потребности в высокоскоростной передаче информации оказывают системы хранения, обработки и распределения данных. В данной области используется преимущественно технология Fibre Channel. По своим скоростным характеристикам соответствующее оборудование уступает сетевому, однако и здесь наблюдается тренд в сторону увеличения скорости передаваемой информации. Так, в самое ближайшее время ожидается появление оборудования стандарта FC-PI-5 с поддержкой 16 Гбит/с.

Физический уровень современных сетей реализуется в форме структурированной кабельной системы (СКС). Достижимые параметры СКС во многом определяют те технические решения, которые применяются при разработке сетевых устройств. В свою очередь, при проектировании кабельных систем следующего поколения учитываются конструктивные решения сетевых интерфейсов.

ОСОБЕННОСТИ ОПТИЧЕСКИХ КАБЕЛЬНЫХ СИСТЕМ СЛЕДУЮЩЕГО ПОКОЛЕНИЯ

Устанавливаемые на предприятиях СКС обычно имеют запасы по пропускной способности. Так, в настоящее время горизонтальная подсистема реализуется на элементной базе не ниже чем Категория 5е. Это дает возможность передавать информацию со скоростью 1 Гбит/с, причем реальная потребность пользователя не превышает 100 Мбит/с. На магистральных уровнях СКС наибольшее распространение получили гигабитные сетевые интерфейсы, хотя используемые кабели и коммутационное оборудование рассчитаны на передачу 10-гигабитных потоков. Тем не менее именно на магистральных уровнях 10-гигабитный технический предел современных СКС уже становится значимым фактором, препятствующим улучшению характеристик транспортного уровня информационной системы.

При выборе стратегии развития техники кабельных систем это ограничение следует учитывать самым серьезным образом. Во-первых, область действия среднестатистической информационной системы предприятия расширяется, и, соответственно, ее магистрали разделяются на внутренние и внешние (между отдельными зданиями). Поэтому для обеспечения на верхнем уровне более высокого быстродействия необходимо иметь оборудование следующей ступени иерархии по скорости. Во-вторых, для настоящего времени характерна тенденция возврата к централизованным структурам хранения и обработки информации, внешним проявлением которой стало массовое создание ЦОД.

Освоение нового диапазона скоростей традиционно начинается с внедрения линий оптической связи. Такой подход обусловлен следующими факторами:

•  первостепенной потребностью внедрения линий оптической связи в магистральной части, где в полной мере проявляются основные преимущества волоконного световода как среды передачи;
•  существенно меньшим затуханием волокна и постоянством этого параметра в широком частотном диапазоне, а также отсутствием сколько-нибудь заметного взаимного влияния между отдельными цепями передачи сигналов, что способствует упрощению схемотехнических решений;
•  возможностью массового использования при построении телекоммуникационной части инфраструктуры ЦОД тех технических решений, которые ранее были хорошо отработаны при создании сетей связи общего пользования;
•  более низким энергопотреблением оптических вариантов интерфейсов по сравнению с медножильными на линиях протяженностью свыше 30 м, а также лучшими массогабаритными показателями линейных кабелей.

Последнее свойство приобретает ключевое значение именно для центров обработки данных, где энергопотребление является одним из наиболее важных параметров. Преимущество оптических интерфейсов по потребляемой мощности значимо проявляется в тех ситуациях, когда объекты включают в свой состав по меньшей мере несколько десятков серверов, то есть даже в случае ЦОД среднего масштаба.

ПРОБЛЕМА ВЫБОРА СКОРОСТИ ПЕРЕДАЧИ

При разработке оптических интерфейсов следующего поколения принципиальным является выбор скорости передачи. Современные ЦОД являются тем локомотивом, который выводит на массовый рынок скорости свыше 10 Гбит/с. В отличие от уровня горизонтальной подсистемы классических офисных кабельных систем, сетевое оборудование ЦОД не обслуживает массового пользователя. Поэтому для повышения общей эффективности целесообразно разделить решение на два взаимодополняющих друг друга варианта, каждый из которых имеет свою фокусную область применения.

В рамках реализации подобной стратегии предложены 40-гигабитные системы, которые предназначены в первую очередь для следующих задач:

•  реализация доступа к отдельным серверам;
•  формирование компьютерных кластеров;
•  создание внутренних связей для оборудования хранения данных.

В свою очередь, 100-гигабитные системы ориентированы:

•  на применение в ядре высокопроизводительных сетей;
•  на решение задач агрегирования ЦОД;
•  на поддержку функционирования сверхвысокоскоростных приложений.

СХЕМА ПАРАЛЛЕЛЬНОЙ ПЕРЕДАЧИ

Передача 40- и 100-гигабитного информационного потока в одном канале сопряжена с очень большими техническими сложностями, так как даже при использовании наиболее экономичных по ширине спектра сигналов в формате NRZ частоты модуляции слишком высоки, даже когда применяется многоуровневая схема кодирования. Кроме того, статистика реализованных проектов (см. Рисунок 1) наглядно свидетельствует о том, что примерно 90% оптических линий даже классических офисных СКС по протяженности не превышает 100 м.

Рисунок 1. Распределение длин магистральных оптических линий СКС.

В данной ситуации для обеспечения 40- и 100-гигабитной пропускной способности целесообразно использовать принцип многоканальной передачи по нескольким параллельным субканалам. Такой подход в сочетании с сохранением блочного кодирования 64В/66В дает возможность в несколько раз уменьшить тактовую частоту как линейного сигнала, так и схем обработки более высокого уровня. В качестве иллюстрации сошлемся на то, что в уже стандартизованном высокоскоростном варианте Ethernet уровень MII должен функционировать с относительно невысокой тактовой частотой 625 МГц для 40 Гбит/с и 1,5625 ГГц для 100 Гбит/с.

Стандарт IEEE 802.ba, где официально фиксируются параметры нового поколения сетевого оборудования, был ратифицирован 17 июня 2010 года, что позволило значительно ускорить работу над соответствующими кабельными стандартами.

В сетях связи общего пользования передача по нескольким субканалам с меньшей скоростью в каждом используется при спектральном мультиплексировании. Для информационных систем подобный подход малоперспективен из-за высокой стоимости оптических мультиплексоров и отсутствия практики применения подобной техники в многомодовых системах. Другой способ организации многоканальной связи предполагает выделение под каждый канал отдельной цепи передачи и известен как схема параллельной передачи. Для сетей связи общего пользования подобная схема неэффективна при передаче на относительно большие расстояния (от нескольких километров и далее), на которых техническая проблема обеспечения синхронности функционирования отдельных субканалов параллельных интерфейсов решается крайне сложно. В сетевом оборудовании, где, согласно статистике (см. Рисунок 1), вероятность того, что протяженность линии превысит предельно допустимую, исчезающе мала в силу технических ограничений, этот способ имеет практический смысл.

В частности, данный принцип широко применяется уже свыше десяти лет на уровне межблочных соединений и при организации стека коммутаторов.

Заметно лучшие стоимостные характеристики решения при реализации линий небольшой протяженности определяются целым рядом причин:

•  на концах линии не требуется устанавливать модули оптических мультиплексора и демультиплексора, которые даже после радикального (за последние несколько лет) снижения цен все еще достаточно дороги;
•  при кодировании можно не применять сложные линейные алгоритмы, а системы следующего поколения унифицировать с менее скоростными предшественниками;
•  при построении линии связи без потери качества передаваемого сигнала можно отказаться от применения дорогостоящих оптических передатчиков с контролируемой длиной волны и узкой спектральной линией излучения (относительные стоимостные параметры 10-гигабитных модулей XFP демонстрирует Таблица 1).

Весьма существенным аргументом в пользу схемы параллельной передачи является возможность применения многомодовых волоконных световодов категории ОМ3, оптимизированных для работы с лазерными излучателями и имеющих коэффициент широкополосности не хуже 2000 МГц × км. Несколько лучшие характеристики линии достигаются при использовании сравнительно новых волокон Категории ОМ4 (A1a3 по стандарту IEC 60793-2-10). Они обеспечивают коэффициент широкополосности при лазерном возбуждении не хуже 4700 МГц × км и дают гарантированный ценовой выигрыш по сравнению с одномодовой техникой при общей протяженности тракта вплоть до примерно 600 м (см. Рисунок 2). Естественно, коэффициент широкополосности оказывается меньше, если полномодовое возбуждение неоптимально с точки зрения частотных свойств формируемого тракта, но все равно остается достаточно внушительным (примерно 3,5 ГГц × км — все данные по этим параметрам приведены для длины волны 850 нм).

Рисунок 2. Влияние протяженности оптической линии СКС на затраты по ее реализации в случае применения многомодовой (mm) и одномодовой (sm) элементной базы.

Одним из преимуществ многомодовых волокон категории ОМ3, и особенно ОМ4, является то, что достижение требуемых частотных свойств предполагает контроль точности соблюдения жестких допусков по допустимому отклонению фактического профиля показателя преломления от оптимального. Благодаря улучшению степени очистки исходных материалов погонное затухание световодов значительно уменьшается по сравнению с требованиями стандартов СКС, что оказывается весьма полезным из-за малого энергетического потенциала сверхвысокоскоростных сетевых интерфейсов. Так, на длине волны 850 нм паспортное максимальное погонное затухание волокон OptiGrade 550 немецкой компании j-fiber составляет 2,2–2,4 дБ/км. Аналогичные данные (не более 2,3 дБ/км) приводятся компанией Corning в отношении выпускаемых ею световодов Infinicore.

При реализации схемы параллельной передачи организуются четыре или десять (для 40- и 100-гигабитной системы соответственно) отдельных субканалов 10 Гбит/с. Приемопередатчики этих субканалов с минимальными схемными изменениями заимствуются из сетевых интерфейсов 10GBaseSR. С учетом малой протяженности тракта в ЦОД допустимая ширина спектра излучения лазера VCSEL увеличивается до 0,65 нм против 0,45 нм у прототипа, благодаря чему стоимость решения снижается.

Создание 40- и 100-гигабитной техники заметно упростилось за счет того, что при работе над ней не потребовались масштабные комплексные научные исследования. Это обусловлено тем, что еще в конце 90-х годов было освоено серийное производство:

•  ленточных сборок волокон;
•  механических сплайсов и сварочных аппаратов, изначально ориентированных на работу с ленточным волокном;
•  групповых разъемных соединителей, позволяющих одновременно коммутировать до нескольких десятков волокон.

В качестве разъемных многоволоконных (групповых) соединителей идеально подходят изделия на базе MPO. Они хорошо зарекомендовали себя в процессе эксплуатации кабельных систем как один из обязательных компонентов оптических модульно-кассетных решений. Одним из главных достоинств соединителя является наличие у него большого поперечного сечения армирующего наконечника. Благодаря данной конструктивной особенности количество одновременно сращиваемых волоконных световодов можно увеличивать за счет их многоуровневой укладки. В результате компании AMP (Tyco Electronics) удалось довести число волокон в соединителе до 72 штук. Таким образом, разъем данного типа с заметным запасом удовлетворяет современным потребностям.

НЕОБХОДИМОСТЬ НОВЫХ ТИПОВ КАБЕЛЕЙ

Практическое освоение нового диапазона скоростей требует создания новых разновидностей кабелей. Существующие распределительные кабели внутренней прокладки мало пригодны для данной цели. Из-за большого разброса длин отдельных световодов они не позволяют добиться нужной величины перекоса задержки (Skew) — менее 0,75 нс/100 м. Один из путей достижения желаемой величины Skew состоит в применении кабелей, конструкция которых обеспечивает жесткий контроль механической длины отдельных волокон. Этим требованиям изначально отвечают ленточные световоды (см. Рисунок 3). 4 и 12-волоконные ленточные световоды, необходимые для 40/100-гигабитных систем, заимствуются из техники сетей связи общего пользования, где они успешно применяются при создании магистральных кабелей. В данном случае использование 12-волоконных лент вместо 10-волоконных оправдано соображениями унификации.

Рисунок 3. Варианты реализации волокон оптических кабелей для параллельной передачи 40-гигабитных линейных сигналов сетевого оборудования следующего поколения.

Кроме несколько неудобных в работе ленточных сборок возможно использование так называемых волоконных модулей (fiber unit). От модулей кабелей внешней прокладки, на которые эти изделия очень похожи, они отличаются тем, что волокна не могут свободно перемещаться внутри акриловой трубки. Впервые волоконный модуль как серийный компонент был предложен компанией j-fiber (в настоящее время входит в известную кабельную группу Leoni) в виде четырехволоконной сборки. Внешний диаметр такого модуля не превышает 0,9 мм, то есть по компактности (примерно 0,1 мм² на волокно) этот элемент представляет собой эквивалент ленточного решения.

Номинальный внешний диаметр 12-волоконного модуля, выведенного на рынок в середине 2010 года, составляет 1,35 мм, то есть по параметру плотности конструкции он эквивалентен своему предшественнику (данное свойство является прямым следствием применения регулярной укладки волокон в сочетании с обеспечением их плотного прилегания друг к другу). При этом кабель модульного типа при числе волокон не больше 12 сохраняет круглую форму поперечного сечения и за счет этого оказывается более удобным (по сравнению с плоским ленточным изделием) при прокладке по кабельным трассам.

Ленточные сборки и волоконные модули, изначально предназначенные для параллельной передачи, обеспечивают величину параметра Skew не хуже 0,1 нс/100 м, что достигается за счет жесткого контроля длины отдельных волокон. Немаловажное значение приобретает применение световодов с минимальным разбросом эффективного показателя преломления (данный параметр — мера замедления скорости распространения света в стекле по сравнению с вакуумом — прямо влияет на время прохождения сигнала), так как появляется возможность увеличения предельной протяженности тракта по крайней мере до 130/170 м — в зависимости от категории многомодовых волоконных световодов, то есть ОМ3/ОМ4 (см. Таблицу 2).

Декларируемое некоторыми производителями 30-процентное (по сравнению с требованиями известных спецификаций IEEE) увеличение предельной протяженности тракта базируется на улучшенных характеристиках используемых световодов (в первую очередь благодаря меньшим дисперсионным искажениям). Кроме того, определенные запасы достигаются в результате уменьшения потерь в самих волокнах и разъемных соединениях за счет организации процесса производства по фирменным нормам, более жестким по сравнению с требованиями профильных стандартов.

Предельная протяженность тракта может быть увеличена еще больше за счет применения в оптических передатчиках полупроводниковых источников света с узкой линией излучения. Так, по сообщению представителей компании Commscope, когда этот прием применялся в лабораторных условиях при использовании серийных кабелей с волокном Категории ОМ4 для оборудования с номинальной скоростью передачи 40 Гбит/с, дальность передачи составила 550 м. Иными словами, экспериментально было подтверждено, что в случае обеспечения равенства времени прохождения оптических сигналов по отдельным субканалам, сетевые интерфейсы 10G Ethernet и, по крайней мере, 40G Ethernet должны обеспечивать одинаковую дальность передачи. Сложности с выполнением норм по параметру Skew, резко возрастающие по мере наращивания количества субканалов тракта передачи, привели к тому, что для 100G Ethernet результат оказался несколько хуже и дальность передачи составила всего (!) 270 м.

ПРОЧНЫЕ НА ИЗГИБ МНОГОМОДОВЫЕ ВОЛОКОННЫЕ СВЕТОВОДЫ

Из-за значительной величины дисперсионного штрафа, возникающего вследствие высокой тактовой частоты линейного сигнала, многомодовые оптические сетевые интерфейсы отличаются крайне неудовлетворительными энергетическими параметрами. Так, согласно действующим стандартам, при трактах длиной 100 м допустимая величина потерь оказывается менее 2 дБ.

Стремление проектировщиков информационных систем к экономии площади технического помещения, а также к созданию условий для нормального охлаждения сетевого оборудования приводит к тому, что коммутационное оборудование СКС и активные устройства устанавливаются в небольших по габаритам 19-дюймовых конструктивах. В этих условиях резко возрастает вероятность изгиба коммутационных шнуров с малым радиусом и заметно увеличиваются вносимые ими потери. Анализ данных, представленных в Таблице 3, позволяет сделать вывод, что, в отличие от техники, работающей на скоростях до 10 Гбит/с, в высокоскоростных трактах макроизгибы световодов оптических кабелей даже радиусом 15 мм становятся весьма критичным фактором. Их неконтролируемое появление может привести к полному прекращению связи.

Рисунок 4. Прохождение лучей отдельных мод в волоконном световоде: а) прямом градиентном; б) изогнутом градиентном; в) изогнутом градиентном изгибостойком.

Физические особенности процесса появления дополнительных макроизгибных потерь показаны на Рисунке 4. Недостаточная эффективность градиентного волокна с точки зрения удержания оптического излучения вблизи его оси приводит к тому, что при достаточно большом изгибе значительная часть лучей мод высокого порядка достигает границы между сердцевиной и оболочкой, где происходит их интенсивное высвечивание в форме мод утечки и увеличение потерь. Данный механизм подсказывает также способ борьбы с этим нежелательным явлением: создание на границе раздела сердцевина-оболочка дополнительного барьера полного внутреннего отражения по образцу ступенчатых волокон (см. Рисунок 5). Для создания отражающего барьера при формировании заготовки световода в теле оболочки формируется кольцевая область с пониженным показателем преломления.

Рисунок 5. Профиль показателя преломления изгибостойкого градиентного волоконного световода (заливкой красным цветом обозначены области структурирования оболочки, подавляющие эффект возникновения мод утечки).

Эффективность подавления мод утечки посредством данного метода зависит от трех основных факторов: ширины кольцевого барьера, его расстояния от границы между сердцевиной и оболочкой, а также от разницы показателей преломления материалов барьера и оболочки. Возможности варьирования последнего параметра невелики, поскольку для выращивания заготовок волокон используется легирование кварцевого стекла различными добавками, но такой прием не в состоянии заметно изменить показатель преломления кварцевого стекла (по крайней мере, до второго знака).

Кроме того, сама блокирующая кольцевая область не должна вплотную примыкать к сердцевине, так как при нарушении этого условия возрастает локальная и общая числовая апертура, что сопровождается резким ухудшением частотных свойств волокна. Одновременно на эффективность барьера, блокирующего формирование вытекающих мод, при прочих равных условиях значительное влияние оказывает его ширина.

Таким образом, разработчик многомодового световода имеет дело с классической задачей многомерной многокритериальной оптимизации. Ее решение позволяет добиться значительного улучшения изгибной стойкости многомодовых световодов без изменения их частотных свойств, что демонстрирует Таблица 3.

ПРОЕКТИРОВАНИЕ ВЫСОКОСКОРОСТНЫХ МНОГОМОДОВЫХ ОПТИЧЕСКИХ ТРАКТОВ

Проектирование той части оптической подсистемы СКС, которая изначально предназначается для передачи сигналов со скоростью выше 10 Гбит/с, осуществляется с привлечением тех же правил и приемов, которые используются при выполнении проектных работ кабельных систем предшествующих поколений.

Одной из особенностей оборудования нового поколения, которую следует учитывать при проектировании, является сложный характер зависимости затухания от протяженности тракта передачи. Кроме собственно затухания необходимо контролировать еще так называемый дисперсионный штраф по мощности, который при длинах, близких к предельным, оказывается заметно большим по сравнению с обычным затуханием. Именно наличием этой составляющей потерь объясняется известный парадокс многомодовых линий оптической подсистемы СКС: если длина линии составляет 50–200 м, то затухание может быть больше (!), чем это принято для линии предельно допустимой длины.

С точки зрения законов физики это объясняется тем, что зависимость затухания от протяженности из-за дисперсионного штрафа носит нелинейный характер:

•  необходимость учета дисперсионного штрафа возникает только на линиях протяженностью более нескольких десятков метров;
•  крутизна зависимости дисперсионного штрафа от протяженности линии заметно превышает аналогичный параметр характеристики нормального затухания.

Определение фактической величины дисперсионного штрафа в полевых условиях существенно затрудняется из-за отсутствия на объекте монтажа измерительных приборов, что обусловлено очень большой шириной полосы пропускания контролируемых оптических трактов (величина данного параметра может заметно превышать 10 ГГц). Поэтому контроль фактического значения дисперсионного штрафа и нормального функционирования сетевого интерфейса выполняется косвенным способом. Суть данного приема заключается в жестком контроле выполнения норм в отношении протяженности многомодовых трактов. Еще одним необходимым условием является использование для построения последних только высококачественной сертифицированной элементной базы.

ПЕРСПЕКТИВНОСТЬ МОДУЛЬНО-КАССЕТНЫХ РЕШЕНИЙ

Анализ распределения допустимого затухания рассматриваемых оптических линий по отдельным составляющим свидетельствует о том, что в этих линиях основная роль отводится оптическим соединителям. Несмотря на все успехи, достигнутые в области полевой установки соответствующих компонентов, качество полевого монтажа заметно уступает изделиям заводского изготовления по ряду ключевых параметров. Ситуация осложняется необходимостью применения в качестве соединительных изделий групповых разъемов МРО. В результате растет спрос на модульно-кассетную элементную базу.

Кроме чисто технических факторов существенным доводом в пользу применения претерминированной техники является удобство реализации ее линейной части, что обусловлено следующими особенностями:

•  предельно малой протяженностью организуемых линий в фокусной области применения;
•  относительной простотой организации кабельных трасс в больших аппаратных залах ЦОД.

Кроме того, в случае принятия решения об использовании в проекте модульно-кассетной техники собственно монтажные работы сводятся к двум простым операциям: протяжке кабелей и их подключению к разъемам кассет. Немаловажным является и то, что для постановки кабельной системы на гарантию производителя не требуется привлекать сертифицированных монтажников и выполнять какие-либо измерения, так как все компоненты доставляются на объект с заводскими паспортами и снабжены системной гарантией изготовителя продукции.

Таким образом, текущие работы по расширению кабельной системы могут быть выполнены силами специалистов технического отдела компании, в собственности которой находится ЦОД.

ВЫВОДЫ

1. Серийные многомодовые волоконные световоды оптических кабелей СКС имеют достаточные резервы по пропускной способности и вполне пригодны для полномасштабной поддержки скоростей передачи 40/100 Гбит/с в наиболее распространенном диапазоне длин трактов передачи.
2. Наращивание коэффициента широкополосности многомодовых волоконных световодов сверх пределов, задаваемых требованиями к волокнам Категории ОМ4 (более 5 ГГц × км), существенного технического выигрыша не приносит.
3. Целесообразна разработка и наладка серийного выпуска специализированных многомодовых кабелей внутренней прокладки с волокнами Категорий ОМ4 (в дополнение к функционально аналогичным изделиям с волокнами Категории ОМ3), а также групповых соединителей MPO. Число волокон таких кабелей определяется выбранной схемой передачи и равно 8 для систем 40 Гбит/с и 20/24 для систем 100 Гбит/с.
4. Из-за относительно небольшой дальности действия многомодовых оптических сетевых интерфейсов 40G и 100G Ethernet вероятность их применения на линиях подсистемы внешних магистралей крайне мала. Поэтому не требуется разрабатывать специальные конструкции линейных кабелей внешней прокладки с многомодовым волокном Категорий ОМ3 и ОМ4.
5. При построении оптической подсистемы нового поколения большие перспективы у модульно-кассетных решений. Кроме прочих преимуществ их реализация в линейной части с привлечением разъемов MPO дает возможность заметно улучшить такой критически важный для ЦОД параметр, как плотность коммутационного поля.

Андрей Семенов — директор центра развития «АйТи-СКС» компании «АйТи». С ним можно связаться по адресу: ASemenov@it.ru.