Переход на 40 и 100 Гбит/с в СКС для ЦОД – это так просто

Рисунок 1. Ожидаемые объемы внедрения серверов с сетевыми интерфейсами различного быстродействия, миллионы штук (по данным компании Intel).

До последнего времени в практике построения и эксплуатации оптической подсистемы СКС переход к следующему поколению сетевого оборудования с более высоким быстродействием не сопровождался никакими серьезными затруднениями. Причина проста: в диапазоне скоростей 10 Мбит/с — 10 Гбит/с схема построения линии оптической связи остается неизменной и реализуется в виде двух волокон с соответствующей арматурой, на концах которых установлена пара приемопередатчиков. Таким образом, комплекс мер по наращиванию пропускной способности трактов предельно прост — надо только грамотно выбрать проектное решение и указать в спецификации проекта тот оптический кабель, световоды которого имеют необходимую категорию по широкополосности. На момент ввода объекта в эксплуатацию это волокно должно иметь запасы по пропускной способности, достаточные для удовлетворения потребностей на протяжении всего ожидаемого срока эксплуатации кабельной системы.

В начале второго десятилетия нового века ситуация в области выбора проектных решений для оптической подсистемы изменилась радикальным образом. Новые требования для подготовки к массовому внедрению 40- и 100-гигабитной техники уже заставляют пересматривать подходы к организации линий оптической связи (см. Рисунок 1).

ОСОБЕННОСТИ ОПТИЧЕСКОЙ ПОДСИСТЕМЫ СКС В ЦОД

Физический уровень телекоммуникационной инфраструктуры ЦОД (включая его оптическую подсистему) имеет ряд характерных особенностей, не встречавшихся ранее в практике реализации СКС. Первая из них заключается в том, что на скоростях свыше 10 Гбит/с необходимо повсеместно переходить на схему параллельной передачи, которая более подробно обсуждается далее. Вторая особенность состоит в чрезвычайно жестких требованиях к срокам выполнения модернизации линейной части СКС. В немалой степени это обусловлено тем, что ЦОД должен гарантировать определенный уровень отказоустойчивости, одной из основных характеристик которой является суммарное время простоя в течение года.

То, что такой переход должен осуществляться непосредственно во время текущей эксплуатации, существенно усложняет задачу. Оптимально, если эта работа может выполняться силами обслуживающего персонала ЦОД без привлечения дорогостоящих внешних ресурсов и без потери гарантийной поддержки со стороны производителя СКС.

ЦОД — это сложное инженерное сооружение, в котором установлены самые разнородные — как по назначению, так и устройству — системы, тесно взаимодействующие друг с другом. Это означает, что замена линейного кабеля почти наверняка приведет к полной остановке функционирования по меньшей мере одной зоны центра. Столь нежелательные последствия возникают в первую очередь вследствие нарушения условий нормального охлаждения активного сетевого оборудования, так как фальшпол, даже при нескольких снятых плитках, прекращает выполнять функции камеры статического давления. Кроме того, между холодным и горячим коридорами возникает прямая связь из-за их разгерметизации во время прокладки новых кабелей и т. д.

Поэтому в оптическую подсистему СКС центра обработки данных изначально должны быть заложены такие технические решения, которые позволят избежать указанных выше проблем. При этом из-за изменения принципа построения линии нельзя ограничиваться только созданием необходимых запасов по широкополосности оптического волокна. Стационарные линии, из которых состоит структурированная кабельная система, целесообразно рассчитывать так, чтобы они отвечали ряду дополнительных требований. Эти требования сводятся в основном к тому, чтобы возможный переход к принципиально новому диапазону скоростей не превращался в технически сложную процедуру, осуществлялся очень просто и за короткое время, не сопровождался необходимостью выполнения каких-либо измерений и был по силам даже недостаточно подготовленному персоналу.

СХЕМА ПАРАЛЛЕЛЬНОЙ ПЕРЕДАЧИ

Скорость передачи информации в одном канале может быть увеличена несколькими способами. Выбор конкретного способа повышения быстродействия связной аппаратуры или их совокупности зависит от нескольких факторов. Одним из наиболее существенных становится тактовая частота линейного сигнала. Увеличивать этот параметр можно только до определенного предела, который при современном техническом уровне полупроводниковой электроники составляет чуть более 10 ГГц.

В технике дальней связи это ограничение по тактовой частоте удается обойти с помощью одного из двух приемов. Первым, получившим наибольшее распространение, является применение спектрального мультиплексирования. При обращении к этой технологии исходный информационный поток на передающем конце представляется в виде суммы нескольких относительно низкоскоростных сигналов, каждый из которых затем независимо от других модулирует собственную оптическую несущую с уникальной центральной длиной волны. Передача отдельных несущих осуществляется по одному световоду, на принимающей стороне после разделения в оптическом фильтре выполняются их индивидуальное детектирование и последующее восстановление исходного сигнала.

Соответствующие системы, в свою очередь, разделяются на системы с грубым (CWDM) и плотным (DWDM) мультиплексированием и различаются главным образом шириной окна, выделяемого в оптическом спектре для передачи сигналов отдельных субканалов. Для применения подобного решения при построении локальных сетей не требуется выполнять широкомасштабных НИОКР, поскольку аналогичная серийная аппаратура массово используется в сетях междугородной и городской связи уже более десяти лет.

Второй способ достижения требуемой пропускной способности канала связи предполагает применение сложных многоуровневых и многопараметрических линейных кодов. Основная идея этого технического приема заключается в передаче в одном временном интервале нескольких битов полезной информации, благодаря чему достигается пропорциональное снижение тактовой частоты при неизменной пропускной способности канала связи. Неизбежное ухудшение качества сигнала обычно компенсируется ограничением предельной протяженности тракта и использованием различных вариантов оптического усиления (бустер, предусилитель, линейный усилитель), что позволяет удержать отношение сигнала к шуму в требуемых пределах.

При разработке оборудования для ЦОД оба упомянутых приема могут рассматриваться как вполне применимые. Это находит отражение, в частности, в потенциальной доступности на рынке серийных оптических сетевых интерфейсов, где реализован принцип спектрального уплотнения. Справедливости ради отметим, что такое оборудование, как правило, изготавливается на заказ.

Применение техники спектрального уплотнения с небольшой дальностью действия при построении информационных систем допускается соответствующими международными стандартами, но из-за высокой стоимости это оборудование крайне редко используется при реализации информационных систем.

Улучшить экономические показатели линии связи в целом можно путем полноценного использования возможностей, открывающихся благодаря предельно малой протяженности трактов кабельной системы ЦОД и переходу на схему параллельной передачи. Суть данного подхода состоит в обращении к принципу одновременной передачи по нескольким субканалам, каждый из которых представляет собой фактически полномасштабную линию связи с отдельными оптическими волокнами, передатчиками и приемниками. В теории многоканальной связи подобный прием известен как пространственное мультиплексирование. В этом случае оптоэлектронная часть приемопередатчика сетевого интерфейса строится на основе матрицы независимых излучателей и фотодиодов, формирование которых не представляет серьезной проблемы для современной микроэлектронной промышленности.

Общая эффективность параллельной передачи при построении телекоммуникационной инфраструктуры ЦОД и достижение приемлемых стоимостных показателей линии определяется возможностями:

• существенного упрощения активного приемопередающего оборудования;
• использования опыта и конкретных технических решений, полученных в процессе создания 10-гигабитных сетевых интерфейсов предыдущего поколения;
• работы в экономически наиболее выгодном первом окне прозрачности кварцевых световодов с центральной длиной волны 850 нм и использования более удобной в текущей эксплуатации многомодовой техники;
• применения в передающей части сетевого интерфейса относительно дешевых лазеров VCSEL с увеличенной в 1,5 раза по сравнению с 10-гигабитным прототипом шириной спектра оптической несущей.

Рисунок 2. Распределение длин оптических трактов информационной кабельной системы ЦОД (по данным компании Corning).

При всех своих довольно многочисленных достоинствах обращение к схеме параллельной передачи оказывается выгодным (как с технической, так и с экономической точек зрения) только при организации связи на небольшие расстояния. ЦОД представляет собой именно ту область использования высокоскоростной техники, для которой предельная дальность передачи не имеет первостепенного значения. Согласно статистике, накопленной при реализации проектов в промышленно развитых странах (см. Рисунок 2), в 90% случаев протяженность оптического тракта передачи на данных технических объектах не превышает 150 м.

ОСОБЕННОСТИ КОНСТРУКЦИИ ЛИНЕЙНЫХ КАБЕЛЕЙ И КОММУТАЦИОННОГО ОБОРУДОВАНИЯ

Обращение к матричной схеме построения оптоэлектронной и электрооптической частей приемопередатчиков ведет к необходимости изменения конструкции линейных кабелей с целью достижения такого согласования активной и пассивной частей линии, чтобы в результате решение стало более экономичным.

Обязательная синхронизация информационных потоков, передаваемых по отдельным линиям системы связи с параллельной передачей, порождает ограничение на предельную величину фазового сдвига (смещения по времени). Возможности электронной компенсации разницы во времени при прохождении оптических сигналов по отдельным волокнам довольно ограниченны, поэтому приходится вводить нормы для параметра перекоса задержки (skew) в линейной части тракта. В свою очередь, это ведет к необходимости применения оптических кабелей, конструкция сердечника которых позволяет жестко контролировать длину отдельных световодов.

Для формирования сердечников оптических кабелей с нормированным параметром перекоса skew могут применяться два различных варианта световодных изделий. Оба доведены до уровня серийного производства и обладают примерно одинаковыми параметрами плотности конструкции.

Первый вариант основан на применении хорошо известных ленточных световодов. Наибольший интерес представляет 12-волоконная лента, которая принципиально ничем не отличается от 4-волоконного варианта, изображенного на Рисунке 3, а.

Второй вариант, разработанный в середине первого десятилетия немецкой компанией j-fiber, визуально очень похож на классический оптический модуль, который является основой сердечника большинства кабелей внешней прокладки. Его особенность заключается в регулярной укладке и задании жесткого взаимного расположения отдельных волокон, что достигается путем применения защитной трубки минимально возможного диаметра (см. Рисунок 3, б и в).

Рисунок 3. Варианты реализации сборок световодов для оптических кабелей истем параллельной передачи: а —  4-волоконная лента; б — 4-волоконная рубчатая сборка; в — 12-волоконная трубчатая сборка.

Указанные варианты многоволоконных сборок конкурируют между собой. Ленточное волокно не требует выполнения НИОКР, так как разрабатывалось для решения классических телекоммуникационных задач в качестве ключевого компонента магистральных оптических кабелей большой емкости. Немаловажное значение имеет тот факт, что оно практически идеально соответствует вилке разъемов MTP/MPO. Сильной стороной трубчатых сборок является возможность сохранения круглой формы поперечного сечения кабеля, удобной для выполнения работ по прокладке. Кроме того, у круглого кабеля внешний диаметр жгута минимален.

Конструктивное выравнивание длин отдельных волокон в соответствии с потребностью параллельной передачи влечет за собой одно весьма полезное для практики свойство. Дело в том, что кабели обладают очень высокой плотностью конструкции и, соответственно, малой площадью поперечного сечения. Это благотворно сказывается на функционировании системы воздушного охлаждения как одного из двух основных потребителей электроэнергии и способствует существенному увеличению энергоэффективности ЦОД в целом. Данное обстоятельство необходимо учитывать на тех объектах, где численное значение коэффициента PUE приближается к единице.

ПРЕТЕРМИНИРОВАННАЯ ОПТИЧЕСКАЯ ТЕХНИКА ДЛЯ ЦОД

Обращение к технологии параллельной передачи требует применения в составе тракта групповых разъемных соединителей. Оборотной стороной выдающихся удельных (в пересчете на одно волокно) массогабаритных показателей этой разновидности техники является очень высокая сложность выполнения процедуры установки вилок на оптический кабель. Сильнее всего этот недостаток проявляется при работе в полевых условиях.

Оптические тракты, построенные по схеме параллельной передачи, при длинах, близких к максимально разрешенным, должны иметь предельно низкие потери (менее 2 дБ) из-за необходимости компенсации очень большого дисперсионного штрафа. При небольшой общей длине и малости абсолютного значения коэффициента затухания волокна, что дополнительно усугубляется его близостью к теоретическому пределу, единственным средством соблюдения столь жестких норм становится снижение потерь, вносимых соединителями. Их величина по всем парам соединяемых волокон должна быть существенно меньше тех 0,75 дБ, которые нормируются стандартами СКС.

В таких условиях обращение к претерминированной технике оказывается вне конкуренции, по крайней мере с технической точки зрения, поскольку она позволяет обеспечить требуемое качество установки элементов оптических разъемов и добиться заведомо меньших потерь по сравнению с требованиями стандартов. В случае ее применения наиболее сложные, ответственные и непосредственно влияющие на потери технологические операции монтажа кабельной части разъемного соединителя производятся в заводских условиях. На объекте инсталляции осуществляются только такие механические процедуры, как протяжка претерминированного кабеля и последующее подключение его вилок к розеткам разъемов.

Качество установки вилок на кабель претерминированной сборки подтверждается официальным сертификатом производителя, то есть сертификационные измерения характеристик смонтированной линии не потребуются.

ПОДКЛЮЧЕНИЕ СЕТЕВОГО ОБОРУДОВАНИЯ К СКС

Анализ прогнозной гистограммы (см. Рисунок 1) и ее сопоставление с нормативными сроками эксплуатации ЦОД показывают, что оптическая подсистема СКС, монтируемая на данном техническом объекте, уже должна быть готова для поддержки нормального функционирования 40- и 100-гигабитных многомодовых сетевых интерфейсов, работающих по схеме параллельной передачи. Это означает, что необходимо внедрение двух нововведений:

• применение в линейной части стационарной линии оптических кабелей специальной конструкции;
• использование групповых оптических разъемов MTP/MPO.

Высокая конструктивная плотность разъема MTP/MPO приводит к довольно серьезным проблемам при подключении к нему 10-гигабитного сетевого оборудования, так как в этом типе оборудования используется всего одна пара волокон. Справиться с этой проблемой можно при помощи двух конструктивных приемов.

Первый основан на обращении к модульно-кассетному построению стационарной линии СКС, которое уже может рассматриваться как классическое. Оно применяется практически всеми ведущими производителями СКС, причем, как правило, под отдельной торговой маркой. Основные особенности, характеристики, сильные и слабые стороны данной разновидности техники рассмотрены в статье автора в ноябрьском номере «Журнала сетевых решений/LAN» за 2004 год.

Рисунок 4. Варианты подключения активного сетевого оборудования к абельной системе ЦОД: а с использованием кассеты; б— с исполь- зованием разветвительного шнура; в— прямое подключение в случае работы по схеме параллельной передачи; г— подключение через точку онсолидации.

Суть модульнокассетной техники состоит в том, что претерминированный линейный кабель на концах не выводится прямо на пользовательские розетки, а подключается к промежуточному элементу. Функции последнего выполняет кассета с одной или двумя розетками MTP/ MPO на линейной стороне. Пользовательский интерфейс реализуется на основе розеток разъемов LC, установленных на лицевой пластине корпуса. Распределение волокон линейного кабеля по отдельным розеткам LC осуществляется внутри корпуса кассеты, что выполняется с помощью разветвительного шнура предельно малой длины (см. Рисунок 4, а). В данном случае в качестве элементов обеспечения механической прочности световодов такого шнура может применяться только традиционное вторичное защитное покрытие диаметром 0,9 мм.

В основу второго приема положена каноническая схема построения стационарной линии, пользовательская интерфейсная часть которой сразу же реализуется в виде розетки MTP/MPO. Согласование многоволоконного и двухволоконного участков тракта, необходимое при скорости в 10 Гбит/с (в соответствии с общими подходами к построению СКС) производится с помощью адаптера. В случае ЦОД из двух возможных исполнений подобного изделия целесообразно выбрать его шнуровой вариант. Таким образом, данный адаптер выполняется в форме разветвительного шнура, (см. Рисунок 4, б).

Разветвительные шнуры не получили широкого распространения. Это вызвано тем, что, при всех довольно многочисленных и на первый взгляд весьма существенных достоинствах этого компонента, он оказывается не вполне удобным с точки зрения текущей эксплуатации. В нарушение правил администрирования СКС некоторое количество дуплексных LC-вилок во время эксплуатации ЦОД часто остаются неподключенными и висящими в воздухе просто из-за того, что монтажный шкаф недостаточно заполнен активным сетевым оборудованием и отсутствует требуемое количество портов для подключения. Кроме того, неясным остается вопрос о схеме распределения по длине отдельных двухволоконных отводов шнура. Это вынуждает выбирать ее с существенным запасом и приводит к проблемам его хранения в тесном пространстве 19-дюймовых конструктивов ЦОД.

СТРАТЕГИЯ ПОСТРОЕНИЯ ОПТИЧЕСКОЙ ПОДСИСТЕМЫ

С учетом перечисленных выше обстоятельств наиболее оптимальной представляется следующая стратегическая схема построения оптической подсистемы СКС и наращивания скорости передачи по мере возникновения такой необходимости. Практическая реализация сводится к выполнению нескольких несложных правил.

В момент сдачи ЦОД в эксплуатацию, когда достаточно линейной скорости в 10 Гбит/с, стационарные линии кабельной системы реализуются с привлечением модульно-кассетной техники на основе линейных кабелей с контролируемым перекосом задержки (skew). Это позволяет выполнять необходимые подключения с помощью обычных дуплексных коммутационных шнуров LC-LC. В случае возникновения потребности в организации 40- и 100-гигабитных линий кассета удаляется, а на ее место устанавливается пластинчатая вставка с одной или двумя розетками MTP/MPO. Кабель сборки и соответствующий многоволоконный соединительный шнур (схема показана на Рисунке 4, в) включаются в эти розетки с разных сторон.

Дополнительным плюсом становится простота подключения оконечных коммутационных панелей к точке консолидации (см. Рисунок 4, г). Следует учесть, что по сравнению с офисными СКС этот вид коммутационного оборудования является более перспективным с точки зрения его последующего применения в ЦОД.

НЕКОТОРЫЕ ОСОБЕННОСТИ КОНСТРУКТИВНОГО ИСПОЛНЕНИЯ ЭЛЕМЕНТОВ КОММУТАЦИИ

Требования к конструктивному исполнению коммутационного оборудования оптической подсистемы СКС, предназначенной для офиса и ЦОД, в основном совпадают. Наиболее существенное отличие коммутационной техники, изначально ориентированной для применения в ЦОД, заключается в необходимости создания условий для обеспечения предельной простоты и быстроты перехода от одного типа пользовательского интерфейса к другому и замене 10-гигабитных сетевых интерфейсов на 40-гигабитный вариант.

Чтобы добиться эксплуатационной гибкости коммутационного оборудования, целесообразно использовать блочную схему. Однотипные по посадочным местам кассеты и адаптерные вставки выполняют функции укрупненных сменных элементов и блоков. В качестве средств крепления этих компонентов в корпусе 19-дюймовой панели предпочтительно использовать поворотные зажимы или фиксаторы типа обратной цанги (англ. rivet), обращение к которым дает возможность легко добиться необходимой скорости и простоты замены элементов.

Некоторые особенности информационной инфраструктуры ЦОД оказывают сильное влияние на конструктивное исполнение блочного коммутационного оборудования.

При выборе исполнения панелей для нижнего уровня информационной инфраструктуры следует учитывать, что в шкафы с серверами выносится относительно небольшое количество портов кабельной системы, а число устанавливаемых единиц активного сетевого оборудования со временем будет расти. Поэтому удобнеее всего использовать панели, кассеты которых в рабочем положении ориентированы горизонтально. Коммутационные панели с подобным дизайном обеспечивают приемлемую плотность — 3 (реже 4) кассеты на 1U монтажной высоты, то есть предоставляют в распоряжение системного администратора от 36 до 48 дуплексных портов, что является обычным для панелей с подобными габаритами и розетками LC.

В наиболее популярном в современных ЦОД монтажном конструктиве высотой 42U может быть размещено до 40 независимых серверов с корпусом высотой 1U. Каждый из них из соображений обеспечения возможности формирования резервных соединений снабжен двумя портами 1G или 10G Ethernet. В результате количество блочных панелей даже при полном заполнении шкафа не превысит двух-трех штук.

При переходе на более скоростную технику следующего поколения максимальное количество поддерживаемых потоков снижается. Например, число 100-гигабитных линий уменьшается до 6–8 в пересчете на 1U монтажной высоты. Это не является серьезным недостатком, так как в одном конструктиве будет устанавливаться немного серверов с такими портами, поскольку они характеризуются высоким уровнем энергопотребления.

В центральном распределительном пункте аппаратного зала ЦОД условия эксплуатации оборудования радикально меняются по следующим причинам:

• сюда сходится большое количество линейных кабелей;
• число серверов, коммутаторов, маршрутизаторов и прочих активных сетевых устройств сведено к минимуму.

В этом случае потребительские свойства кабельной системы улучшаются при использовании несущего шасси увеличенной высоты, что позволяет перейти к вертикальной ориентации кассет и адаптерных вставок в рабочем положении. Такая конструкция дает возможность повысить (в определенных пределах) эффективную плотность портов кабельной системы.

Дизайн кассет и вставок с розетками MTP/MPO следует согласовать не только по посадочным местам, но и по количеству розеток на кассетах и вставках, доступных для заказа. С учетом типовой плотности симплексных портов на кассете (24 при разъеме типа LC и 12 при разъеме типа SC) это означает, что вставки должны иметь одну или две розетки MTP/MPO.

СПЕЦИАЛИЗИРОВАННАЯ ТЕХНИКА ДЛЯ 100-ГИГАБИТНЫХ СИСТЕМ

Одним из главных параметров линейных кабельных изделий, ориентированных на применение в ЦОД, является плотность конструкции. Предельно низкие значения удельной площади поперечного сечения, приходящейся на одно волокно, потенциально позволяют увеличить эффективность функционирования системы воздушного охлаждения.

Чтобы увеличить плотность конструкции в случае передачи со скоростями 100 Гбит/с, для построения линейной части стационарной линии вполне допустимо использование 24-волоконного кабеля и разъема MTP/MPO с двухрядным расположением волокон в наконечнике вилки. Тем не менее на данном этапе развития техники подобное решение пока может рассматриваться как преждевременное. Основанием для такого утверждения служат два основных фактора:

• сравнительно небольшой нормативный срок эксплуатации ЦОД;
• отсутствие потребности в массовом внедрении 100-гигабитной техники по крайней мере до 2017 года включительно.

Однако, исходя из логики развития техники СКС и сложившейся идеологии эксплуатации кабельных систем, вполне вероятно, что производители СКС станут вводить эту технику в состав своего продукта. Поэтому в штатную элементную базу СКС целесообразно заранее включить групповые многоволоконные разветвительные шнуры с вилками MTP/MPO, выполненные в форме шнурового Y-адаптера. Такой подход поможет более экономично использовать 24-волоконные претерминированные сборки в тех ситуациях, когда оптические кабельные тракты, реализованные на их основе, используются для поддержки функционирования 40 Гбит/с.

Интересно отметить, что в отдаленной перспективе принцип улучшения массогабаритных показателей линейной части СКС за счет перехода на многоволоконные ленточные конструкции кабелей может быть распространен и на 100-гигабитные системы, а значит, появится возможность использования вилок MTP/MPO для оконцевания кабелей с максимальным количеством волокон.

ЗАКЛЮЧЕНИЕ

1. Задача перехода от 10 Гбит/с к более высоким скоростям в оптической подсистеме СКС для ЦОД эффективно решается с помощью типовых технических средств и не вызывает существенных проблем, если проектное решение выбрано грамотно.
2. Коммутационное оборудование оптической подсистемы СКС для ЦОД целесообразно строить по блочной схеме.
3. В составе стационарной линии оптической подсистемы уже в момент сдачи ее в эксплуатацию должны присутствовать разъемные соединители типов MTP/MPO.
4. Номенклатура штатных компонентов, предлагаемых производителем кабельной системы для построения оптической подсистемы СКС в ЦОД, должна быть дополнена элементами, обеспечивающими «бесшовный» переход от 10 Гбит/с к более высоким скоростям.
5. Существуют по меньшей мере два типовых варианта перехода на более высокие скорости, а выбор делает системный интегратор, реализующий проект. Поэтому производителю СКС следует предусмотреть в составе штатной элементной базы своего продукта технические средства обеих разновидностей, что придаст системе требуемый уровень гибкости.

Андрей Семенов — директор центра развития «АйТи-СКС» компании «АйТи». С ним можно связаться по адресу: ASemenov@it.ru.