До недавнего времени для скоростей свыше 10 Гбит/с выбор среды передачи в ЦОД ограничивался предложением многомодовой и одномодовой техники. Задача выбора возможных сред передачи заметно усложнилась после официальной ратификации стандарта IEEE 802.3bq в 2016 году. В этом документе зафиксированы основные параметры физического уровня и правила взаимодействия сетевых интерфейсов 25 и 40 Гбит/с, использующих в качестве среды передачи симметричный четырехпарный кабель.

Наиболее затратные из-за наличия большого количества линий нижние уровни информационной инфраструктуры ЦОД (в первую очередь в пределах внутрирядной проводки) могут быть реализованы на базе менее капризной в инсталляции и не столь дорогой электропроводной техники. Ограничение по дальности не имеет в этой части ЦОД решающего значения, поскольку протяженность создаваемых линий относительно невелика (средняя длина линии связи обычно не превышает 30 м). На верхних магистральных уровнях применяются волоконно-оптические решения, что соответствует классическому подходу к использованию техники СКС.

ЦЕЛЕСООБРАЗНОСТЬ СТАНДАРТИЗАЦИИ СКОРОСТИ 25 ГБИТ/С

До середины 2000-х годов каждое новое поколение сетевого оборудования Ethernet поддерживало в 10 раз большую пропускную способность, чем предыдущее. Ситуация начала меняться только после 2010 года, и это было обусловлено несколькими обстоятельствами.

Во-первых, в электропроводных линиях, в отличие от волоконно-оптических систем, дальнейшее экстенсивное увеличение пропускной способности стало невозможно из-за физического ограничения количества субканалов, поскольку имеется всего четыре пары проводов.

Во-вторых, темпы роста скоростей передачи существенно замедлились, что связано с возможностями электроники. В таких условиях экономическая эффективность телекоммуникационной части ИТ-инфраструктуры может поддерживаться более частой заменой аппаратуры.

В-третьих, наращивание скорости в 2,5–4 раза является более простой с техничес-кой точки зрения процедурой по сравнению с увеличением ее на порядок.

Применительно к ЦОД использование более дешевой 25-гигабитной техники позволит, кроме прочего, увеличить срок ее эксплуатации: с течением времени это оборудование может быть снято с магистральной части и переведено на нижние уровни. Нельзя сбрасывать со счетов лучшее соответствие скорос-ти 25 Гбит/с потребностям подсистемы массовой памяти.

Немаловажное значение имеет заметное уменьшение объемов и продолжительности НИОКР, причем это касается как активного оборудования, так и кабельной техники. Для реализации электронной части активного оборудования массово задействуются решения, которые уже применяются в 25-гигабитной волоконно-оптической магистральной технике. На физическом уровне производится новая — простая — ресертификация на соответствие частотному диапазону техники Категории 6А (Категория 8.1) и 7А (Категория 8.2).

КОМПЛЕКСНЫЕ ОБЪЕКТЫ IEEE 802.3BQ

Особенность стандарта IEEE 802.3bq — комплексное рассмотрение канала связи. Под этим понимается, что в используемой модели учитываются такие разнородные структуры, как:

  • пассивная физическая часть линии, описываемая, например, стандартом ISO/IEC 11801;
  • активное оборудование на участке от розеточной части разъемного соединителя до электрического выхода трансивера.

Указанный подход означает, что канал связи формируется с учетом четырех комплексных объектов:

  • стационарная линия ISO/IEC 11801;
  • полный простой тракт ISO/IEC 11801;
  • так называемый линк 40GBase-T (в англоязычной документации 40GBase-T Link);
  • физический тракт 40GBase-T PHY (в англоязычной документации 40GBase-T PHY-Channel).

Первые два объекта подробно описаны в стандартах СКС. Линк 40GBase-T фактически представляет собой тракт СКС, дополненный двумя оконечными разъемами физического интерфейса тран-сиверов MDI. Физический тракт 40GBase-T PHY — это полный путь передачи сигналов между выходами двух печатных плат PCB электронных схем трансиверов соединяемых интерфейсов.

Ко всем этим объектам применим принцип полной вложенности. В графической форме взаимодействие между ними представлено на рис. 1.

Комплексные объекты IEEE 802.3bq и их взаимное соответствие
Рис. 1.  Комплексные объекты IEEE 802.3bq и их взаимное соответствие

При формировании структуры вложенных объектов IEEE 802.3bq принимаются во внимание следующие базовые пос-тулаты:

  • объекты ISO/IEC 11801 рассматриваются обобщенно без детального описания конфигурации их структуры;
  • между объектами IEEE 802.3bq и ISO/IEC 11801 обеспечивается простой «бесшовный» переход;
  • возможность использования консолидационной точки и применения схемы кросс-коннекта не предусматривается;
  • акцент делается на структуре и характеристиках двухконнекторной модели тракта передачи;
  • общая «электрическая» протяженность физической части канала связи составляет не более 30 м.

Отдельно отметим, что «электрическая» длина тракта в определенных пределах отличается от физической. Это объясняется предусмотренной в стандарте возможностью применения оконечных шнуров с различным диаметром провод-ников и, соответственно, различным вносимым затуханием при равной длине (подробнее — см. статью автора «СКС Категории 8» в пятом номере «Журнала сетевых решений/LAN» за 2014 год). Последнее имеет немаловажное значение с точки зрения обеспечения текущего администрирования ЦОД (более подробно — см. статью автора «Многожильные шнуры малого диаметра» во втором номере «Журнала сетевых решений/LAN» за 2015 год).

СОКРАЩЕНИЕ МАКСИМАЛЬНОЙ ПРОТЯЖЕННОСТИ ТРАКТА

В стандарте IEEE 802.3bq зафиксировано, что для сетевых интерфейсов 25GBase-T и 40GBase T наибольшая длина тракта составляет 30 м. Выбор такого значения обусловлен не возможностями техники (еще десять лет назад была экспериментально продемонстрирована передача 100-гигабитного сигнала на расстояние 100 м с требуемым уровнем качества), а соображениями простоты реализации линий и энергетической эффективности интерфейса.

Последнее определяется тем, что из-за заметно более высокого затухания мощность потребления медножильного интерфейса начинает превышать мощность потребления его волоконно-оптичес-кого аналога, если протяженность линии около 50 м.

Кроме того, сравнение данных показывает, что 30-метровые тракты по своим характеристикам хорошо согласуются с линейным сигналом (см. табл. 1).

Некоторые параметры линейных сигналов сетевых интерфейсов 25GBase-T и 40GBase-T
Таблица 1. Некоторые параметры линейных сигналов сетевых интерфейсов 25GBase-T и 40GBase-T

ЭЛЕМЕНТНАЯ БАЗА 25- И 40-ГИГАБИТНЫХ КАБЕЛЬНЫХ ТРАКТОВ

Для построения физического уровня могут быть использованы только тракты Категории 8. В отличие от сетевых интерфейсов 10GBase-T, возможность применения техники младших категорий не предусматривается. Тракты, известные как 8.1 и 8.2, могут быть реализованы двумя способами.

Техника Категории 8.1, которая создана на базе 6А, обоснованно считается более дешевой. Некоторый ее проигрыш по обеспечиваемым параметрам влияния полностью нивелируется возможностями аппаратурной компенсации помехи в цифровом сигнальном процессоре.

Техника Категории 8.2 разработана на базе Категории 7А. Ее сильной стороной являются улучшенные характеристики — в первую очередь шумовые.

АППАРАТНЫЕ СРЕДСТВА УВЕЛИЧЕНИЯ КАЧЕСТВА ПЕРЕДАЧИ ИНФОРМАЦИИ

Необходимость введения в стандарт IEEE 802.3bq дополнительных объектов обусловлена тем, что тракт передачи рассматривается как единая структура, для формирования которой привлекаются последовательно включаемые активные и пассивные элементы. Комплексный учет их взаимодействия позволяет улучшить качественные показатели канала связи за счет наращивания параметров RL, NEXT, FEXT, PS-NEXT и PS-FEXT.

В момент соединения интерфейсов выполняется процедура тест-преамбулы:

  • устанавливается необходимое для сетевых структур взаимоотношение соединяемых интерфейсов в соответствии с правилом «главный — подчиненный» (англ. master — slave);
  • настраиваются адаптивные схемы подавления помех различной природы (англ. cancellation).

Введение в состав функциональных модулей трансивера узлов подавления помехи объясняется тем, что каналы связи 25GBase-T и 40GBase-T функционируют в режиме преобладающего влияния двух видов помех: переходной и обратного отражения. В отличие от теплового шума приемника эти мешающие воздействия предсказуемы и потенциально могут быть подавлены с помощью коррекции.

Кроме того, для компенсации соответствующего воздействия уточняются коэффициент передачи между взаимодействующими цепями и их частотные характеристики. После этого остается сформировать корректирующий сигнал и вычесть его из «смеси» входного информационного сигнала с шумом.

Для более простого выполнения коррекции переходной помехи целесообразно, чтобы сигнал превышал шум. Фактически это требование задает верхнюю граничную частоту симметричного кабельного тракта, которая определяется по величине ACR.

Очистка сигнала от помех осуществляется последовательно, а реализует ее сигнальный процессор приемника сетевого интерфейса, который использует отработанные еще в 90-х годах прошлого века процедуры обработки поступающего сигнала по схеме «на лету». Реально достигаемые значения эффективности применения отдельных блоков корректирующей части интерфейса приведены в табл. 2.

Степень подавления различных видов помех сигнальным процессором приемника сетевых интерфейсов 25GBase-T и 40GBase-T
Таблица 2. Степень подавления различных видов помех сигнальным процессором приемника сетевых интерфейсов 25GBase-T и 40GBase-T

Активное аппаратное подавление переходных и возвратных шумов необходимо, потому что очень трудно добиться положительных величин отношения сигнала к шуму в полосе частот высокоскоростных каналов исключительно пассивными средствами, даже если применяется самая современная элементная база Категории 8. В качестве примера на рис. 2 показаны расчетные величины защищенности на ближнем конце. Из них следует, что возможностей усовершенствованной техники Категории 8.2 недостаточно для достижения требуемой скорости 40 Гбит/с и, чтобы улучшить качество функционирования канала связи, приходится привлекать дополнительные средства.

Расчетные величины защищенности сигнала от помехи на ближнем конце (параметр PSACR-N) линий различной категории и протяженности
Рис. 2. Расчетные величины защищенности сигнала от помехи на ближнем конце (параметр PSACR-N) линий различной категории и протяженности

Еще одним следствием высокой вычислительной мощности сигнального процессора становится отказ от амплитудно-импульсной модуляции РАМ линейного сигнала, применяемой в первых поколениях гигабитной и мультигигабитной техники, в пользу более сложной, но эффективной квадратурно-импульсной модуляции QAM. Защищенность сигнала от помехи пропорциональна расстоянию между концами векторов отдельных комплексных сигналов. Различия в достигаемой дальности представлены на примере четырехпозиционных кодов РАМ-4 и QAM-4 (см. рис. 3).

Векторные диаграммы сигналов 4-уровневой амплитудно-импульсной (слева) и квадратурно-импульсной (справа) модуляции
Рис. 3. Векторные диаграммы сигналов 4-уровневой амплитудно-импульсной (слева) и квадратурно-импульсной (справа) модуляции

НЕОБХОДИМОСТЬ ИСПОЛЬЗОВАНИЯ ЭКРАНИРОВАННОЙ ТЕХНИКИ

Механизм подавления помехи основан на предварительной обработке зашумленного входного сообщения в цифровом сигнальном процессоре. Поскольку ему необходима информация о сигналах, поступающих на приемник по соседним каналам, процессор не способен выделить внешнюю переходную помеху, величина которой определяется параметрами ANEXT и AFEXT, а также их суммарными вариантами.

Наилучшим средством подавления межкабельной (в общем случае межэлементной) помехи до приемлемого уровня становится переход на экранированные кабельные изделия. Варианты введения экранирования могут быть различными:

  • только общая экранирующая оболочка — конструкции класса F/UTP с сохранением сепаратора (характерны для техники Категории 8.1);
  • полностью экранированные конструкции вида F/FTP или SF/FTP (техника Категории 8.2).

Правильно подобранные экраны при наличии качественного заземления обеспечивают подавление помехи примерно на 40 дБ во всем рабочем частотном диапазоне.

ПРЕИМУЩЕСТВА ТЕХНИКИ КАТЕГОРИИ 8.2

Существенное улучшение функционирования канала связи за счет глубокой предварительной обработки сигнала в процессоре неизбежно приводит к увеличению нагрузки на источник питания. Поскольку на высоких скоростях в цифровом сигнальном процессоре выполняется значительный объем вычислений, возрастает потребление тока от источника питания и увеличивается нагрузка на систему охлаждения аппаратного зала.

Меньшая защищенность, свойственная технике Категории 8.1, вынуждает в заметно большей степени «разгонять» сигнальный процессор, что неизбежно сказывается на потребляемой мощности.

Тракт передачи Категории 8.2 реализуется на более качественной элементной базе и поэтому потенциально имеет лучшие параметры. Основные выгоды от ее использования определяются энергетичес-ким выигрышем и возможностью достижения большей дальности связи.

Энергетическая эффективность линий Категории 8.2 обусловлена повышением отношения сигнала к шуму, что заметно снижает нагрузку на цифровой сигнальный процессор и, соответственно, на потребляемую им мощность. С учетом того, что количество отдельных интерфейсов в типовом монтажном шкафу высотой 42 или 45U может превышать сотню, даже экономия потребляемой мощности в несколько ваттов на каждом интерфейсе оборачивается снижением энергопотребления одного монтажного конструктива на 1 кВт.

Расширению потенциальной области применения 25-гигабитных сетевых интерфейсов в сочетании с кабельной техникой Категории 8.2 способствует наметившаяся тенденция внедрения в ЦОД плоских структур с повышенным уровнем связности отдельных узлов. Сокращение ожидаемого среднего времени задержки сопровождается при этом увеличением средней протяженности кабельного тракта. В таких ситуациях может быть востребовано потенциальное 1,5-кратное увеличение дальности связи с сохранением качественных показателей формируемого канала. Техническая возможность такого увеличения для скорости 25 Гбит/с показана на рис. 2.

В то же время объемы внедрения техники Категории 8.2 сдерживаются отсутствием обратной совместимости с линиями младших классов по форм-фактору разъемных соединителей.

ДОПОЛНИТЕЛЬНЫЕ МЕРЫ ПО УЛУЧШЕНИЮ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ ИНТЕРФЕЙСОВ

Так называемые полуэкранированные конструкции с незаземленным разрывным экраном обеспечивают подавление межкабельной помехи примерно на 20 дБ во всем рабочем частотном диапазоне рассматриваемых сетевых интерфейсов. Они достаточно популярны в кабельных системах Категории 6А (компании Draka, Reichle & De-Massari, Leviton и др.), где их применение оправданно с точки зрения подавления межкабельной помехи.

Вариант применения классического незаземленного экрана для каждой пары с разворотом металлизации в сторону проводов (компания Teldor) остался невостребованным из-за повышенных рисков образования токовых петель, даже если выполняются требования стандартов ЦОД к электромагнитной обстановке в аппаратном зале.

Проектными приемами наращивания А-ACR являются отказ от регулярных жгутов в пользу бифилярной укладки кабелей в канал и сокращение длины коммутационных шнуров.

Техника Категории 8.2 позволяет получить выигрыш примерно в 20 дБ по защищенности от помех. Полученный запас может быть израсходован на решение различных задач — например, на увеличение дальности передачи 25-гигабитных сигналов до 50 м. Потенциальную возможность такого решения демонстрирует график рис. 2, из которого следует, что сигнал на выходе 50-метрового тракта обеспечивает превышение над помехой во всей рабочей полосе еще до его обработки в цифровом сигнальном процессоре.

Основным недостатком техники Категории 8.2 считается невозможность применения в качестве соединителя разъема модульного типа. Проблема частично решена благодаря разработке соединителя ARJ-45, который считается более перспективным по сравнению с GG45 и Tera.

ВЫВОДЫ

Внедрение 25-гигабитных сетевых интерфейсов Ethernet отвечает потребностям современного этапа развития ЦОД. В случае симметричных линий связи переход на скорости 25 и 40 Гбит/с технически возможен, но может быть осуществлен только на базе экранированной техники СКС.

Вместе с тем характеристики даже наиболее современной техники Категории 8 недостаточны для обеспечения необходимого качества передачи, вследствие чего требуется обязательное применение методов аппаратного подавления переходной помехи в сетевом интерфейсе.

Протяженность линий со скоростью передачи 25 Гбит/с может быть увеличена примерно в 1,5 раза и доведена до 50 м, что заметно расширяет проектную и эксплуатационную гибкость информационной инфраструктуры ЦОД.

Андрей Семенов, директор по развитию СУПР, профессор МТУСИ