Кабельная инфраструктура для сетевых фабрик

Широкое применение виртуализации и облачных вычислений привело к тому, что для центров обработки данных потребовалась новая сетевая архитектура, способная обеспечить меньшее время задержки и большую пропускную способность. Такая архитектура, получившая название «сетевая фабрика», существенно отличается от традиционной трехуровневой архитектуры сети. В статье даны общие сведения о сетевых фабриках, а также представлены рекомендации по проектированию и построению кабельной инфраструктуры для сетей нового поколения.

Коммутационные фабрики могут быть выполнены в различных вариантах: в виде выносов, устанавливаемых в каждой стойке (конфигурация ToR), централизованных схем, полносвязной архитектуры (full mesh) и с применением других решений. В любом случае необходимо уделить особое внимание проектированию и реализации физического уровня инфраструктуры, чтобы гарантировать простое и эффективное масштабирование сети.

ЭВОЛЮЦИЯ АРХИТЕКТУРЫ ЦОДА

Архитектура ЦОДа эволюционирует вместе с развитием технологий виртуализации и облачных моделей. В новых архитектурах предусматривается создание огромных «складов» ИТ-ресурсов, рассчитанных на поддержку множества разнообразных корпоративных приложений.

Для перехода к облакам каналы передачи должны обеспечивать максимально быстрый обмен данными между серверами. С этой целью была разработана двухуровневая архитектура leaf-spine (см. рис. 1), благодаря которой приложения, размещенные на любом вычислительном устройстве, и все хранилища данных могут работать и масштабироваться согласованно, вне зависимости от того, где они физически расположены в ЦОДе.

Рис. 1. Сетевая фабрика c архитектурой leaf-spine

Новая архитектура основана на соединениях между коммутаторами доступа (leaf) и ядра (spine). Получающуюся при этом матрицу соединений часто называют «сетевой фабрикой» (дословно: «сетевая ткань» — network fabric). Такая фабрика хорошо подходит для организации универсальных облачных услуг, обеспечивая соединения «каждый с каждым» с прогнозируемой пропускной способностью и низким временем задержки. Множество коммутационных ресурсов, распределенных по всему ЦОДу, обеспечивает необходимое резервирование и повышает доступность приложений. Развертывание и масштабирование такой сети может оказаться намного дешевле, чем в случае использования традиционных централизованных коммутаторов.

ПРОПУКНАЯ СПОСОБНОСТЬ ФАБРИКИ

Традиционно при проектировании сетей предусматривалась возможность агрегации трафика: например, если на уровне доступа сеть должна поддерживать 10 потоков трафика по 1 Гбит/с, то эти потоки объединяются в 10-гигабитный канал для передачи «наверх». Сети leaf-spine устроены иначе — уровень агрегации просто отсутствует.

Скорость передачи данных в сетевой фабрике определяется общей пропускной способностью между каждым коммутатором доступа и всеми коммутаторами ядра. На рис. 1 изображены четыре коммутатора ядра. Если каждый коммутатор доступа имеет по одному 40-гигабитному соединению с каждым коммутатором ядра, то в сумме это составляет 160 Гбит/c. Важно иметь в виду, что скорость соединений каждого коммутатора доступа с любым из коммутаторов ядра должна быть одинаковой. Кроме того, ИТ-устройства (серверы и СХД) напрямую к коммутаторам ядра не подключаются.

Желательно спроектировать сетевую фабрику так, чтобы она поддерживала наибольший возможный объем трафика, исходящего от любого коммутатора доступа. Например, если высокоскоростные серверы подключены к 48 портам 10G такого коммутатора, то фабрика должна быть способна обрабатывать 480 Гбит/с (48 × 10 Гбит/c).

Следующий важный момент при проектировании фабрики — учет общего числа граничных портов, которое зависит от количества коммутаторов доступа в сетевой фабрике. Например, если один коммутатор доступа имеет 24 порта по 10 Гбит/с, то каждый дополнительный добавляет к общему числу портов фабрики еще столько же. Добавить новый коммутатор доступа в сеть можно лишь в том случае, если свободный порт для его подключения имеется на каждом коммутаторе ядра.

Когда пропускная способность каналов между коммутаторами доступа и ядра (например, 40 Гбит/с) больше скорости граничных портов (например, 10 Гбит/c), то соответствующая топология называется «толстым деревом» (fat tree). Если же значения одинаковы (скажем, по 10 Гбит/c), то это «тонкое дерево» (skinny tree). «Толстое дерево» имеет очевидные преимущества в плане масштабирования сети.

В типичной современной фабрике, построенной по топологии «толстого дерева», используются соединения 40G. В нашем примере (см. рис. 1) — четыре коммутатора ядра, каждый из которых поддерживает по шесть портов 40G (всего 240 Гбит/с). Если предположить, что у коммутатора доступа 48 портов 10G, то всего имеется 288 граничных портов по 10G. Однако для большинства оконечных устройств предусматривается двойное подключение (dual attached), то есть на каждое устройство потребуется по два 10-гигабитных порта. Значит, такая конфигурация сможет поддерживать 144 оконечных устройства в резервируемой конфигурации.

Общую пропускную способность сетевой фабрики можно подсчитать, умножив количество граничных портов на их скорость либо количество портов коммутаторов ядра на их скорость. При отсутствии избыточный подписки (oversubscription) полученные значения будут одинаковыми. Обычно сетевые фабрики рассчитаны на неблокирующий режим, когда весь трафик от граничных устройств проходит по сети без задержек и блокировок. Наличие избыточной подписки означает, что часть трафика может оказаться задержанной из-за нехватки ресурсов. Блокировки способны негативно влиять на работу приложений ЦОДа, особенно тех, что рассчитаны на неблокирующую среду, например использующих протокол FCoE. В состав архитектуры многих сетевых фабрик включены отдельные сети хранения данных (на базе Fibre Channel или IP), другие же ориентированы на работу с распределенными программно определяемыми хранилищами.

Исходя из особенностей работы приложений и сетевых сервисов оцениваются суммарные требования к пропускной способности, на основании которых и определяется размер сетевой фабрики. Иногда приходится идти на компромисс между стоимостью и необходимым качеством обслуживания, так что допустимый уровень блокировок или конкуренции за сетевые ресурсы закладывается уже при проектировании.

Коэффициент избыточной подписки указывает на уровень конкуренции за сетевые ресурсы между оконечными устройствами. На рис. 2 приведен пример, где этот коэффициент составляет 12:1. Если соотношение слишком велико, снижается производительность приложений. А если оно мало, уменьшается количество поддерживаемых сетью серверов, а значит, и количество поддерживаемых приложений. Ключевым фактором при проектировании сети является баланс между капитальными затратами и числом/производительностью приложений. Но именно этот коэффициент с большой вероятностью будет меняться с течением времени, поскольку потребности приложений растут. Производительность серверного оборудования имеет тенденцию к росту, что ведет к увеличению нагрузки на сеть.

Рис. 2. Подключение с избыточной подпиской 12:1. Суммарная скорость каналов доступа (24 × 10G = 240G) в 12 раз превосходит суммарную пропускную способность каналов между коммутатором доступа и коммутаторами ядра (2 × 10G = 20G)

Из сказанного следует, что более высокая пропускная способность каналов между ядром и доступом поможет улучшить уровень обслуживания приложений путем минимизации коэффициента избыточной подписки и увеличения числа поддерживаемых фабрикой серверов. В идеале пропускная способность этих соединений должна быть как можно выше.

При добавлении в фабрику коммутаторов доступа количество соединений растет очень быстро. Физический уровень должен быть рассчитан на такой рост, прежде всего это относится к поддержке высокой плотности портов и скорости соединений, для чего оптимальны модульные многоволоконные решения (см. рис. 3).

Рис. 3. Соединение 40-гигабитных коммутаторов по стандарту 40GBase-SR4 с помощью аппаратных шнуров и магистрального кабеля (транка) с многоволоконными соединителями MPO

ФИЗИЧЕСКАЯ ТОПОЛОГИЯ

Несмотря на существенные различия, сетевые фабрики схожи с традиционными трехуровневыми иерархическими сетями в том, что должны быть масштабируемыми, управляемыми и надежными. Принципы структурированных кабельных систем (СКС) остаются актуальными и значимыми и при реализации новой топологии. СКС позволяют обеспечить необходимое масштабирование и улучшить как показатели среднего времени восстановления (MTTR), так и общий уровень доступности систем. Поэтому крайне целесообразно придерживаться принципов СКС и при проектировании кабельной инфраструктуры для сетевой фабрики.

Организация сетевой фабрики с коммутационным полем кросс-коннект (см. рис. 4) заметно увеличивает гибкость подключения оборудования. В Европе использование в ЦОДах схемы кросс-коннект уже стало обязательным требованием: согласно стандарту CENELEC EN 50600-X, такая архитектура является предпочтительной благодаря возможности обеспечивать соединение портов по принципу «любой с любым».

Рис. 4. Кабельная система ЦОДа с коммутационным полем кросс-коннект в промежуточной распределительной зоне (IDA): коммутаторы ядра размещены в главной распределительной зоне (MDA), а коммутаторы доступа — в распределительной зоне горизонтальной подсистемы (HDA)

Проектирование кабельной системы во многом зависит от общей топологии сети и специфики активного сетевого оборудования конкретного поставщика. Некоторые производители коммутаторов предлагают собственные оптические решения — одномодовые или многомодовые. Другие отдают предпочтение мощным коммутаторам на основе шасси и классической зонной горизонтальной разводке. Взгляды на будущее сетей следующего поколения тоже разнятся. К сожалению, в большинстве проектов специалисты, отвечающие за проектирование СКС, последними узнают о том, какое именно сетевое оборудование надо будет поддерживать после ввода сети в эксплуатацию. Идеальный проект должен обеспечивать поддержку всего разнообразия возможных решений, вариантов развития сети и новых отраслевых инициатив, не будучи привязанным к решениям одного вендора.

В большинстве случаев оптимальным подходом для обеспечения связи между уровнями ядра и доступа в сетевой фабрике является использование претерминированного оптического решения на основе многоволоконных многомодовых элементов, например InstaPATCH 360 (см. рис. 4). Выполненное на основе недорогого многомодового волокна, оно сохраняет обратную совместимость с прежними сетевыми технологиями, а со временем сможет обеспечить наращивание пропускной способности до 100 Гбит/c и выше.

Предусмотренная стандартами IEEE возможность объединения четырех портов 10G с целью формирования соединения 40G используется не только для организации соединений с большей пропускной способностью, но и для подключения к одному порту коммутатора доступа четырех серверов, что повышает эффективность использования ресурсов сети. В этом случае применяются кабельные сборки MPO-LC (см. рис. 5).

Рис. 5. Кабельная сборка QSFP MPO-LC

Производители используют MPO-соединители для обеспечения более высокой плотности подключений. Например, некоторые из них предлагают поддержку 12 портов по 10G с помощью одного 24-волоконного MPO-соединителя. Волокна могут быть сгруппированы для организации трех соединений по 40G или разделены для поддержки 12 портов 10G. Группирование волокон для реализации соединений более высокой плотности позволяет рационально использовать порты сетевых устройств и обеспечивает удобное масштабирование.

ДЛИНА КАНАЛА

Центры обработки данных, как правило, занимают большие площади, где размещается множество серверов и систем хранения данных. При всех различиях сетевых технологий обычно чем выше скорость, тем меньше допустимая протяженность канала СКС. Увеличение в нем числа соединений ослабляет сигнал и, стало быть, уменьшает допустимую длину. Довольно часто производители сетевого оборудования указывают в своих спецификациях максимальную длину канала «точка — точка». При проектировании СКС важно понимать, как эти спецификации соотносятся с практическими задачами.

Лучше всего это показать на конкретных примерах. Предположим, что планируется реализовать подключения, представленные на рис. 6: 10-гигабитный канал Ethernet и 8-гигабитный Fibre Channel (FC). При этом ЦОД может быть поделен на отдельные машинные залы, а оборудование разнесено по разным залам. Кроме того, предположим, что в исходные требования проекта заложено обязательное наличие запаса по скорости каналов связи как минимум «на один шаг вперед» для последующего наращивания пропускной способности (характеристики высокоскоростных оптических вариантов Ethernet приведены в табл. 1). Возникнут ли проблемы с обеспечением требуемых длин каналов на момент ввода сети в эксплуатацию и в будущем?

Таблица 1. Стандарты Ethernet на базе оптического волокна (незавершенные стандарты выделены красным цветом)

Оценка потерь в линии требует понимания специфики используемых компонентов. Их характеристики варьируются у разных производителей и могут изменяться даже в рамках одной партии изделий. Естественно, нас интересует наихудший показатель вносимых потерь, поскольку его использование позволяет быть уверенным в том, что допустимые (для нормальной работы сетевого оборудования) значения не будут превышены. Чтобы гарантировать соответствие проекта требованиям завтрашнего дня, необходимо изначально предусмотреть поддержку как минимум следующего — относительно указанного — уровня скорости в сети.

Анализируя возможности двух приведенных на рис. 6 сценариев с использованием стандартных компонентов, рассмотрим наихудший показатель вносимых потерь для всех компонентов в канале. В этом примере у модулей LC/MPO показатель вносимых потерь составляет 0,5 дБ, а у магистральных волоконно-оптических кабелей (транков) — 3,5 дБ/км. Длина дуплексных коммутационных шнуров не превышает нескольких метров, поэтому они не будут значительно влиять на общую величину вносимых потерь.

Рис. 6. Примеры подключений в ЦОДе

В соответствии с этими данными общий показатель вносимых потерь для сценария 1 равен 3,34 дБ (см. рис. 7), что превышает максимально допустимый для 8-гигабитного Fibre Channel уровень, который составляет 2,19 дБ. Спроектированный таким образом канал, скорее всего, либо не сможет обеспечить работу оборудования, либо будет причиной появления большого числа битовых ошибок.

Рис. 7. Расчет бюджета потерь различных каналов

Похожим образом анализируется и сценарий 2: 10-гигабитное подключение Ethernet «сервер — LAN» на расстоянии 130 м по волокну OM4 (см. рис. 7). В этом примере потери достигают 2,39 дБ, что меньше допустимого значения для данного приложения. Значит, такое соединение станет работать должным образом.

Стандартной практикой является добавление соединений по мере роста сети и ввода в эксплуатацию новых машинных залов ЦОДа. В указанном примере организуется дополнительное соединение в зоне IDA, в результате общая длина канала увеличивается до 150 м и добавляются еще два модуля LC/MPO (сценарий 2а на рис. 7). Как показано на рис. 7, новый показатель общих вносимых потерь теперь составляет 3,53 дБ, то есть максимально допустимое значение превышено. Такое соединение либо будет неработоспособным, либо вызовет большое число битовых ошибок.

Рассмотрим переход на данной линии с 10-гигабитного Ethernet на 40-гигабитный (40GBase-SR4). Расчет вносимых потерь приведен там же — на рис. 7 (сценарий 2б). Отметим, что общие вносимые потери уменьшаются при переходе с последовательной схемы 10GbE на 40GbE, где используется параллельная оптика (при этом модули LC/MPO заменяются простыми адаптерными панелями MPO). Однако, несмотря на снижение общих потерь, уровень потерь в линии превышает допустимый для 40GBase-SR4 (при применении волокна OM4 он равен 1,5 дБ). Следовательно, при переходе на 40-гигабитный Ethernet велика вероятность того, что либо такое соединение будет неработоспособным, либо появится множество битовых ошибок.

Реальный проект сетевой инфраструктуры ЦОДа включает в себя множество различных линий, каждая из которых должна быть просчитана подобным образом. Подход к решению этой задачи простой: нужно сложить общие потери, сравнить их с требованиями стандартов и получить ответ «подойдет / не подойдет». Повторив эти действия для каждого типа линии и каждого приложения (сетевой технологии), получим общую оценку всей инфраструктуры ЦОДа. Но такой процесс требует больших временных затрат.

Задача усложняется тем, что у фирменных технологий имеются свои предельные значения для длин линий, не определенные отраслевыми стандартами. Так, двунаправленная схема Cisco BiDi на основе трансиверов QSFP-40G-SR-BD (см. рис. 8) представляет пример линии с использованием двух длин волн в каждом из двух волокон; общая пропускная способность такой системы — 40 Гбит/с. Для такого случая нет стандартизированных предельных значений, которые можно было бы использовать при проектировании кабельной системы. Содержательная сторона проекта системы зависит от заявлений производителя и корректируется в зависимости от информации, предоставляемой для разных кабельных топологий.

Рис. 8. Двусторонняя передача данных

На рынке существует огромное количество различных архитектур сетей и типов сред передачи, поэтому и вариантов построения сети множество. Проектирование сетевых фабрик на основе расчетов потерь для каждого типа линии — непростая задача.

ПОДДЕРЖКА СЕТЕВЫХ ТЕХНОЛОГИЙ

Для упрощения этой задачи компания CommScope предлагает готовые расчеты линий для поддержки конкретных сетевых технологий (приложений) с учетом типа волокна и количества соединений. Использование расчетных таблиц, примеры которых приведены в этой статье, позволяет существенно сократить количество ошибок при проектировании и упростить прогнозирование возможности поддержки новых технологий в будущем.

В табл. 2, 3 и 4 приведены расчеты для линий, обеспечивающих гарантированную поддержку конкретных приложений (технологий), в том числе для описанных выше сценариев 1, 2 и 2а. Согласно данным из табл. 2, сценарий 1 (линия 8G Fibre Channel протяженностью 95 м с шестью MPO- и шестью LC-соединителями) при выборе волокна LazrSPEED 550 [OM4] поддерживается полностью. Как и требуется, максимальная длина линии составляет 150 м.

Таблица 2. Длины линий 8G Fibre Channel (с «последовательный приемником», 850 нм, FC-PI-4 800-MX-SN) на основе LazrSPEED 550

Таблица 3. Длины линий 40GBase-SR4 (с параллельным интерфейсом, 850 нм) на основе волокна LazrSPEED

Таблица 4. Длины линий 100GBase-SR4 (с параллельным 4-канальным интерфейсом, 850 нм) по волокну LazrSPEED

Стандарт 40GBase-SR4 предполагает использование MPO. Как следует из табл. 3, длина линии с шестью MPO-соединениями, проложенной с применением кабеля LazrSPEED 550 OM4, не превышает 140 м. Сравним эти показатели с данными для 100GBase-SR4: для этой технологии максимальная длина линии составляет 115 м (см. табл. 4). Значит, заложив в проект первой очереди линию длиной 115 м, можно обеспечить в будущем поддержку 100 Гбит/c без изменения кабельной инфраструктуры.

Предлагаемые расчеты распространяются и на нестандартные решения. В табл. 5 показаны данные для систем Cisco BiDi 40G.

Таблица 5. Длины линий для нестандартных систем Cisco 40GbE BiD с трансиверами QSFP-40G-SR-BDi по волокну LazrSPEED 550 WideBand и LazrSPEED 550

ВЫБОР ВАРИАНТОВ ETHERNET

Одномодовые или многомодовые, параллельные или дуплексные — правильный выбор кабельной системы для ЦОДа будет зависеть от его размеров, темпов добавления новых сервисов, величины бюджета на оборудование, специфики технологий вендоров и многого другого. Проект СКС должен вписываться в архитектуру сети и соответствовать планам развития ЦОДа.

Выше уже сравнивались два варианта линий 40G Ethernet: на основе стандарта 40GBase-SR4 (четыре канала 10G по восемь волокон) и собственной технологии Cisco BiDi (мультиплексирование двух каналов по 20G в одной паре волокон). С помощью приведенных таблиц проектировщик может сопоставить максимальные длины линий для этих сетевых технологий при использовании волокна LazrSPEED 550 OM4 (указанные в таблицах параметры даны с учетом использования претерминированного волоконно-оптического решения CommScope InstaPATCH 360).

Система InstaPATCH 360 поддерживает работу трансиверов 40GBase-SR4 для шести соединений на 140 м (требования стандарта — 125 м), что обеспечивает большую длину канала и гибкость топологии, необходимые проектам сетевых фабрик. Если говорить о 100GBase-SR4, то система поддерживает длину линии 108 м при шести соединениях.

ДАЛЬНЕЙШИЕ ШАГИ

40-гигабитные соединения представляют собой экономичные и эффективные решения для большинства проектов сетевых фабрик. Но уже в ближайшие годы скорости сетевых интерфейсов серверов достигнут 25 Гбит/c, а может быть, и 50 Гбит/c. И тогда соединения в сетевых фабриках придется наращивать до 100 Гбит/c или даже до 400 Гбит/c.

В будущем возможно применение разных способов формирования более скоростных соединений: одни производители предпочитают одномодовые решения, другие — многомодовые. Для каждого могут предлагаться дуплексные или параллельные варианты. Показатели относительной стоимости меняются, но некоторые привычные соотношения пока еще остаются в силе: многомодовые системы по-прежнему требуют меньших капитальных затрат и в большинстве случаев проще в поддержке и эксплуатации.

Многомодовые кабели с волокнами OM3 и OM4 поддерживают скорость 40G, обеспечивая достаточные для любых ЦОДов — за исключением гигантских — дальность и разнообразие возможных топологий. Если говорить о поддержке скоростей 100 Гбит/c и выше, то одним из самых многообещающих методов увеличения пропускной способности сети является добавление коммуникационных каналов в каждую дуплексную пару многомодовых волокон. Дорогостоящая технология спектрального уплотнения (Wavelength Division Multiplexing, WDM) уже давно доступна для одномодовых вариантов. Новейшие коротковолновые трансиверы WDM (Shortwave Wavelength Division Multiplexing, SWDM) объединяют четыре канала в паре волокон, предлагая в четыре раза большую пропускную способность для многомодового кабеля (см. рис. 9). Это более экономичное решение сочетает в себе простоту установки и эксплуатации многомодовых линий с масштабируемой пропускной способностью, как того требует обеспечение роста сетевых фабрик.

Рис. 9. Спектральное уплотнение с использованием широкополосного многомодового волокна (WBMMF)

Для поддержки технологии SWDM компания CommScope совместно с другими членами Альянса SWDM разработала новое широкополосное многомодовое волокно (Wideband Multimode Fiber, WBMMF) — см. рис. 10. Призванное повысить пропускную способность многомодовых линий за счет увеличения в одном волокне числа коммуникационных каналов при большей дальности, оно предназначено для реализации скоростей 100 Гбит/с и 400 Гбит/с при уменьшении числа волокон, необходимых для поддержки будущих высокопроизводительных сетевых фабрик.

Рис. 10. Сравнение полной ширины полос пропускания волокон OM3, OM4 и WBMMF

Волокно WBMMF обратно совместимо с волокнами OM3 и OM4. Работа по стандартизации WBMMF ведется в техническом комитете TR-42 Ассоциации TIA, а публикация стандарта ожидается в 2016 году. Компания CommScope выпустила кабельное решение LazrSPEED 550 Wideband для всех компонентов платформы InstaPATCH, благодаря которому линии связи нового поколения, на основе которых могут создаваться экономичные и высокопроизводительные сети, стали доступны уже сегодня.

ВЫВОДЫ

Активное внедрение в центрах обработки данных сетевых фабрик призвано обеспечить эффективную поддержку облачных вычислений и систем хранения данных. Увеличение плотности размещения элементов кабельных систем ЦОДов позволяет реализовать соединения «каждый с каждым» с малым временем задержки для поддержки распределенных облачных приложений.

Проектирование линий с высокой пропускной способностью — непростая задача, особенно при увеличении числа линий и скорости передачи. Для достижения наибольшей производительности ЦОДа необходимо максимально задействовать возможности существующих кабельных технологий. Постоянное развитие волоконно-оптических систем, в том числе с широкополосным многомодовым волокном WBMMF, нацелено на поддержку все более высоких требований к пропускной способности и физической плотности, как того требует реализация архитектуры сетевых фабрик.

Высокопроизводительные претерминированные кабельные решения облегчают проектирование, внедрение и управление сложными сетевыми фабриками. Такие решения обеспечивают поддержку сетевых технологий следующего поколения, а также новейших дуплексных и многоволоконных модульных приложений, тем самым сокращая временные и денежные затраты на управление внедрением.

Для достижения оптимальной пропускной способности сетевой фабрики и последующего перехода на еще большие скорости оптические компоненты должны обеспечивать высокую скорость передачи данных и малые потери. Чтобы избежать в будущем модернизации кабельной инфраструктуры, поддержку 40G, 100G и даже 400G следует закладывать в техническое задание с самого начала.

Роман Китаев, глава представительства CommScope в России и СНГ