Медь и оптика в современном ЦОДе

Мир центров обработки данных многообразен: от небольших серверных комнат до мегакомплексов таких гигантов, как Google, Facebook и Yandex. Предпочтения в части выбора среды передачи и архитектуры СКС для объектов разного типа, конечно, различны: эксперты разделяют все ЦОДы на четыре группы по площади зон размещения ИТ-оборудования (white space) — см. врезку «Кабельные предпочтения в ЦОДах».

Эволюция систем Ethernet, реализуемых на базе витопарных кабелей

Эволюция систем Ethernet, реализуемых на базе многомодовой оптики

Эволюция систем Ethernet, реализуемых на базе одномодовой оптики

ОТ МАЛА ДО ВЕЛИКА

Соотношение долей медножильных и оптических линий в кабельной инфраструктуре ЦОДа во многом определяется его площадью. Так, в малых корпоративных ЦОДах, где площадь ИТ-зон не превышает 100 м², доминируют витопарные кабели — для небольших расстояний вполне хватает «дальнобойности» медножильной проводки. В крупных же корпоративных центрах обработки данных (более 300 м²), а также в коммерческих ЦОДах на многомодовую оптику приходится уже 60–90% всех линий, при этом постоянно увеличивается доля линий с волокном ОМ4. Кроме того, на таких объектах все чаще используются кабели с претерминированными многоволоконными MPO-соединителями; эти технические решения позволяют оперативно и с минимальными затратами по мере необходимости перейти на более высокие скорости: например, с 10GbE на 40GbE и далее на 100GbE.

Отдельно следует упомянуть так называемые мегаЦОДы — в частности, огромные гипермасштабируемые (Hyperscale) комплексы, на базе которых многие интернет-гиганты предоставляют облачные сервисы. На таких объектах доминируют одномодовые линии, причем их доля может достигать 100%. Преимущественное использование одномодовой техники обусловлено рядом причин, в том числе большими расстояниями между ИТ-модулями и залами, а также высокими требованиями к пропускной способности сетей — владельцы мегаЦОДов одними из первых начали применять технологии 40GbE и 100GbE. Нельзя не упомянуть и о том, что некоторые из них разрабатывают собственные принципы организации СКС, которые получили дальнейшее развитие в рамках инициированного Facebook проекта Open Compute Project (OCP).

Основные варианты размещения коммутаторов в ЦОДе

СРЕДА ПЕРЕДАЧИ И ФУНКЦИОНАЛЬНЫЕ ОБЛАСТИ

Выбор среды передачи (медь или оптика) зависит и от назначения той функциональной области ЦОДа, в которой развертывается конкретный сегмент СКС (см. рис. 1). Так, в зоне Entrance Facility, где располагается городской ввод от сетей операторов связи (в крупных ЦОДах в этой зоне также находится оборудование кампусных магистралей, связывающих разные здания), используется в основном одномодовая оптика — даже в малых ЦОДах. В главной распределительной области (Main Distribution Area), где установлен главный оптический кросс и концентрируется ядро сети (как LAN, так и SAN), применяется все многообразие сред передачи: и медь, и одномодовая, и многомодовая оптика. Однако витая пара в зоне MDA все чаще замещается оптикой, и ее доля постоянно растет. В данной области медножильная проводка остается только в сервисных сетях — например, в сетях управления по внешнему каналу (out-of-band), в которых требования к пропускной способности существенно ниже.

Рис. 1. Выбор среды передачи в зависимости от назначения функциональных областей ЦОДа

В области горизонтальной проводки и зон подключения конечных устройств (стоек с серверами и другим ИТ-оборудованием) ситуацию с соотношением меди и оптики можно охарактеризовать как «50 на 50». Несмотря на то что Категория 6A является стандартом де-юре для медножильных СКС, во многих проектах применяют Категорию 6, характеристик которой достаточно, если не требуется скорость более 1 Гбит/c. Для полноценной поддержки 10 Гбит/c «по меди» на расстояниях до 100 м необходима уже Категория 6А. Следующим шагом на пути повышения скорости подключения высокопроизводительных серверов, скорее всего, станет переход на технологию 25GbE. Такая скорость, равно как и 40 Гбит/c, вполне достижима по витопарным кабелям. Соответствующие технологии 25GBase-T и 40GBase-T должны быть окончательно стандартизованы уже в текущем году, но для их реализации потребуется кабельная система Категории 8, при этом максимальная дальность, вместо традиционных для «меди» 100 м, составит всего 30 м.

КАК РАССТАВИТЬ КОММУТАТОРЫ

Архитектура СКС в зонах подключения конечных устройств ЦОДа определяется расположением активного оборудования (коммутаторов). На практике получили распространение три основных варианта такого расположения. Первый, и наиболее популярный, — установка коммутатора в каждой стойке с ИТ-оборудованием (ToR). Второй — концентрация коммутаторов, обслуживающих оборудование данного ряда, в одной стойке. Стойка с коммутаторами может находиться в конце ряда (EoR) или в его середине (MoR). Наконец, третий вариант — централизованное размещение активного оборудования, обслуживающего серверный зал (Centralized Switching). В этом случае коммутаторы устанавливаются в главном кроссе, а в стойках находится только пассивное оборудование СКС.

Согласно данным BSRIA за 2016 год, на размещение коммутаторов ToR приходится 44% всех инсталляций в корпоративных ЦОДах и 66% — в коммерческих (см. рис. 2). Широко распространено в корпоративных ЦОДах и централизованное размещение активного сетевого оборудования (33%), тогда как в коммерческих показатель у этого варианта существенно ниже (18%). Что касается суммарной доли вариантов EoR и MoR, то она составляет 16% в корпоративных ЦОДах и 10% в коммерческих.

Рис. 2. Предпочтения в части выбора архитектуры размещения коммутаторов в корпоративных и коммерческих ЦОДах

В целом предпочтения заказчиков явно смещаются в сторону архитектуры ToR, чему способствует и рост популярности новых топологий локальных сетей, таких как Spine-Leaf (ее еще называют Fat-tree Fabric). Эта топология предусматривает переход от традиционной трехуровневой схемы (доступ — распределение — ядро) к двухуровневой: на уровне ядра (в MDA) устанавливаются магистральные коммутаторы (spine), к которым напрямую подсоединяются коммутаторы доступа (leaf), располагающиеся в каждой стойке максимально близко к конечному оборудованию. Сеть с топологией Spine-Leaf может быть построена и при размещении коммутаторов доступа в одной стойке ряда (EoR/MoR). По сравнению с сетью с традиционной топологией, в сети Spine-Leaf существенно сокращаются задержки трафика, упрощаются и ускоряются процедуры расширения (добавление нового оборудования). Эта топология находит отражение и в кабельных стандартах — в частности, она будет рассматриваться в будущей редакции TIA 942.

Если говорить о перспективах использования высокоскоростных (25 и 40 Гбит/c) технологий на базе витопарной проводки Категории 8, то они предназначены в первую очередь для аппаратных областей сетей, построенных по архитектурам ToR, EoR и MoR. В случае EoR расстояние от серверов до коммутаторов не превышает длины ряда стоек, а в варианте MoR — половины длины ряда, что укладывается в уже упомянутые ограничения 30 м. Универсальные кабельные системы Категории 8 могут стать эффективной заменой кабелей прямого подключения (Direct-Attach Cable, DAC), которые, помимо своей нестандартности (они привязаны к конкретному оборудованию), весьма дорого стоят. Однако однозначно ответить на вопрос, сможет ли Категория 8 стать хорошей заменой многомодовой оптике на небольших расстояниях, пока невозможно.

РАЗВИТИЕ ОПТИКИ

На основе многомодовой оптики успешно развиваются не только локальные сети Ethernet, но и другая неотъемлемая часть сетевых инфраструктур многих ЦОДов — сети хранения данных SAN на базе Fibre Channel. Причем все большее распространение получает технология параллельной передачи трафика по нескольким волокнам, реализуемая с использованием претерминированных систем, оснащенных многоволоконными (групповыми) соединителями MPO. Так, например, 24-волоконный тракт MPO вполне подойдет для формирования 12 дуплексных линий 10GbE. Затем на его базе (путем простой замены недорогих оконечных компонентов) можно реализовать переход на три линии 40GbE и далее, при необходимости, — на 100-гигабитный канал. Таким образом обеспечивается простая миграция на все более высокоскоростные приложения с максимальным сохранением сделанных инвестиций.

При всех преимуществах многоволоконных систем на базе MPO у них есть один серьезный недостаток — большое число необходимых волокон. В ЦОДах увеличение числа волокон зачастую нежелательно, поскольку это требует дополнительных расходов, в том числе на выделение дорогостоящего пространства под кабельные лотки, организаторы и пр. Скорость передачи трафика можно повысить и другим способом: путем организации нескольких каналов на основе одного волокна. Это хорошо известная на телекоммуникационном рынке технология спектрального уплотнения (WDM).

Однако применять спектральное уплотнение в наиболее популярных многомодовых волокнах OM3 и OM4 невозможно, поскольку эти волокна оптимизированы для одной длины волны (850 нм). Они обеспечивают очень широкую полосу пропускания (коэффициент широкополосности) для 850 нм, но при отклонении от указанной длины волны эта полоса резко сужается, из-за чего такие волокна плохо подходят для передачи нескольких потоков в режиме WDM. Поэтому для реализации недорогой передачи в режиме WDM потребовалось разработать новое волокно, по которому можно было бы эффективно передавать сигналы и на других длинах волн. Для обеспечения низкой стоимости системы WDM необходимо номинальное разделение между спектральными каналами около 30 нм. Соответственно, для поддержки по меньшей мере четырех спектральных потоков (см. рис. 3) нужен диапазон (с учетом защитной полосы) 100 нм — от 850 до 950 нм.

Рис. 3. Система WDM с мультиплексированием четырех спектральных каналов

В октябре 2014 года компания CommScope совместно с несколькими производителями волокна и приемопередатчиков, а также с поставщиками системных решений инициировала в Ассоциации TIA (Telecommunications Industry Association) проект по разработке стандарта на волокно, которое предоставляло бы полосу пропускания ОМ4 во всем указанном выше диапазоне. Такое широкополосное многомодовое волокно (WideBand MultiMode Fiber, WBMMF) уже создано и используется в коммерчес-

ких проектах. Оно обеспечивает ту же производительность на длине волны 850 нм, что и волокно ОМ4, поэтому совместимо со всеми существующими приложениями. Очевидно, технология WBMMF дает возможность в четыре раза поднять скорость передачи данных для заданного числа волокон или во столько же раз сократить число волокон, необходимых для поддержки определенной скорости (например, получить 100 Гбит/с на одной паре волокон). Ее использование позволит более эффективно реализовать каналы связи на 40, 50 и 100 Гбит/с (см. рис. 4), а также достичь более высоких скоростей, таких как 800 и 1600 Гбит/с.

Рис. 4. Число волокон, необходимых для обеспечения различных скоростей передачи при использовании традиционного способа (один поток в одном волокне) и спектрального уплотнения (четыре потока в одном волокне)

Для высокоскоростных приложений (40 и 100 Гбит/c) ограничение многомодовой оптики по дальности составляет 100–150 м. Этого достаточно для сетей большинства типовых корпоративных и коммерческих ЦОДов, но в ряде случаев, например для мегаЦОДов, этого не хватает. Тогда на выручку приходит одномодовая техника. Главный ее недостаток — высокая стоимость, причем речь идет не столько о кабельной системе, сколько об активном оборудовании (очень дорогие трансиверы). За последние несколько лет ряд производителей и отраслевых организаций потратили немало сил для разработки менее дорогих решений.

Так, например, компания Facebook пошла по пути разработки для своих ЦОДов облегченного одномодового варианта технологии 100GbE в первую очередь за счет снижения дальнодействия трансиверов с 10 км до всего 500 м (этого достаточно для типичных приложений ЦОДа). В результате была создана технология 100G CWDM4 со значительно менее дорогими трансиверами. Но следует четко понимать, что эта и другие подобные технологии не стандартизованы международными организациями, а потому вряд ли их можно рекомендовать к масштабному применению в типовых корпоративных и коммерческих ЦОДах.

В целом сетевые технологии для ЦОДов бурно развиваются. С данным процессом неразрывно связано развитие решений в области кабельной инфраструктуры, от которой зависят ключевые параметры существующих, а также возможности поддержки новых скоростных приложений. При этом в ЦОДах применяется широкое многообразие витопарных и оптических кабельных систем с очевидной тенденцией увеличения доли последних. При выборе партнера для создания и модернизации кабельной инфраструктуры важно учитывать наличие у него экспертизы по всем основным типам кабельных систем, быть в курсе тенденций развития сетей и позаботиться о поддержке будущих приложений для максимальной защиты сделанных инвестиций.

Владимир Стыцько, директор по работе с ключевыми заказчиками в России и странах СНГ компании CommScope