Fibre Channel включается на полную мощь

Для систем хранения на базе флеш-накопителей очень важно наличие возможности подключения к каналам Fibre Channel Gen6, поскольку ускорение доступа и устойчивое выполнение операций чтения-записи при применении этой технологии позволяет существенно улучшить производительность инфраструктуры хранения по сравнению с предыдущими поколениями Fibre Channel.

В этой статье рассказывается о текущем состоянии приложений и технологий хранения для ЦОД, таких как трансиверы и волоконно-оптические линии Fibre Channel, объясняется разница между Fibre Channel и конкурирующими технологиями, рассматриваются планы перспективного развития Fibre Channel (седьмое поколение и далее) в контексте будущих приложений для ЦОД, сходство и различие планов развития Fibre Channel и высокоскоростной технологии Ethernet, а также физической волоконно-оптической кабельной инфраструктуры, необходимой для поддержки обоих этих направлений.

ИСТОРИЧЕСКИЙ ЭКСКУРС

Стандарт Fibre Channel с пропускной способностью 1 Гбит/с был утвержден в 1997 году (рис. 1). Жизненный цикл технологии 1 GFC с момента ее появления на рынке в 1998 году и до устаревания в 2004-м протекал одновременно с разработкой и выводом на рынок стандарта 2 GFC, а также с первым этапом разработки 4 GFC. В 2005 году трансиверы, поддерживающие 2 GFC, поставлялись уже в промышленных объемах, а технология 4 GFC была утверждена в качестве стандарта и начала предлагаться на рынке. Этот цикл признания, устаревания и обновления повторяется на протяжении последних 20 лет.

Рис. 1. Развитие Fibre Channel с 1997 года

На практике довольно часто наблюдается мирное сосуществование различных технологий с разными скоростями передачи данных. При этом клиентское устройство и коммутатор могут поддерживать разные скорости (например, когда в коммутаторе установлены платы 16 GFC, а старый массив хранения обеспечивает поддержку только 4 GFC).

ЭВОЛЮЦИЯ ПРОПУСКНОЙ СПОСОБНОСТИ

Соединения Fibre Channel между серверами и системами хранения организуются с использованием высокоскоростного волоконно-оптического кабеля. Пропускная способность каналов растет в геометрической прогрессии со знаменателем 2: всякий раз скорость передачи Fibre Channel удваивается по сравнению с предыдущей. На рис. 2 представлен график роста пропускной способности прошлых и будущих версий Fibre Channel с указанием скоростей Fibre Channel и Ethernet, используемых (и рекомендуемых) для решений FCoE.

Рис. 2. Планы увеличения пропускной способности, разработанные Fibre Channel Industry Association, в графическом представлении

Порты Fibre Channel поддерживают трансиверы с различной дальностью и скоростью передачи данных. В соответствии с нормативными требованиями текущий стандарт трансиверов должен обеспечивать обратную совместимость с двумя предыдущими поколениями (например, трансиверы 8 GFC совместимы с 4 GFC и 2 GFC).

В настоящее время на рынке доминируют два типа трансиверов: малый формат SFP (с дуплексным коннектором LC) и Quad SFP (QSFP с 8/12-волоконным коннектором MPO). В тех конфигурациях, где коммутаторы располагаются рядом или серверы устанавливаются в непосредственной близости от пограничного коммутатора SAN, можно задействовать медные кабели прямого подключения (Direct Attach Cable, DAC), поддерживающие Fibre Channel (как правило, их длина не превышает 10 м).

Модули SFP, представленные сейчас в очень широком ассортименте, используются в большинстве трансиверов от 1 до 32 GFC. Изначально эти модули поддерживали пропускную способность до 5 Гбит/с или ниже, тогда как новые варианты разрабатывались для поддержки приложений 4 GFC и более поздних. Например:

• SFP+ для 8 GFC, 10 GFC, 10 Gigabit Ethernet (10GbE) и 16 GFC;
• SFP28 для 32 GFC (и 25 GbE).

По предварительной информации, модули SFP28 будут поддерживать и более высокие скорости (50 и 64 GFC), но это еще требует подтверждения. Спецификации новых поколений модулей SFP предусматривают более высокую целостность сигнала по сравнению с предыдущими, чтобы обеспечить соответствие растущим требованиям к пропускной способности.

Модули QSFP впервые начали применяться в InfiniBand и высокоскоростных конфигурациях Ethernet (40 GbE). У них имеется четыре параллельных оптических или электрических канала, обеспечивающих высокоскоростную передачу 100 GbE (4 × 25 Гбит/с) и 128 GFC (4 × 32 Гбит/с).

Изначально модули QSFP поддерживали скорость передачи до 4 × 5 Гбит/с, а новые варианты разрабатывались для приложений Fibre Channel, превышающих 16 GFC. Модули QSFP используются во многих трансиверах в конфигурациях от 40 GbE до 128 GFC. Подобно дуплексным модулям SFP с последовательной передачей данных на скорости до 32 Гбит/с, новые поколения QSFP, QSFP+ и QSFP28 отвечают повышенным требованиям к скорости передачи данных:

• QSFP+ для 128 GFC (в том числе для высокоплотных конфигураций 4 × 32 GFC);
• QSFP28 для перспективных решений Ethernet / Fibre Channel (с целевыми скоростями 200 GbE и 256 GFC).

БУДУЩЕЕ ТЕХНОЛОГИЙ FIBRE CHANNEL

Для сокращения затрат там, где это возможно, при построении каналов SAN Fibre Channel в ЦОД используют коротковолновые трансиверы в сочетании с многомодовым волоконно-оптическим кабелем (Multimode Fiber, MMF). Одномодовый кабель (Singlemode Fiber, SMF) и трансиверы (как правило, такая комбинация обходится дороже) применяются для соединения коммутаторов (Interswitch Link, ISL) в разных помещениях/зданиях ЦОД.

В табл. 1 приведены данные о существующих и перспективных решениях Fibre Channel с разной пропускной способностью. Для организации соединения 32 GFC протяженностью 100 м нужен кабель MMF второго поколения, оптимизированный для лазерной передачи (OM4).

Таблица 1. Спецификации Fibre Channel

На более длинных дистанциях используются длинноволновые трансиверы и одномодовый кабель. Трансивер SMF, соответствующий спецификациям Fibre Channel Physical Interface, обеспечивает передачу данных на расстояние до 10 км, а более дешевые варианты — до 2 км.

Для поддержки 128 GFC в трансиверах 128 GFC-PSM4 будет применяться та же технология, что и в недорогих параллельных 4-канальных одномодовых трансиверах (PSM4) с дальностью действия 500 м для Ethernet со скоростью 100 Гбит/с. Аналогичным образом, технология CWDM4, используемая при построении каналов Ethernet протяженностью 2 км с пропускной способностью 100 Гбит/с, будет задействована в решениях 128 GFC. Ожидается, что для обеспечения ISL-соединения между модулями 128 G QSFP28 и 32 G SFP28 производители коммутаторов станут применять технологию PSM4.

КАБЕЛЬНАЯ ИНФРАСТРУКТУРА FIBRE CHANNEL

В соответствии со стандартами IEC и TIA под линией (link) понимается постоянная волоконно-оптическая кабельная инфраструктура, к которой подключается активное оборудование. К линии не относятся соединительные шнуры, используемые для подключения активных сетевых устройств в распределительных зонах, и кроссировочные шнуры.

Тестирование линий в стандартах ISO/IEC и TIA представляет собой проверку характеристик фиксированных (постоянных) сегментов проложенного кабеля. Успешное прохождение тестирования гарантирует соответствие линий требованиям стандартов и их устойчивое функционирование при использовании качественных коммутационных шнуров.

Стандарт Fibre Channel ANSI T11 определяет требования к каналам, образующим SAN. Каждый из уровней Fibre Channel Physical Media Dependent (PMD) обладает различными характеристиками в зависимости от вида кабельной проводки. Для проектирования гибкой и надежной кабельной системы предусматривается набор «регулировок», манипулируя которыми можно добиться стабильного функционирования каналов SAN.

В бюджет мощности линий для приложений Ethernet и Fibre Channel не включаются потери при прохождении сигнала через соединители, которые подключают к оборудованию на обоих концах тракта. Они учитываются в бюджете мощности линии как разница между минимальной мощностью передатчика и минимальной чувствительностью приемника. Число соединителей в канале равно общему количеству сопряженных пар. Соединители, подключаемые к оптическим трансиверам, сопряженными парами не считаются.

ОПТИЧЕСКИЙ БЮДЖЕТ ДЛЯ ПРИЛОЖЕНИЙ

Общий бюджет мощности оптической линии определяется стандартом приложений (например, Ethernet) и зависит от потерь мощности и общей протяженности канала. Как правило, большая часть оптических потерь невелика и не превышает 0,3 дБ. При этом к двум наиболее существенным факторам, ограничивающим протяженность канала, относятся межсимвольная интерференция (Inter-Symbol Interference, ISI), которая зависит от ширины полосы пропускания оптического волокна, и потери, вносимые соединителями (Connector Insertion Loss, IL). Их влияние во многом зависит от качества проектирования и методов, используемых при построении и тестировании канала.

Два источника потерь — IL (потери в сопряженных разъемах) и затухание (ослабление лазерного сигнала внутри оптического волокна). IL — это критически важный параметр, определяющий характеристики канала. Потери в линии зависят от количества соединений оптического волокна и индивидуальных потерь в сопряженных парах разъемов. Общие потери в линии вычисляются как сумма потерь в соединениях и затухания, которое зависит от длины волокна.

Зачастую затухание сигнала в волокне и потери мощности, возникающие вследствие межсимвольной интерференции, можно варьировать для компенсации потерь в соединениях, но при расчетах все равно следует проявлять осторожность и находить компромиссный вариант.

В качестве примера рассмотрим соединение 16 GFC OM4 (M5F в Fibre Channel) протяженностью 50 м. Это треть от максимально допустимой спецификациями дальности в 150 метров (табл. 2). У такой линии параметр ISI оказывается значительно меньше, чем у линии протяженнос-тью 150 м. Таким образом, общие потери в соединениях могут быть больше — до 2,4 дБ. Или же потери ISI можно сократить за счет использования волокна OM4 с более широкой полосой пропускания.

Таблица 2. Зависимость протяженности канала и бюджета его мощности от потерь в соединениях (расстояние, м / бюджет потерь, дБ)

СТРУКТУРИРОВАННАЯ КАБЕЛЬНАЯ МОДЕЛЬ ДЛЯ FIBRE CHANNEL

Структурированная кабельная система позволяет с минимальными рисками осуществлять перемещения, добавления и изменения (Moves, Adds And Changes, MAC), а также эффективно управлять соединениями между ISL, серверами и системами хранения. Ее применение создает условия для управления изменениями в ЦОД с обеспечением дальнейшего развития и перехода на новые технологии. Выбирая такую кабельную модель, можно развертывать коммутаторы высокой плотности, не жертвуя управляемостью.

С появлением каждого очередного поколения оборудования Fibre Channel и увеличением скорости передачи данных резервы мощности неуклонно снижаются. Важно также, чтобы в средах высокой плотности обеспечивалась возможность подключения «каждого к каждому». Это может потенциально привести к превышению доступного бюджета мощности, поскольку в таких каналах появляется все больше соединений.

Цель структурированной кабельной модели заключается в том, чтобы все порты в схеме перекрестных соединений «каждого с каждым» служили логическим представлением портов коммутаторов, серверов и средств хранения в ЦОД. Такой кросс называется главной распределительной областью (Main Distribution Area, MDA) в стандарте TIA 942 и центральной коммутационной зоной в спецификациях Fiber Transport Systems (FTS) компании IBM. Перекрестные соединения между конечными точками выполняются с помощью соединительных кабелей между коммутационными панелями в MDA. При использовании такого подхода работа активного оборудования может быть нарушена только в результате аварии или технологических изменений.

Структурированная кабельная система базируется на стандартах, что гарантирует управляемость и масштабируемость перемещений, добавлений и изменений (с использованием TIA 606) для поддержки будущих технологий Fibre Channel.

На рис. 3 показано подключение соединителей многоволоконных магистральных кабелей (Multi-Fiber Push On, MPO) к кассетным модулям MPO/LC. Магистральные кабели с разъемами MPO содержат кратное 12 число волокон и могут прокладываться между коммутационными панелями/шкафами в ЦОД на большие расстояния.

Рис. 3. Модель кросс-коммутации

Такие магистральные кабели подключаются к указанным выше модулям или к другим кабелям с разъемами MPO через панели для сопряжения MPO. В статической среде, где не требуется коммутация, в качестве варианта могут использоваться кабельные разветвители с коннекторами LC для подключения к магистральному кабелю с разъемами MPO через панель для сопряжения MPO.

Кассетные модули MPO/LC высокой плотности в коммутационных панелях/корпусах имеют до 72 портов LC или MPO на 1 RU (rack unit). На рис. 4 приведено описание готовых к использованию оптических элементов, упрощающих реализацию структурированной кабельной модели.

Рис. 4. Готовые к использованию волоконно-оптические элементы, упрощающие реализацию структурированной кабельной модели

Разветвители MPO-LC позволяют подключить трансиверы SFP+ в коммутаторе высокой плотности SAN Director (с разъемами LC) к волоконно-оптической магистрали, оснащенной коннекторами MPO.

Модульные кассеты и панели оптических адаптеров MPO поддерживают магистральные кабели с коннекторами MPO. Магистральный кабель заводится в заднюю часть такого компонента, а к его фронтальной части подключаются коммутационные шнуры LC или MPO. Модульная архитектура plug-and-play минимизирует общую стоимость инсталляции и обеспечивает максимальную масштабируемость.

Модульные кассетные распределительные системы поддерживают 72 порта LC (с двухволоконным дуплексом). Стойка/шкаф с такой системой может вмещать до 3024 портов LC. При построении решений столь высокой плотности необходимо обеспечить управляемость и минимизировать риск повреждения смежных (потенциально активных) цепей в областях активной коммутации путем выбора специально предназначенных для этого распределительных систем.

ТИПИЧНЫЕ КАБЕЛЬНЫЕ СИСТЕМЫ SAN В ЦОД

Каналы можно сгруппировать на верхнем уровне по количеству пар сопряженных разъемов. Соединения обычно осуществляются в коммутационных панелях или шкафах, которые могут иметь разное предназначение (консолидация, отображение портов, кроссировка), а панели бывают либо статическими (в точке консолидации кабеля под полом с небольшим числом MAC), либо динамическими (в кроссах, обеспечивающих выполнение операций MAC «каждый с каждым»). Чаще всего соединения Fibre Channel развертываются одним из трех способов:

1. точка-точка: прямое соединение между портами Fibre Channel с помощью волоконно-оптического кабеля без разъемных соединений в канале;
2. межсоединение: один постоянный кабельный сегмент, терминированный на каждом из концов на коммутационной панели, к которой с помощью соединительного кабеля подключаются трансиверы оборудования;
3. кроссировка: два сегмента постоянного кабеля (коммутационные панели на концах каждого), между которыми осуществляется кроссировка на центральном узле, и соединительные кабели для подключения трансиверов оборудования (см. рис. 3).

В структурированных кабельных системах используются оптические распределительные системы (коммутационные поля высокой плотности), с помощью которых соединяется постоянная инфраструктура (магистрали MPO), связывающая различные области размещения оборудования (Equipment Distribution Area, EDA) в ЦОД. Применение претерминированных систем MPO (в отличие от монтируемых на месте) при использовании кроссов позволяет быстро создать такую инфраструктуру, где порты устройства можно подключать к любому другому порту.

В условиях увеличения плотности сетевого оборудования порты SAN начинают исчисляться тысячами, и управление подключенными кабелями превращается в сложную задачу. Исторически подключение кабелей непосредственно к отдельным портам оборудования считалось приемлемым лишь в системах небольшого масштаба (при соединении точка-точка или межсоединении). Применение того же подхода к оборудованию с большим количеством портов резко повышает вероятность ошибок при выполнении операций MAC.

Fibre Channel может поддерживать различные кабельные конфигурации, но для устанавливаемых трансиверов нужно знать бюджет мощности, особенно если каналы отличаются от базовых каналов стандарта Fibre Channel-PI (две пары сопряженных оптических разъемов с затуханием 0,75 дБ на каждую).

В крупных ЦОД используют каналы с четырьмя кассетными модулями и магистральными кабелями MPO, которые связывают различные области размещения оборудования с MDA.

На рис. 3 показан канал с четырьмя кассетными модулями, в котором используются магистральные кабели, проложенные с каждой стороны кросса/MDA. Каждый магистральный кабель подключается к модульной оптической кассете, образуя канал, объединяющий четыре такие кассеты (общая величина вносимых потерь складывается из потерь, возникающих в этих соединениях).

Коммутационный шнур LC–LC в MDA соединяет отображаемые порты с внутренней стороны смежных магистральных кабелей. Шнуры LC–LC с каждой стороны линии подключаются к трансиверам в оборудовании. В таком сценарии используются два магистральных кабеля, два соединительных шнура LC–LC в EDA, один коммутационный шнур MDA LC–LC и четыре кассетных модуля LC. В альтернативной конфигурации один кассетный модуль LC заменяется (обычно это делается со стороны SAN Director высокой плотности) разветвителем MPO-LC и коммутационной панелью MPO. В такой конфигурации минимизированы потери IL в соединениях, поскольку одна пара сопряженных разъемов LC–LC исключается из канала (отсутствует коммутация LC в EDA SAN Director).

Канал с четырьмя кассетными модулями начинается на порту SFP+ устройства хранения (в нижнем левом углу рис. 3). Соединительный шнур LC–LC связывает устройство хранения с первой кассетой, которая, в свою очередь, подключается к магистрали MPO. Эту магистраль подключают к левой кассете в MDA, коммутационный шнур LC–LC связывает ее с противоположной кассетой, а в конечном итоге и с магистралью в правой части. Наконец, последняя подсоединяется к кассете в области коммутации, а правый соединительный шнур LC–LC — к порту SFP+ на коммутаторе.

Это пример типичного развертывания структурированной кабельной инфраструктуры с кроссом MDA.

ВЫБОР СОЕДИНЕНИЙ FIBRE CHANNEL

В предыдущем примере был показан способ построения канала с помощью кассет LC-MPO и магистральных кабелей MPO, но в общем случае для реализации структурированной кабельной модели можно использовать много различных компонентов. Магистральные кабели с разъемами LC, которые подключаются к задней части панели, оснащенной адаптерами LC и размещаемой в оптическом распределительном шкафу, позволяют обойтись без кассетных модулей и тем самым уменьшить общие потери IL в соединениях (четыре сопряженные пары разъемов MPO в этом случае исключаются). Проектные решения Fibre Channel допускают использование различных кабельных компонентов и архитектур в зависимос-ти от конкретных потребностей заказчиков.

Число соединений в канале ограничено. У продемонстрированной нами модели с четырьмя кассетными модулями потери IL будут высокими, и для соблюдения требований стандарта Fibre Channel-PI их необходимо уменьшить. В базовой модели стандарта Fibre Channel с двумя соединениями общее затухание IL не должно превышать 1,5 дБ (две сопряженные пары разъемов по 0,75 дБ в каждой), что достигается несколькими путями.

Первый и самый простой предусматривает использование модулей с низкими потерями, благодаря чему суммарное затухание IL в соединениях для конфигурации с четырьмя кассетами оказывается меньше 1,5 дБ (максимум по 0,375 дБ на каждую). Второй способ требует знания канальной модели и выбора компромиссных вариантов. Потери в соединениях могут и превышать 1,5 дБ за счет уменьшения затухания в волокне и снижения влияния ISI.

Очень важно уже на ранней стадии привлечь к проектированию специалистов по структурированным кабельным системам, что позволит лучше понять, какие ограничения присущи разрабатываемой модели соединений Fibre Channel.

ЗАКЛЮЧЕНИЕ

Решения Fibre Channel предусматривают использование доступных по цене трансиверов MMF и SFM для реализации высокоскоростных портов SAN как в небольших серверных, так и в гипермасштабируемых центрах обработки данных. В большинстве каналов Fibre Channel используются MMF с кроссами и центральными коммутационными узлами, расположенными в непосредственной близости от больших коммутаторов Fibre Channel директорского класса. В крупных системах с коммутаторами высокой плотности лучшим решением считается отображение портов коммутатора в кроссах.

Для реализации в кроссах гибкой связи «каждого с каждым» в канале используются несколько соединительных переходов. В представленном здесь сценарии с четырьмя кассетами потери IL в соединениях нивелируются за счет выбора волокна требуемой длины, что позволяет получить необходимый запас мощности.

При построении протяженных каналов внутри зданий или между ними используются длинноволновые трансиверы и одномодовые волокна. В общем случае применение решений SMF (для вариантов протяженностью 10 км) помогает увеличить доступный бюджет мощности, что дает возможность устанавливать кабельные системы с более высокими общими потерями.

Перспективные планы развития Fibre Channel предусматривают поддержку клиентских приложений SAN с дальнейшим ростом пропускной способности в геометрической прогрессии со знаменателем 2. Шестое поколение Fibre Channel обеспечивает передачу данных на скорости 128 Гбит/с по четырем передающим и четырем приемным линиям с пропускной способностью 32 Гбит/с каждая (с использованием параллельных оптических кабелей MPO).

Несмотря на отсутствие явного указания в стандарте Fibre Channel-PI-6P, разветвительные решения с пропускной способностью 32 Гбит/с уже поддерживаются поставщиками коммутационного оборудования Fibre Channel. Недорогие модули на базе SWDM (OM5 MMF), а также PSM4 и CWDM4 (SMF) будут разработаны также для 128 GFC и перспективных технологий Fibre Channel с пропускной способностью 256 Гбит/с и выше.

Виктор Александер, независимый эксперт по СКС