Почему 400GbE, а не 1ТbE?

В апреле институт IEEE, отвечающий за стандартизацию Ethernet, сформировал исследовательскую группу по изучению перспектив реализации систем 400GbE — 400 Gigabit Ethernet Study Group. Таким образом, сделан очередной шаг по повышению предельной скорости передачи данных. Причем шаг этот нетипичен — до этого Ethernet взбирался по шкале скоростей «десятикратными» скачками: 10 Мбит/с ⇒ 100 Мбит/c ⇒ 1 Гбит/с ⇒ 10 Гбит/с ⇒ 40/100 Гбит/с. На этот раз решено увеличить скорость только в четыре раза — видимо, возраст все-таки сказывается, ведь в этом году Ethernet отмечает свой 40-летний юбилей.

Еще на предыдущей «итерации» сетевой отрасли пришлось пойти на некий компромисс, предложив в одном стандарте IEEE 802.3ba-2010 поддержку двух скоростей: 40 и 100 Гбит/с. Сделано это было по ряду причин, одна из них — обеспечение совместимости с оптическими транспортными сетями (OTN), используемыми для дальней связи (см. Рисунок 1). OTN являются дальнейшим развитием сетей синхронной цифровой иерархии (SDH), наращивание скорости которых происходило с мультипликатором четыре: 155 Мбит/с ⇒ 622 Мбит/с ⇒ 2,5 Гбит/с ⇒ 10 Гбит/с ⇒ 40 Гбит/с. В результате скорости Ethernet и SDH впервые совпали на отметке 10 Гбит/с. На уровне 40 Гбит/с это случилось вновь.

Рисунок 1. «Зоны ответственности» IEEE (Ethernet) и ITU-T (OTN).

Технология OTN, которую также именуют «цифровым упаковщиком», создавалась для того, чтобы эффективно передавать не только трафик TDM, но и потоки Ethernet. ITU-T определил четыре уровня OTN, скорости которых (2,5G, 10G, 40G и 100G) позволяли эффективно передавать как сигналы SDH, так и высокоскоростные потоки Ethernet (см. Рисунок 2). В июне 2010 года организации ITU-T и IEEE достигли важного соглашения о взаимной корреляции стандартов ITU-T G.709/OTN и IEEE 802.3ba-2010, которая гарантирует передачу сигналов Ethernet 40 и 100 Гбит/с через сети OTN. Для передачи потоков 40GbE могут применяться оптические транспортные блоки OTU-3 с номинальной скоростью 43 Гбит/с, а для потоков 100GbE — блоки OTU-4 со скоростью 112 Гбит/с (подробнее см. статью автора «После сорока» в мартовском номере «Журнала сетевых решений/LAN» за 2011 год).

Рисунок 2. Наращивание скоростей SDH, OTH и Ethernet.

Следующим шагом развития Ethernet уже точно станет увеличение скорости до 400 Гбит/с. Телекоммуникационная отрасль обещает «подстроиться», предложив для пятого уровня сетей OTN транспортные блоки со скоростью чуть больше 400 Гбит/с. Поскольку пакетный трафик становится доминирующим, именно сообщество Ethernet теперь определяет скорости систем связи, и на выбор в пользу 400G мнение «большого телекома» уже мало влияло. Почему же, несмотря на стремительный рост объемов сетевого трафика, IEEE не пошел на 10-кратное увеличение скорости систем Ethernet, то есть до 1 Тбит/с? Ответ прозаичен: важно не просто повысить скорость, но и обеспечить приемлемую стоимость решений, а вот добиться этого в случае терабитных скоростей в обозримой перспективе не представляется возможным.

ГОНКА ЗА СКОРОСТЬЮ

В июле 2012 года комитет IEEE 802.3 опубликовал основательное исследование перспектив роста трафика в сетях Ethernet — Industry Connections Ethernet Bandwidth Assessment. Его основные выводы таковы: к 2015 году потребность в пропускной способности сетей вырастет в 10 раз, а к 2020 году — в 20 раз по сравнению с 2010 годом. А это значит, что уже через пару лет технологии должны выйти на терабитный уровень, а через семь лет — на уровень 10 Тбит/с.

В эпицентре «цунами трафика» находятся центры обработки данных (ЦОД), причем трафик в них растет не только по традиционному направлению север — юг, то есть между установленными в них серверами и разбросанными по всему миру клиентами, но и по новому направлению запад — восток, и доля этого типа трафика становится все больше. Он связан с передачей данных между оборудованием внутри ЦОД в рамках обеспечения «жизнедеятельности» виртуализированных сред и построенных на их основе облаков.

Сегодня в ЦОД активно внедряются решения 10GbE и 40GbE. По данным Crehan Research, число поставленных серверных адаптеров с портами 10GbE, а также систем с интегрированными портами 10GbE в 2012 году превысило 7 млн и продолжает стремительно расти. Что же касается портов 40GbE, быстрый рост их популярности начнется только через пару лет (см. Рисунок 3).

Рисунок 3. Поставки серверных адаптеров с портами 10GbE и 40GbE, а также систем с интегрированными портами 10GbE и 40GbE.

Рост числа 10-гигабитных подключений серверов, естественно, требует более скоростных каналов для агрегации трафика. Однако 100-гигабитные решения пока не очень востребованы, в основном продаются коммутаторы с портами 40GbE (см. Рисунок 4). Причина — неприемлемо высокая цена портов 100GbE. И это очень важный урок, который учли эксперты при определении следующего скоростного уровня, сделав выбор в пользу 400G, а не 1T!

Рисунок 4. Поставки коммутаторов для ЦОД с портами 40GbE и 100GbE.

Так почему 100GbE оказался непозволительно дорог? Во многом это связано с высокой стоимостью, значительным энергопотреблением и большими размерами высокоскоростных трансиверов первого поколения CFP. В этой связи следует заметить, что разработчики первых систем 100GbE стремились максимально использовать существующую элементную базу, созданную для 10-гигабитных систем. Для достижения более высокой скорости было решено (и зафиксировано в стандарте IEEE 802.3ba-2010) перейти с последовательной на параллельную передачу сигнала по нескольким линиям (lane). При этом для получения требуемых 100 Гбит/с непосредственно в трансивере поддерживается 10 электрических потоков по 10 Гбит/с. Для передачи этих потоков «снаружи» могут применяться отдельные линии связи, как это реализовано в системах 100GBaseCR10 (подключение по медножильной проводке на расстояние до 7 м) или в системах 100GBaseSR10 (многоволоконная многомодовая оптика, дальность до 150 м).

В дальнобойных вариантах для одномодового волокна 100GBaseLR4 и 100GBaseER4 предусматривается мультиплексирование нескольких потоков. В соответствующих трансиверах CFP устанавливается специальный конвертер, преобразующий 10 входящих 10-гигабитных электрических потоков в четыре потока по 25 Гбит/с. Далее эти потоки «окрашиваются» с применением стандартной частотной сетки WDM и мультиплексируются для передачи по одному волокну (см. Рисунок 5).

Рисунок 5. Структура трансивера 100GBaseLR4 первого поколения.

Таким образом, высокие стоимость, энергопотребление и размеры трансивера обусловлены большим числом (десять) обрабатываемых электрических потоков. Неслучайно в отрасли были инициированы несколько новых проектов, направленных на снижение стоимости решений 100GbE, причем эти проекты ориентированы на использование электрических потоков 25 Гбит/с. Один из таких проектов ведет рабочая группа IEEE P802.3bj Task Force, разрабатывающая технологии 100 Gigabit Ethernet для объединительных панелей и медной проводки. В частности, более привлекательной альтернативой 100GBaseCR10 может стать технология 100GBaseCR4, в которой для достижения суммарной скорости 100G используется четыре потока 25 Гбит/с. Принять стандарт на эту технологию планируется в 2014 году.

Другая группа — IEEE P802.3bm Task Force — занимается развитием оптических решений. В частности, она работает над технологией для передачи 100 Гбит/с по четырем оптическим многомодовым волокнам и — с использованием четырехволнового спектрального уплотнения CWDM — по одному одномодовому волокну. В обоих случаях внутри трансивера используются электрические потоки по 25 Гбит/с. Спецификации IEEE P802.3bm Task Force должны быть опубликованы в 2015 году.

Как видим, изначальные спецификации на технологию 100 Gigabit Ethernet оказались далеко не самыми оптимальными, что привело к появлению новых проектов, нацеленных на создание решений 100GbE с лучшими характеристиками. Предусматриваемый ими переход от 10- к 25-гигабитным электрическим потокам позволит снизить стоимость, увеличить плотность портов и сократить энергопотребление.

Скорость 100 Гбит/с можно получить, объединив электрические потоки с различной скоростью — например, 10 по 10 Гбит/с (как это делается, скажем, в трансиверах CFP 100GBaseLR4 и 100GBaseER4), 5 по 20, 4 по 25, 2 по 50 Гбит/с либо используя один поток 100 Гбит/с. Как показала история со 100GbE, оптимальным по совокупности параметров, с учетом современного состояния микро- и оптоэлектроники, является использование 25-гигабитных оптических линий. Вопрос лишь в организации массового производства недорогих модулей на 25 Гбит/с.

Поток 400 Gigabit Ethernet тоже можно «сложить» различными способами. Вот некоторые наиболее обсуждаемые в отрасли варианты: 16 потоков по 25 Гбит/с, 8 по 50, 4 по 100 Гбит/с. Согласно указанным выше причинам, наиболее вероятным первым вариантом реализации 400GbE станут решения, оперирующие 16 потоками 25G, которые могут быть, например, мультиплексированы в режиме WDM для передачи по одному одномодовому волокну (см. Рисунок 6).

Рисунок 6. Один из вариантов реализации трансивера 400GbE.

Далее, по мере развития электроники и оптики, акценты, скорее всего, будут перенесены на решения, работающие с потоками 50 Гбит/с. Они будут реализованы в трансиверах второго поколения CDFP2. Ну а следующий шаг — оперирование 100-гигабитными электрическими потоками, что позволит еще более сократить размеры трансиверов (см. Рисунок 7).

Рисунок 7. Развитие трансиверов 400G.

Появится ли вариант 400GbE для медной проводки? Ответа на этот вопрос пока нет. Председатель исследовательской группы IEEE 802.3 400 Gb/s Ethernet Study Group Джон Д’Амброзия, который также имеет должность Ethernet-евангелиста в компании Dell, отмечает, что все большую роль в развитии «медного» Ethernet будут играть альтернативные алгоритмы кодирования, а также механизмы прямого исправления ошибок (FEC). Такой механизм в качестве опции добавлен в медножильный вариант технологии 100GbE — 100GBaseCR10 (см. также статью Ивана Энгельса «Быстрые сети стандарта 40GBaseT» в этом номере). Его использование может позволить в очередной раз продлить жизнь медной проводки, и появление варианта 400GbE для меди отнюдь не исключено.

Основной средой для 400GbE, очевидно, будет оптика. Вероятно, вначале появится короткодействующий вариант для многоволоконных многомодовых систем, который в случае принятия схемы 16×25 Гбит/с потребует использования групповых коннекторов на 32 волокна. Дальность передачи в этом варианте вряд ли превысит 100 м — по крайней мере, именно такова максимальная дальность систем 100GbE с поддержкой потоков 25 Гбит/с, разработкой которых занимается рабочая группа IEEE P802.3bm Task Force. Для одномодовых вариантов, скорее всего, будет задействовано 16-канальное спектральное мультиплексирование WDM, что позволит «уложить» поток 400G в одно волокно.

Не исключается и применение для 400GbE многоволоконных одномодовых решений, которые также сейчас рассматриваются группой IEEE P802.3bm Task Force. Как в свое время разработчики 40GbE и 100GbE старались максимально использовать наработки систем 10GbE, так и первопроходцы в области 400GbE на начальном этапе будут стремиться задействовать уже имеющуюся технологическую базу. В частности, вполне возможно применение готовых модулей 100GBaseLR4, из которых могут быть «составлены» системы 400GbE (см. Рисунок 8).

Рисунок 8. Один из вариантов реализации системы 400GbE при использовании многоволоконной одномодовой кабельной инфраструктуры.

Параллельные многоволоконные схемы уже успешно используются в многомодовых решениях. Как отмечает Скот Кипп, президент организации Ethernet Alliance и главный технический специалист компании Brocade, подобная схема может быть применена и для одномодовых систем. Для реализации показанной на Рисунке 7 системы на 400 Гбит/с потребуется использовать четыре пары одномодовых волокон. Такое решение может быть построено на базе существующей кабельной инфраструктуры с применением имеющихся модулей 100GbE, поэтому и затраты на его реализацию окажутся минимальными. Кроме того, как замечает руководитель Ethernet Alliance, при использовании такого решения можно при необходимости «разбивать» порт 400GbE в коммутаторе на четыре порта 100GbE, так же как сегодня модули 40G QSFP+ способны предоставлять четыре порта 10GbE.

Итак, работа над решениями 400GbE закипела. Появление стандартов обещано в 2016 году. Главное, что сетевая отрасль четко понимает, что важен не сам стандарт, а возможность его реализации в нужное время и по приемлемой стоимости. Кроме того, важно, что IEEE и ITU-U пришли к консенсусу относительно шага наращивания скорости — 4x. Если это так, то следующими после 400GbE станут системы 1,6 Тбит/с. Но об этом пока рано говорить. С практической точки зрения в области высокоскоростного Ethernet главная задача на ближайшие год-два — удешевить решения 100GbE, а также уменьшить их габариты и энергопотребление. От ее решения во многом будет зависеть и успех 400GbE, потому как продукты, обеспечивающие такую скорость, будут строиться на элементной базе систем 100GbE.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.