Ускорение SAN

Рост спроса на оборудование SAN стимулируется потребностью в развертывании высокоскоростных сетей хранения, способных обслуживать СХД на флеш-памяти и виртуальные среды.

Относительные доли ведущих вендоров на рынке FC SAN в III квартале 2014 года (по данным Infonetics Research)

По информации SNIA, в 2013 году был пройден важный рубеж: на мировой рынок поставлено 11 млн портов Fibre Channel (FC), затраты заказчиков на внедрение технологии FC превысили 11 млрд долларов, а емкость приобретенных ими систем хранения данных FC составила 11 млн Эбайт. Продажи сетевого обоcрудования для сетей хранения данных (SAN), включая коммутаторы Fibre Channel и адаптеры HBA (Host Bus Adapter), продолжают расти. По данным недавно опубликованного отчета Infonetics Research «SAN and Converged Data Center Network Equipment», в III квартале 2014 года они увеличились на 15% относительно того же периода предыдущего года и достигли 654 млн долларов, а по сравнению со II кварталом рост составил 10%.

Объем продаж конвергентных сетевых адаптеров (Converged Network Adapter, CNA) увеличился за последний квартал на 13%. Выросли и поставки адаптеров iSCSI. Как ожидается, в 2015 году начнется внедрение адаптеров CNA 25GbE. На рынке коммутаторов и адаптеров Fibre Channel лидирует Brocade (в прошлом году она передала свою технологию серверных HBA компании Qlogic), а в сегменте адаптеров CNA для ЦОД — Intel. На долю продукции Brocade приходится около 75% мирового рынка FC по количеству поставленных портов и примерно 50% по объему продаж в денежном исчислении.

ФАКТОРЫ РОСТА

В ближайшие три года, по прогнозу IDC, емкость систем хранения FC в мире будет составлять примерно 38% от общей емкости СХД разного типа, тогда как доля систем NAS — около 30%, при этом первым принадлежат ведущие места в тестах на производительность СХД. Как ожидается, спрос на продукты FC будет расти: по показателю емкости средние темпы роста поставок систем хранения данных Fibre Channel составят 36%. Что касается текущего года, то, согласно расчетам Infonetics, продажи сетевого оборудования FC вырастут почти на 10%.

По данным опроса Enterprise Strategy Group (ESG), 85% компаний планируют сохранить или увеличить инвестиции в Fibre Channel SAN. В качестве преимуществ этого протокола они отмечают высокую производительность и надежность. Согласно IDC, более 90% компаний из списка Fortune1000 используют в своих ЦОД Fibre Channel как стандарт де-факто. Выделенная сеть хранения SAN остается оптимальным вариантом для высокоскоростного доступа к данным, поскольку ее традиционный протокол Fibre Channel изначально рассчитан на быструю передачу больших блоков и низкие задержки. Важным фактором роста рынка SAN станет переход на оборудование нового поколения — Fibre Channel Gen 6 (32 Гбит/с).

По прогнозам, в 2015 году в подсистемах ввода-вывода СХД будут еще шире использоваться высокопроизводительные сетевые адаптеры Ethernet, а в 2016-м начнется переход на FC нового поколения. Этого требует и активное использование в СХД быстрой флеш-памяти и накопителей SSD — каналы взаимодействия между устройствами не должны становиться узким местом. Например, скорость передачи данных в сети 10GbE составляет около 1,25 Гбайт/с, или примерно 4,5 Тбайт/час. В то же время даже простой накопитель SSD позволяет читать данные со скоростью 500 Мбайт/с, что составляет почти половину номинальной пропускной способности сети 10GbE. Проблема не только в высокой скорости флеш-памяти, но и в увеличивающейся емкости дисковых накопителей (HDD), которая достигла 6 Тбайт на диск. Резервное копирование дисковых массивов становится сложной задачей.

Среди других драйверов роста потребности в портах SAN — виртуализация серверов, увеличение объемов хранимых данных (в среднем на 40% ежегодно), виртуализация ресурсов хранения и облачные сервисы. Сейчас в основном поддерживается пятое поколение FC со скоростями передачи данных 10 и 16 Гбит/с. Стратегия разработчиков в области FC направлена на снижение операционных затрат и увеличение времени бесперебойной работы, повышение производительности и надежности, на поддержку средствами FC внедрения SSD и SDDC. В 2016 году на рынке появятся коммутаторы FC и директоры шестого поколения, на основе таких решений уже разрабатывается архитектура ЦОД.

Прогноз IDC по росту емкости систем хранения (в мире), использующих разные технологии подключения к серверам. Как минимум до 2018 года FC SAN останется ключевой технологией хранения данных. Доля же FCoE изменится незначительно

НОВОЕ ПОКОЛЕНИЕ FIBRE CHANNEL

Проект стандарта шестого поколения FC Gen 6 на 32 Гбит/с одобрен FCIA год назад и уже не меняется, то есть достиг стабильного состояния. Кроме того, в прошлом году завершена работа над стандартом физического интерфейса нового поколения FC — FC-PI-6. Ратификация FCIA физического интерфейса FC-PI-6 (Gen 6 Fibre Channel Physical Interface) станет важной вехой на пути к практическому внедрению FC 32 Гбит/с и разработке соответствующих коммерческих продуктов. Как ожидается, в феврале 2015 года ANSI наконец опубликует стандарт FC Gen 6, после чего начнется развертывание решений Fibre Channel нового поколения для построения более масштабируемых, надежных и высокоскоростных сетей хранения данных. Массовый выпуск продуктов на базе FC Gen 6 ожидается в 2016 году.

На подходе стандарт Parallel FC 128 Гбит/с, в котором пропускная способность увеличена с 6400 до 25 600 Мбайт/с. Работа над ним должна завершиться через год после публикации FC Gen 6 (см. таблицу). Тогда же на рынок будут выпущены соответствующие продукты. Важно, что при этом сохраняется полная обратная совместимость с существующим оборудованием Fibre Channel.

Эволюция Fibre Channel (по информации SNIA)

В Parallel FC на 128 Гбит/с используются четыре оптических волокна для передачи данных в прямом направлении и четыре — в обратном. Какие кабели и соединители потребуются для FC на 128 Гбит/с? В качестве портов могут использоваться модули QSFP28, CFP2, CFP4 или какие-то будущие четырехканальные интерфейсы, а для подключения оборудования — 12-волоконные кабели с соединителями MPO, активные волоконно-оптические кабели (AOC) длиной до 50 м или кабели прямого подключения (DAC) до 5 м.

Наряду с поддержкой более высокой скорости передачи данных (32 Гбит/с) стандарт FC Gen 6 имеет следующие особенности:

• Коррекция ошибок Forward Error Correction (FEC) повышает надежность соединений благодаря автоматическому обнаружению и устранению битовых ошибок, которые могут приводить к деградации производительности и сбоям.
• Встроенные средства протокола повышают энергоэффективность (Energy Efficient Fibre Channel), поскольку при неактивном соединении оптические трансиверы переходят в пассивный режим (standby), причем каждую секунду это может происходить многократно. В результате, по оценкам SNIA, оптический канал потребляет на 40–60% меньше электроэнергии.
• Поддержка N-Port ID Virtualization (NPIV) упрощает развертывание серверной виртуализации и масштабирование фабрик SAN за счет устранения ограничений по числу коммутаторов FC и доменов. Благодаря NPIV упрощаются развертывание и миграция виртуальных серверов, так как управление глобальными именами WWN (Worldwide Name) переносится с уровня гипервизора на уровень протокола Fibre Channel.
• FC-SP-2 повышает уровень защищенности Fibre Channel в соответствии со спецификациями National Institute of Standards and Technology (NIST) Special Publication 800-131A. В нем применяется протокол аутентификации и управления ключами DH-CHAP.
• Поддержка оборудованием Inter-Switch Link (ISL) Trunking позволяет агрегировать четыре канала Fibre Channel по 32 Гбит/c в один канал 128 Гбит/с между серверами и СХД. Такими каналами могут быть четыре медножильных кабеля или четыре длины волны в волоконно-оптическом соединении. Сегодня это самый высокоскоростной способ обмена данными между серверами и системами хранения.
• Обеспечивается обратная совместимость с оборудованием FC на 8 и 16 Гбит/с (Gen 4 и 5).

В средах с высокой степенью виртуализации генерируется значительный трафик ввода-вывода. С переносом в виртуальную среду баз данных Oracle, Microsoft SQL Server, SAP и других ответственных приложений детерминированность и надежность Fibre Channel становятся незаменимыми качествами для высокопроизводительных сетей хранения, которые должны обеспечивать целостность данных и их стабильную, без потерь, передачу в соответствии с SLA. Как ожидается, новое поколение FC позволит создавать более производительные, надежные и масштабируемые среды хранения данных, отвечающие требованиям новых архитектур ЦОД, масштабной виртуализации и флеш-систем с рекордными показателями IOPS.

Fibre Channel позволяет создавать гибкие с точки зрения архитектуры решения. Планы по развитию этой технологии вселяют в инвесторов уверенность в том, что их вложения надежно защищены. Высокоскоростные SAN способны удовлетворить растущие требования серверов и систем хранения к производительности сетей. Иногда вендоры встраивают флеш-память непосредственно в серверы, но это дорогое и плохо масштабируемое решение. FC Gen 6 дает возможность применять традиционную архитектуру с общим хранилищем и эффективнее использовать ресурсы.

КАК ПОСТРОИТЬ SAN?

Как правильно построить сеть хранения данных вне зависимости от того, какое поколение FC в ней используется? В Brocade считают, что SAN должна соответствовать следующим принципам:

1. Резервирование на физическом уровне. Cдвоенная «фабрика» обеспечивает высокую доступность SAN. Серверы и СХД подключаются к двум коммутаторам с поддержкой многоканальной передачи (multipathing). Коммутаторы не соединяются между собой, что обеспечивает изоляцию отказов.
2. Правильная топология. Топология «каждый с каждым» (Full Mesh) в случае небольших фабрик (4–5 коммутаторов) позволяет получить максимальную производительность и доступность. В крупных SAN для масштабируемости используется топология «ядро-граница» (Core-Edge).
3. Агрегирование соединений (Trunking) обеспечивает устранение узких мест в фабрике и балансирование нагрузки на аппаратном уровне, что позволяет избежать многих проблем.
4. Использование функций Access Gateway. Этот упрощенный режим работы коммутатора FC предназначен для подключения большого количества серверов с невысокой нагрузкой. Он повышает масштабируемость и надежность SAN, облегчает управление и часто используется во встроенных коммутаторах FC в шасси модульных серверов. В режиме шлюза коммутатор SAN принимает данные от хост-систем и передает их на вышестоящие коммутаторы, реализующие высокоуровневые функции. Тем самым уменьшается количество доменов в фабрике (что положительно сказывается на скорости ее работы и стабильности), а также число администрируемых устройств. Вдобавок снимаются проблемы совместимости оборудования разных вендоров.
5. Маршрутизация FC повышает отказоустойчивость и облегчает управление и наращивание SAN. В территориально распределенных SAN рекомендуется не «растягивать» сети хранения между площадками, а использовать маршрутизацию FC и задействовать на каждой из них пару изолированных фабрик. В этом случае проблемы на одной площадке не будут распространяться на другую.

Для коммуникаций между площадками можно применять непосредственно протокол FC — «дальнобойные» трансиверы или решения WDM. В этом случае будет поддерживаться синхронная репликация данных между СХД. При больших расстояниях (до тысяч километров) подойдет протокол FCIP (фреймы FC инкапсулируются в IP). При этом задержка Round Trip не должна превышать 200 мс, а потери пакетов могут составлять не более 1%. Для таких коммуникаций выпускается специальное оборудование: маршрутизатор FCIP (FC over IP), например Brocade 7840 или 7800, модули для DCX, Cisco MDS 9000 SAN Extension over IP Package. С помощью FCIP (10 Гбит/с) реализуются асинхронная репликация и резервное копирование данных.

По данным Brocade, полученным в ходе тестирования, при расстоянии более 75 км лучше использовать не FC, а FCIP. Этот протокол позволяет применять и более эффективные алгоритмы сжатия данных. FC на 10 Гбит/c (версия FC Gen 5) обеспечивает коммуникации между площадками через WDM и позволяет использовать 10-гигабитные трансиверы.

Пример построения территориально распределенных систем высокой доступности с использованием нескольких площадок ЦОД. Для организации каналов связи между площадками применяются оборудование уплотнения (WDM) и выделенные фабрики для репликации данных

КОНВЕРГЕНЦИЯ SAN И LAN

Некоторые аналитики предполагают, что в 2015 году конвергентная инфраструктура, объединяющая SAN и LAN, станет в ЦОД стандартом, чему будет способствовать серверная виртуализация. Как считают в Cisco, конвергентные среды позволяют сэкономить деньги, упрощают управление, снижают потребности в охлаждении и электроэнергии, повышают гибкость и при этом обеспечивают низкие задержки, детерминированность и возможности управления сетями, свойственные FC.

С увеличением скорости Ethernet и совершенствованием протоколов для передачи данных СХД, включая Data Center Bridging (DCB) и Converged Enhanced Ethernet (CEE), удалось уменьшить задержки и снизить потери пакетов при пиковом трафике. Эти усовершенствования в LAN позволяют совмещать в одной сети трафик приложений и трафик СХД. Технология FCoE обеспечивает передачу данных FC по сети Ethernet на 10 Гбит/с и взаимодействие с существующими сетями FC SAN. В числе преимуществ — унификация сетевой инфраструктуры, более простое администрирование и снижение затрат.

Fibre Channel over Ethernet (FCoE) обеспечивает передачу трафика Fibre Channel по локальной сети Ethernet. Инкапсуляция фреймов FC в кадры Ethernet позволяет совмещать блочный трафик систем хранения с другим трафиком LAN. В результате упрощается сетевая инфраструктура ЦОД и снижаются издержки, поскольку не требуется обслуживать несколько сетей. Однако, как считают некоторые специалисты, независимо от того, какая технология используется, фабрика должна работать в выделенной сети хранения и ни о какой конвергенции с сетью передачи данных не может быть речи — риски перевешивают выигрыш в стоимости решения.

Другие эксперты уверены, что виртуальные серверы, работающие как с ресурсами хранения, так и с вычислительными ресурсами, приведут к отказу от традиционных сетей хранения. Адаптеры HBA в SAN будут заменяться на сетевые адаптеры HCA (Host Channel Adapter) или CNA, поддерживающие несколько протоколов в одном канале. Фактически это позволяет агрегировать каналы передачи данных и резко поднять производительность.

Исторически Ethernet опережает Fibre Channel по средствам диагностики и анализа проблем, однако продукты FC в исполнении Brocade предлагают ряд диагностических инструментов и других усовершенствований, устраняющих этот разрыв. Некоторые из них стали стандартными в текущей версии Fibre Channel, другие будут доступны в следующей.

Что выбрать — FCoE или Fibre Channel? Однозначного ответа нет. FC — проверенная технология, но если критична стоимость или Ethernet предпочтительнее с точки зрения стандартизации, то FCoE заслуживает рассмотрения. Еще один вариант — использование обеих технологий: FC для критически важных данных и приложений, а Ethernet для остальных. В крупных организациях рекомендуется придерживаться Fibre Channel. Наряду с выбором протокола важна архитектура — коммутирующая фабрика обеспечивает произвольное соединение портов, низкие задержки, отказоустойчивость и балансирование нагрузки. Fibre Channel уже давно обладает такими характеристиками, теперь их имеют и Ethernet-фабрики.

Для среды Ethernet ключевым является отказ от Spanning Tree в пользу протокола TRILL или Shortest Path Bridging, иначе свойственных коммутирующей фабрике характеристик получить не удастся. Фабрика предусматривает также взаимодействие между ЦОД и может быть распределенной — охватывать несколько площадок. Трафик FCoE между серверами и СХД проходит через коммутаторы, которые должны поддерживать DCB (как, например, Brocade VDX 6730, Dell MXL 10/40GbE, Cisco Nexus 5020, HP StorageWorks 2408 FCoE Converged Network Switch) и иметь порты 10GbE.

SAN крупного предприятия (по информации Brocade) с коммутацией (FC) и маршрутизацией (FCIP) трафика сети хранения данных между ЦОД (синхронная и асинхронная репликация). В основном и резервном ЦОД используются разные фабрики

Если на сервере установлены обычные сетевые карты (NIC), то инкапсуляция FC в Ethernet осуществляется программно. При интенсивном трафике это негативно сказывается на производительности NIC. Более высокое быстродействие обеспечат конвергентные адаптеры CNA со встроенной поддержкой инкапсуляции FCoE, например QLogic 8200 и 8300, Cisco UCS M71KR-Q, HP CN1000Q Dual Port Converged Network Adapter, Dell 1020 и др.

Некоторые новые дисковые массивы имеют порты FCoE. В их числе — NetApp FAS3170, EMC CX4-960 и VNX-F, Dell Compellent SC8000. Для соответствующего подключения к серверам унаследованных дисковых массивов используют коммутаторы с поддержкой FCoE. В этом случае с коммутаторами СХД соединяются по FC.

FCoE позволяет фабрике 10GbE обслуживать трафик сети хранения и локальной сети передачи данных

Еще один важный момент — тип кабелей, прокладываемых между серверами, коммутаторами и дисковыми массивами. Для трафика FCoE (10 Гбит/с) обычных кабелей Категории 6 недостаточно. Для нормальной работы потребуется более высокая категория или волоконно-оптические соединения. Для подключения серверов к коммутаторам ToR иногда применяют твинаксиальные кабели.

Внедрять FCoE можно поэтапно, по мере обновления оборудования. Обычно такая миграция начинается с замены серверных сетевых адаптеров на CNA. Адаптер CNA одновременно выполняет функции FC HBA и Ethernet NIC. Коммутаторы Ethernet заменяют на продукты с поддержкой DCB или FCoE. Это позволяет унаследованным серверам работать как с локальной сетью, так и с директором Fibre Channel, а новым серверам, поддерживающим FCoE, — с FC SAN.

В настоящее время три технологии – FC, NAS и iSCSI – используются каждая в своей собственно нише. Для решений NAS и iSCSI хорошо подходит технология Ethernet Fabric. Хотя основное назначение коммутаторов Ethernet Fabric – передача трафика Ethernet, некоторые модели поддерживают и трафик FCoE.

Более актуальная альтернатива FC SAN — iSCSI SAN. Достоинства и недостатки обоих вариантов рассматриваются в документе «SAN Basics. Fibre Channel vs. iSCSI», который желающие без труда найдут в Интернете.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.