Трансформация ЦОД: сетевая инфраструктура

На специализированной секции «ИТ-инфраструктура» и пленарных заседаниях форума «Мир ЦОД – 2012» обсуждались среди прочего вопросы развития сетевых технологий для современного ЦОД и тенденции в данной области.

В числе основных мировых тенденций развития ИТ-инфраструктуры Дмитрий Бутмалай, начальник отдела сетевых решений IBS, выделяет существенное снижение стоимости единицы вычислительной мощности и единицы пропускной способности каналов связи, а также уменьшение энергопотребления оборудования (см. Рисунок 1).

Рисунок 1. Одна из мировых тенденций развития ИТ-инфраструктуры — существенное снижение стоимости единицы пропускной способности каналов связи. Ежегодный рост пропускной способности каналов связи составляет 46%.

Что движет эволюцией сети ЦОД, в чем причина возникновения новых требований? Как считает Александр Скороходов, системный инженерконсультант Cisco, многие из них связаны с виртуализацией и смежными дополнительными процессами на стороне вычислительных средств (до уровня процессоров), инженерных систем, кабельной инфраструктуры и т. д.

Рост объемов данных, увеличение числа все более разнообразных мобильных устройств, внедрение виртуализации, распространение модели облачных вычислений и сервисов приводят к необходимости глобальной трансформации сетевой инфраструктуры ЦОД.

Традиционное требование — повышение производительности. Например, новые модели сетевого оборудования поддерживают 40 и 100 Gigabit Ethernet, а новые подходы позволяют наращивать производительность не только каждого интерфейса, но и системы в целом благодаря ее масштабируемости.

В своих решениях Cisco реализует такие требования к сети ЦОД нового поколения, как повышение производительности соединений с серверами и магистрали (10 Gigabit Ethernet, 40/100GbE, протоколы TRILL/ FabricPath), консолидация ввода/вывода серверов (FCoE/DCB, Adapter-FEX), более простая и «плоская» архитектура сети ЦОД без опоры на протокол STP (Virtual Portchannel, FEX, TRILL/ FabricPath), сетевая поддержка виртуализации (виртуальные коммутаторы Nexus 1000V, технология VM-FEX) и надежная производительная связь между ЦОД (протоколы OTV, LISP).

КОНСОЛИДАЦИЯ ВВОДА/ВЫВОДА И КОНВЕРГЕНЦИЯ СЕТЕЙ

«Традиционная проблема ЦОД — поддержание нескольких параллельных транспортных инфраструктур, LAN и SAN. Виртуализация делает ее особенно актуальной, поскольку внедрение виртуализации предполагает предоставление доступа к разделяемой среде хранения данных, а масштабы сети хранения существенно возрастают», — поясняет Александр Скороходов.

Многообразие сетевых протоколов (Ethernet, Fibre Channel, InfiniBand) и многочисленность сетевых соединений мешают эффективно строить ЦОД, подчеркивает Николай Местер, директор Intel в России по развитию корпоративных проектов. По прогнозам, унифицированная сеть на базе решений 10GbE позволит в среднем на 15% сократить инфраструктурные расходы и вдвое увеличить пропускную способность соединений с серверами, снизить энергопотребление на стойку за счет уменьшения числа коммутаторов и избавиться от 80% кабелей и портов маршрутизаторов.

«Консолидация ввода/вывода серверов и объединенный транспорт FCoE/ IEEE DCB позволили бы свести к минимуму количество кабелей и интерфейсов, сетевых устройств и уровней управления. В настоящее время эта задача наиболее эффективно решается средствами FCoE и Data Center Bridging (DCB), — считает Александр Скороходов. — Cisco поставляет такие решения уже около четырех лет, и их второе поколение входит в состав как интегрированной вычислительной системы Cisco UCS, так и внешних коммутаторов».

Наиболее распространенный подход — консолидация уровня доступа (серверы подключаются к единому уровню доступа). Этот шаг помогает добиться существенной экономии и преемственности при сохранении существующего ядра сетей Ethernet и Fibre Channel (см. Рисунок 2), при этом можно использовать устройства с конвергентными и неконвергентными подключениями. Более «продвинутым» заказчикам Cisco предлагает решения, позволяющие реализовать конвергенцию следующего уровня, то есть расширить консолидацию ввода/вывода (на базе FCoE) на магистраль, обеспечить поддержку систем хранения с подключением по DCB/FCoE и разделение фабрик SAN для отказоустойчивости. В результате можно построить единый конвергентный путь от сервера по сетевому транспорту до дискового массива.

Рисунок 2. Консолидация сетевых соединений на уровне доступа.

Cisco сфокусировалась на трех направлениях (см. Рисунок 3). Unified Fabric позволит использовать единую сетевую среду для трафика сетей передачи данных, сетей хранения и управляющего трафика. Модульная унифицированная вычислительная архитектура способствует переходу к управлению пулом виртуальных ресурсов. Развитие средств автоматизации управления инфраструктурой предусматривает сотрудничество Cisco с Microsoft, EMC и VMware.

Рисунок 3. Подход Cisco к архитектуре ЦОД.

Реализуя концепцию Unified Fabric, Cisco с 2008 года продвигает семейство коммутаторов Nexus — от виртуального коммутатора Nexus 1000v до моделей уровня доступа и ядра сети Nexus серии 2000, 5000 и 7000. Фактически компания сформировала рынок конвергентных коммутаторов и лидирует на нем с долей более 80%. Как утверждает Олег Коверзнев, руководитель направления Cisco Systems, в отличие от точечных решений конкурентов, это комплексное решение и оно не является закрытым, так как создаваемые Cisco технологии через год-два становятся стандартом отрасли».

Унификация и конвергенция используются в вычислительной системе Cisco UCS (Unified Computing System). Сетевые контроллеры (fabric interconnect ), установленные в этой платформе, обеспечивают управление конвергентной сетью и единым пулом логических вычислительных ресурсов, в том числе в масштабе нескольких шасси UCS. Фабрика (Unified Fabric) в UCS — это управление, сетевой доступ, абстрагирование ресурсов при помощи сервисных профилей, сквозная виртуализация сети. Абстрагирование ресурсов (сетевых, вычислительных, ресурсов хранения) позволяет управлять ими без привязки к конкретному физическому оборудованию. В России Cisco UCS используется в ряде крупных банков и в некоторых министерствах.

Совместно с EMC компания Cisco предлагает готовый инфраструктурный пакет vBlock, объединяющий серверы, СХД, средства управления и виртуализации. По данным Cisco, благодаря таким комплексам цикл внедрения сервиса сокращается до нескольких минут (раньше срок исчислялся днями), время инсталляции системы уменьшается на 30%, а совокупная стоимость в расчете на ВМ — на 40%. Немаловажно, что подобные интегрированные платформы, предлагаемые сейчас 5–6 вендорами, упрощают выявление и устранение проблем в среде виртуализации.

Они могут стать предпочтительным выбором, когда требуется обеспечить низкую совокупную стоимость инфраструктуры, возможность эффективной конвергенции сетевой подсистемы, а также переход от управления серверами к управлению пулом вычислительных ресурсов и к облачной модели.

Бытует мнение, что конвергенция сетей на базе FCoE пока очень слабо распространена и за рубежом, и в России, а ее экономические преимущества не столь значительны, как об этом говорят вендоры, однако, по словам Олега Коверзнева, в нашей стране такую сетевую инфраструктуру развернули уже десятки заказчиков.

«Унификация и конвергенция — два важных подхода к построению Коверзнев. — Унификация помогает устранить излишнее многообразие систем, а конвергенция — объединить то, что можно объединить. Прежде чем думать об облаках, некоторым компаниям следует закончить модернизацию своего ЦОД, и важными этапами на этом пути являются как раз унификация и конвергенция».

Между тем технологию FC еще рано списывать со счетов — сейчас она находится в зените своего развития. Массовый переход на FCoE может начаться лишь через 5–10 лет, вслед за расширением сегмента конвергентных систем. Преимущество FCoE — в меньшем количестве соединений между оборудованием, однако коммутатор Ethernet должен поддерживать функциональность FCoE, при этом возможны проблемы совместимости (например, если система резервного копирования подключается только по FC), рассказывает Дмитрий Бутмалай. В числе достоинств FC он отмечает гарантированную работоспособность, однако при таком способе подключения СХД нужен коммутатор FC, а количество физических соединений увеличивается. Если СХД подключается по IP (iSCSI, NFS, CIFS), задача резервного копирования упрощается, но при этом следует позаботиться о том, как загрузить ОС (гипервизор) в модульный сервер, обеспечить подключение не IP-устройств и добиться нужной производительности системы хранения.

ВИРТУАЛИЗАЦИЯ И СЕТЕВАЯ АРХИТЕКТУРА

Выбор сетевой инфраструктуры заставляет взвешивать разные варианты построения сети в ЦОД. Так, стоечные коммутаторы (ToR) обладают следующими преимуществами: малое количество кабельных соединений, лучшее охлаждение, более гибкая архитектура, все соединения оптические (40/100 GbE), более низкая стоимость. Однако применение этой схемы предполагает наличие большего числа управляемых устройств.

Рисунок 4. Унифицированная сетевая инфраструктура (по данным IBS).

Если оснащать коммутаторами ряды стоек (EoR), упрощается резервирование, управление и эксплуатация, но увеличивается количество кабельных соединений. Унификация сетевой инфраструктуры (см. Рисунок 4) минимизирует количество точек управления и парк используемого оборудования, упрощает кабельную инфраструктуру и делает эксплуатацию (управление, добавление новых стоек, изменение конфигураций) более удобной.

При размещении серверов отдельно от СХД обслуживать оборудование становится намного проще. Такой вариант подходит при использовании «больших» систем хранения данных, но требования к инфраструктуре электропитания и охлаждения повышаются, особенно в случае модульных серверов. Размещение серверов в стойках вместе с СХД способствует более равномерному распределению электропитания и охлаждения по стойкам.

Использование традиционного протокола Spanning Tree (STP) при виртуализации ведет к потере производительности и блокированию альтернативных путей, к тому же для этого протокола характерны проблемы сходимости и стабильности, указывает Александр Скороходов. Эволюция сетей предполагает использование протокола Virtual Port Channel (vPC), позволяющего отказаться от STP при сохранении общей сетевой топологии.

vPC позволяет при этом совершенно изменить логику, а именно, отказаться от блокирования соединений и использования Spanning Tree, переведя все коммутационные устройства и пути в активный режим, и тем самым получить более высокую производительность, отказоустойчивость и стабильность. Все больше заказчиков идут дальше — переходят к принципиально новой архитектуре сети, где трафик распределяется сразу по многим путям.

Применяя маршрутизацию на втором уровне (Layer 2 Multipathing), трафик и нагрузку можно распределить между многими сетевыми устройствами. Это позволяет перейти от традиционной логики сетей с коммутацией на втором уровне, с выучиванием MAC-адресов на головных устройствах, к технологиям маршрутизации, которые дают возможность эффективно распределять трафик по параллельным путям с одинаковой стоимостью и горизонтально масштабировать производительность, наращивая число головных устройств.

Например, старшие модели оборудования Cisco Nexus с технологией «маршрутизации на втором уровне» FabricPath позволяют создавать сетевые инфраструктуры с 16 активными (альтернативными) путями и общей производительностью до 240 Тбит/с, что отвечает самым высоким требованиям, предъявляемым к системам ЦОД при решении сложных задач (см. Рисунок 5). Впрочем, FabricPath (развитие возможностей разрабатываемого IETF протокола TRILL) вполне можно использовать и в менее масштабных инсталляциях для перехода от архитектуры с STP к более современным сетевым архитектурам (см. Рисунок 6). В результате удается существенно повысить производительность и надежность, уменьшить число устройств, снизить задержки в сети, упростить эксплуатацию и настройку и, таким образом, получить более эффективное решение, считают в Cisco.

Рисунок 5. Развитие архитектуры сети с использованием коммутаторов Cisco Nexus.

Рисунок 6. Использование Cisco FabricPath вместо архитектуры с протоколом STP.

ПОДДЕРЖКА МИГРАЦИИ ВИРТУАЛЬНЫХ МАШИН

Технологии виртуализации поддерживаются на аппаратном уровне процессорами, наборами микросхем и компонентами интерконнекта, рассказывает Николай Местер. Intel предлагает для этого технологии VT-x, VT-d и VT-c. Первая повышает производительность, обеспечивает ускоренную обработку прерываний, гибкость миграции ВМ без приостановки обслуживания, вторая увеличивает производительность ввода/вывода за счет прямого выделения ресурсов и служит для защиты памяти, третья более чем вдвое повышает пропускную способность на 10GbE и разгружает подсистему ввода/вывода от рутинных задач. В результате ВМ эффективнее взаимодействуют с «внешним миром», «накладные расходы» на виртуализацию снижаются, а сама виртуализация распространяется на более широкий класс приложений. Эти технологии используют разработчики приложений и системного ПО.

Кроме того, в ЦОД приходится решать задачу поддержки трафика виртуальных машин. В виртуальной среде жесткая связь между сетевым портом и виртуальным сервером отсутствует: с помощью VMware vMotion ВМ можно переместить на другой физический сервер, но сеть «не видит» локально коммутируемый трафик и не может ни применить к нему политику, которая должна следовать за ВМ, ни выделить на порту трафик конкретной ВМ.

В результате возникают проблемы при диагностике, обеспечении безопасности, разграничении ответственности при администрировании сетей и серверов, поясняет Александр Скороходов. Поэтому вендоры активно работают над сетевой поддержкой виртуализации. В последние годы появился целый ряд решений, распространяющих функции диагностики, администрирования и т. д. на виртуальные серверы. Сетевая поддержка виртуализации позволяет предоставить общие сетевые сервисы для физических коммутаторов и ВМ, а также обеспечить скоординированное с ВМ управление.

Cisco предлагает в этой области два подхода, которые, возможно, со временем будут объединены. Первый известен более трех лет и заключается в использовании виртуального распределенного программного коммутатора Cisco Nexus 1000V, первоначально разработанного для среды VMware ESX. Это полноценный коммутатор Cisco со всеми ключевыми функциями.

Его основные возможности — управление ВМ в соответствии с принятыми правилами, поддержка функций безопасности, NetFlow, ERSPAN, Multicast, EtherChannel, мобильность настроек сети, безопасности и мониторинга. Виртуальный коммутатор Nexus 1000V не требует изменения эксплуатационной модели, обеспечивает сохранение политик и связь с сетью при использовании vMotion. Необходимые правила и настройки можно применять на уровне виртуальной машины; в случае «переезда» ВМ они перемещаются вместе с ней.

Cisco намерена обеспечивать поддержку разных сред виртуализации, востребованных заказчиками. В конце прошлого года были анонсированы планы выпуска Cisco Nexus 1000V для нового поколения среды виртуализации Microsoft (Hyper-V 3.0).

Интересный подход, позволяющий увязать и объединить разные уровни подключений в ЦОД, предлагается и на стороне сетевого оборудования. Он представляет собой развитие технологии интерфейсных карт Fabric Extender (FEX). Тот же принцип выноса интерфейсов при сохранении логически цельного устройства применяется к сетевым адаптерам серверов, на которых реализовано несколько логических адаптеров. Внутри ОС или гипервизора они видны как отдельные устройства ввода/вывода, но физически подключаются одним и тем же кабелем и на стороне головного устройства интерпретируются как его порты.

Ту же технологию можно расширить до уровня виртуальной машины. В этом случае подключения ВМ воспринимаются как порты на головной системе. В едином файле конфигурации на головном устройстве перечисляются его собственные порты, порты выносных карт Fabric Extender, порты логических адаптеров внутри сервера и порты подключений ВМ. Все они составляют единый набор портов коммутатора. Тем самым консолидируются виртуальная и физическая сети, унифицируются коммутация и управление для физических и логических подключений. Каждая ВМ получает порт на распределенном коммутаторе. Как это нередко бывает, данная технология, разработанная Cisco, стала основой нового отраслевого стандарта IEEE 802.1BR.

РАСПРЕДЕЛЕННЫЕ ЦОД

При построении распределенных ЦОД, включающих несколько площадок, часто требуется создавать растянутые подсети для задач кластеризации, миграции ВМ и т. д. При этом можно использовать разные технологии. Александр Скороходов выделил две из них: Cisco Overlay Transport Virtualization (OTV) и Locator-ID Separation Protocol (LISP). Первая была разработана именно для соединения ЦОД и позволяет связывать площадки на втором уровне, то есть организовывать VLAN между центрами данных. Она работает поверх любого транспорта (IP, MPLS, темная оптика), обеспечивает отказоустойчивость и поддержку нескольких площадок и отличается простотой настройки. Ее дополняет архитектура LISP, при помощи которой трафик от клиента к серверу или сервису направляется по кратчайшему пути и поддерживает мобильность ВМ.

По словам Сергея Воинцева, технического консультанта EMC в России, если VMware vSphere и Microsoft Hyper-V обеспечивают серверную виртуализацию, то на уровне систем хранения это может делать EMC VPLEX. Работая как промежуточное звено между серверами и СХД, VPLEX имитирует серверы для систем хранения и СХД для серверов.

Вся емкость разнородных СХД становится виртуальным томом и раздается хост-системам. Миграция данных, добавление массивов в пул или их удаление никак не сказываются на работе приложений.

Физически виртуальный том может находиться даже на разных площадках (основной и резервной), то есть быть распределенным, причем в обоих ЦОД серверы продолжают полноценно работать с данными. Это позволяет использовать весь функционал vMotion: ВМ можно перемещать между площадками без прерывания выполнения задачи, так что пользователи ничего не заметят. Данная возможность удобна для балансирования нагрузки, оптимизации использования ресурсов, обеспечения непрерывности бизнеса, проведения профилактических работ в ЦОД.

EMC RecoverPoint, программноаппаратный комплекс в SAN для локальной и удаленной репликации данных, обеспечивает гранулярное восстановление по журналу и может копировать данные между дисковыми массивами разных вендоров. Он позволяет задавать и измерять RPO (допустимый уровень потерь данных в случае прерывания операций), а его установка между ЦОД заказчика и провайдером дает возможность развертывать услуги нового типа — «непрерывность бизнеса как сервис».

Как считает Дмитрий Литовчин, технический руководитель по работе с нефтегазовыми заказчиками EMC в России, трансформация ЦОД уже происходит, причем затрагивает она не только ИТ, но и бизнес-процессы, а также людей, отвечающих за управление инфраструктурой, и потребителей ИТ. Изменения неизбежно носят комплексный характер.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.