ЦОД с потенциалом автоматизации

Когда около десяти лет назад на рынке появились первые модульные серверы, их основная задача заключалась в том, чтобы уместить максимальную производительность в как можно меньшем объеме. С тех пор производители развивали свои блейд-системы в разных направлениях. Максимально большое количество серверов в стойке теперь является лишь одной из множества возможных конфигураций. Так, к примеру, эти системы могут оснащаться модулями с четырьмя процессорными сокетами или модулями хранения, чем достигается высокая гибкость.

Дополнительные очки модульным решениям приносят высокопроизводительные инструменты администрирования, с помощью которых за короткое время можно предоставить пользователям множество серверов. При этом важную роль играет виртуализация подключений по локальной сети и сети хранения данных, позволяющая отделить серверное аппаратное обеспечение от физической инфраструктуры LAN и SAN. К примеру, при замене сетевой платы (NIC), адаптера HBA или целого модульного сервера программа управления автоматически присвоит серверу прежние адреса MAC, WWN или iSCSI при последующей загрузке.

РАЗЛИЧНЫЕ КОНЦЕПЦИИ СЕТЕВЫХ ПОДКЛЮЧЕНИЙ

Большинство производителей придерживаются традиционного подхода в отношении организации сетевого подключения модульных серверов к инфраструктуре LAN и SAN и оснащают каждое шасси избыточными коммутаторами Ethernet и SAN. В результате, по сравнению с серверными стойками, полностью заполненными серверами высотой 1U, существенно уменьшается число кабельных соединений, поскольку отдельные модульные серверы напрямую подключаются к коммутаторам через соединительную плату (Midplane) шасси.

С помощью коммутаторов Fibre Channel over Ethernet (FCoE) количество проводов можно сократить еще вдвое, поскольку передача трафика FC и Ethernet (NAS и iSCSI) осуществляется по одному и тому же кабелю, а значит, для всех протоколов потребуется только один вид коммутаторов. В этом случае модульные серверы должны оснащаться конвергентными сетевыми адаптерами (Converged Network Adapter, CNA), поддерживающими все протоколы. При особенно высоких требованиях к скорости передачи данных и допустимым задержкам (Latency) применяются коммутаторы InfiniBand. Все производители традиционных модульных шасси имеют в своих продуктовых портфелях различные коммутационные модули для всех перечисленных сетевых топологий.

Рисунок 1. В системе Unified Computing System  шасси с блейдами связывают модули Fabric Extender, оснащенные многопротокольными коммутаторами Nexus.

Другим путем пошла компания Cisco. В ее решении Unified Computing System (UCS) используется концепция унифицированной сетевой матрицы (Unified Fabric), знакомая по коммутаторам Cisco Nexus, — в соответствии с ней передача всех значимых протоколов осуществляется через соединения Ethernet. На обратной стороне каждого шасси имеются один или два модуля Fabric Extender (FEX), к которым напрямую подсоединяются модульные серверы (см. Рисунок 1). Со стороны сети модули FEX подключены к так называемым связующим коммутаторам (Fabric Interconnect, FI) на базе устройств Nexus 5000.

При традиционном подходе к оснащению шасси общая пропускная способность системы ввода-вывода масштабируется до более высоких значений, чем в решении с модулями Fabric Extender, поскольку одно шасси способно вместить до десяти коммутирующих модулей (конкретное число зависит от выбора вендора). У Cisco их количество ограничено двумя модулями FEX на одно шасси. Однако на практике эта разница будет заметна лишь в тех задачах, где требуются высокопроизводительные вычисления (High-Performance Computing), поскольку рассматриваемое решение способно обеспечить очень высокую скорость передачи данных. Шасси UCS c двумя восьмипортовыми модулями FEX предоставляет четырем или восьми подключенным к нему модульным серверам суммарную пропускную способность в 160 Гбит/с.

Еще один аргумент против сделанного Cisco выбора архитектуры связан со смещением трафика с направления север – юг в сторону восток – запад. В первом случае имеется в виду традиционный трафик данных между клиентами и серверами, когда внешние клиенты получают доступ к серверам, расположенным в ЦОД, а во втором — коммуникация между серверами внутри ЦОД, роль которой особенно возросла в результате виртуализации серверов. В системах UCS данные, которыми обмениваются серверы, подключенные к одному шасси или находящиеся в одной стойке, вначале направляются на коммутатор FI в сети, а затем возвращаются обратно, в то время как шасси с интегрированными коммутаторами способно самостоятельно коммутировать локальный трафик между серверами одного шасси либо — в режиме стека — между серверами, расположенными на разных шасси, не загружая при этом внешнюю сеть.

ШАССИ И СЕРВЕРНОЕ АППАРАТНОЕ ОБЕСПЕЧЕНИЕ

Конструкции модульного шасси у большинства систем схожи. У Cisco корпус UCS вследствие особенностей реализации сетевого подключения устроен достаточно просто и содержит, помимо самих модулей серверов, до двух модулей Fabric Extender, вентиляторы и блоки питания. Другие производители могут, в зависимости от требований клиентов, интегрировать в одно шасси до десяти коммутаторов Ethernet, FC или FCoE/DCB (Data Center Bridging, DCB). Соединительная плата сопрягает модули ввода-вывода с модульными серверами.

Шасси UCS-5100 высотой в шесть монтажных единиц предоставляет место для установки восьми модульных серверов половинной ширины или четырех — полной. Модульные системы BX900 (производства Fujitsu), M1000e (Dell) и C7000 (HP) размещаются в корпусах высотой в десять монтажных единиц. Высокопроизводительная система BladeCenter H компании IBM занимает в стойке 9 монтажных единиц. Этот вендор в прошлом году представил новое поколение модульных систем PureSystems, которые можно приобрести и в виде инфраструктурного блока под названием PureFlex. Кроме того, IBM предлагает интегрированное решение PureApplication, содержащее все компьютерные компоненты, включая ресурсы хранения данных, и готовое прикладное программное обеспечение, к примеру для бизнес-аналитики, — все в одном блоке.

В корпусах, выпускаемых Dell и HP, можно устанавливать восемь модульных серверов полной, 16 серверов половинной или 32 сервера четвертной ширины. Правда, при установке 32 блейдов на один сервер будет приходиться вдвое меньшая пропускная способность систем ввода-вывода, чем при использовании 16 блейдов. Система BX900 от Fujitsu позволяет разместить до 18 модульных серверов половинной ширины или девять полноформатных модулей. IBM предлагает для своего Bladecenter H только серверные модули, занимающие целую монтажную единицу. Одно шасси вмещает до 14 серверов. Все производители допускают комбинацию различных типов модульных серверов на одном шасси, а некоторые предлагают урезанную версию шасси для небольших предприятий или филиалов.

Модульные серверы выпускаются в различных вариантах аппаратного оснащения, начиная с недорогих односокетных и двухсокетных до блейд-серверов с четырьмя процессорами. Dell и HP предлагают модульные серверы с процессорами Intel или AMD, Cisco и Fujitsu отдали предпочтение Intel, а IBM, помимо процессоров Intel, поддерживает еще и собственные процессоры Power7, благодаря чему модульные серверы этого производителя могут работать под управлением операционных систем IBM AIX и iSeries.

МАСШТАБИРУЕМЫЕ ПРОЦЕССОРЫ И ОПЕРАТИВНАЯ ПАМЯТЬ

Максимально поддерживаемый объем оперативной памяти варьируется от 640 Гбайт до 1,5 Тбайт. Четырехсокетный блейд B420 M3 от Cisco может оснащаться 48 модулями DIMM, что в совокупности дает 1,5 Тбайт. В четырехсокетном модульном сервере M820 производства Dell оперативная память тоже достигает 1,5 Тбайт. Производительные модульные серверы компании HP оснащаются двумя или четырьмя процессорами и имеют 32 разъема для модулей DIMM, что позволяет расширить оперативную память до 1 Тбайт. Серверный модуль HX5 для IBM BladeCenter также предлагается в вариантах с двумя или четырьмя сокетами, а модуль расширения позволяет увеличить его оперативную память до 640 Гбайт. Выпускаемые этим же вендором системы PureApplication при комбинировании нескольких модульных серверов могут предоставить оперативную память емкостью от 1,5 до 9,7 Тбайт. В сегменте высокопроизводительных модульных серверов Fujitsu фокусируется на двухпроцессорных системах, в которых RAM может быть расширена до 768 Гбайт.

Максимальная пропускная способность систем ввода-вывода для каждого отдельного модульного сервера определяется конструкцией внутренней магистрали шасси (Backplane), количеством и пропускной способностью модулей ввода-вывода, установленными на сервере картами ввода-вывода, а также числом серверов, размещаемых на одном шасси. Между различными модульными системами существуют небольшие различия в значениях максимальной пропускной способности, но они будут заметны лишь в случае высокопроизводительных вычислений.

С точки зрения оснащения жесткими дисками модульные серверы всех производителей сопоставимы друг с другом. На блейдах устанавливаются два или больше локальных жестких дисков наиболее распространенных типов (SAS, SATA или SSD), поддерживающих функцию горячей замены (Hot Swap). Начальная загрузка модульных серверов может выполняться прямо из сети хранения, так что особой необходимости в локальных жестких дисках нет.

Для модульных систем характерна очень высокая плотность энерговыделения на одну монтажную единицу в стойке, поэтому, чтобы обеспечить контролируемый отвод выделяемого тепла, необходимо тщательно продумать организацию системы вентиляции и охлаждения. В пределах самого шасси решению этой задачи способствуют, среди прочего, заглушки, которые автоматически закрываются при удалении компонентов из системы. Это позволяет оптимизировать поток охлаждающего воздуха в шасси. Для климатизации нескольких шасси в одной стойке могут потребоваться специальные меры, к примеру шкафы с водяным охлаждением.

ИНТЕГРАЦИЯ СИСТЕМ ХРАНЕНИЯ

Модульные системы можно подключать к любым системам хранения данных. Поскольку в портфелях решений компаний Dell, Fujitsu, HP и IBM представлены собственные системы хранения, нет ничего удивительного в том, что эти производители интегрируют их в свои шасси. Различаются два подхода. В первом случае предлагаются модули хранения (Storage Blade), которые вставляются непосредственно в шасси. Во втором — интеграция осуществляется на программном уровне, и в результате специальный инструмент для управления развертыванием систем (Deployment Tool) при инсталляции новых серверов автоматически создает логические устройства (Logical Unit Number, LUN) на системах хранения данных и назначает их соответствующим серверам.

Рисунок 2. PowerEdge M1000e от Dell — это корзина для модульных серверов, куда можно устанавливать не только серверные модули, но и модули хранения iSCSI Equallogic.

Модуль хранения Dell EqualLogic PSM4110 способен вместить до 14 жестких дисков формата 2,5″, причем речь идет о полноценной системе iSCSI. В одном шасси могут функционировать до четырех модулей EqualLogic (см.Рисунок 2).

HP тоже предусматривает возможность интеграции модульных систем с собственными решениями для хранения данных. Помимо модуля с дисками SAS, который назначается соседнему блейд-серверу, предлагается отдельное шасси, куда устанавливаются модули хранения P4800, подключаемые через интерфейс iSCSI и способные предоставить до 42 Тбайт для хранения данных. У IBM ее классическое решение BladeCenter подключается к внешним системам хранения данных. Между тем новое шасси PureFlex интегрирует систему хранения IBM V7000 и позволяет за счет этого улучшить автоматизированную процедуру предоставления серверов в части взаимодействия с ресурсами хранения. Программное обеспечение V7000 обеспечивает виртуализацию систем хранения других производителей и включение их в систему управления IBM.

Fujitsu предлагает для шасси BX900 несколько модулей хранения. Модуль SX940 содержит до четырех дисков и назначается соседнему серверному модулю. Модули хранения SX960 и SX980 вмещают до десяти дисков. Система SX960 в комбинации с виртуальным устройством NetApp Ontap может применяться и в качестве совместно используемого хранилища (Shared Storage), к примеру для серверных кластеров. Кроме того, в портфеле компании Fujitsu имеются сертифицированные готовые решения под названием Dynamic Infrastructure Blocks, которые состоят из шасси BX900 и систем хранения данных Eternus и предлагаются в трех модификациях.

У Cisco нет собственных систем хранения, но она предлагает стоечный сервер UCS, который можно оснастить большим количеством жестких дисков. При реализации крупных инсталляций Cisco сотрудничает с EMC и Netapp и предлагает теперь так называемые конструктивные блоки (Building Blocks) для особых задач, таких как VDI или SAP. В результате кооперации с EMC создан V-Block, а конструктивный блок, куда входят системы хранения от NetApp, получил название FlexPod.

УПРАВЛЕНИЕ ШАССИ И СЕРВЕРАМИ

Производители предлагают целый ряд инструментов для управления модульными серверами и шасси. У Cisco ПО управления выполняется на коммутаторах Fabric Interconnect. В других решениях управляющие модули, как правило, интегрируются в само шасси. В число стандартных функций входят удаленный доступ к консоли KVM (клавиатура, видео, мышь) серверных модулей. Кроме того, администратор может настроить режим ожидания для некоторых блейдов, которые будут автоматически активироваться при отказе какого-либо модуля. Автоматическое обновление микропрограммного обеспечения (Firmware) для компонентов шасси и серверов тоже стало стандартной функцией. Кроме того, интерфейсы управления позволяют контролировать виртуальные серверы.

Функции энергосбережения позволяют задать предельные значения для максимального энергопотребления в каждом шасси. При превышении этого порогового значения система либо снижает активность работающих блейдов до такого уровня, чтобы можно было подключить еще один сервер, либо препятствует активации дополнительных модулей.

Имеющиеся на рынке решения для мониторинга позволяют контролировать правильную работу всех аппаратных компонентов и следить за тем, чтобы температура не выходила за пределы установленных значений. Кроме того, они фиксируют показатели производительности и уведомляют администратора о превышении пороговых значений или отказе каких-либо компонентов.

Решения для управления серверами позволяют контролировать не только модульные, но и стоечные серверы (обычно собственной разработки, но иногда и сторонних производителей). Производители традиционного серверного оборудования предлагают исчерпывающие наборы инструментов для администрирования серверов. К примеру, у Dell для этих целей имеется семейство решений Open Manage, у Fujitsu — пакет ServerView Suite, у HP — семейство Systems Insight, а у IBM — Systems Director и другие продукты из пакета Tivoli. Сюда же входят решения для развертывания систем, позволяющие устанавливать операционные системы сразу на большом количестве серверов.

У Cisco до сих пор не появилось собственного инструмента для развертывания операционных систем, но сервисный профиль Cisco UCS Manager на базе XML позволяет быстро подготовить большое количество серверов для установки операционной системы с помощью инструментов от сторонних производителей. Серверы загружаются с заданного в профиле диска SAN и получают виртуальные адреса MAC и WWN соответствующего профиля. Путем назначения другого профиля можно в кратчайшие сроки поменять операционную систему, используемую на блейд-сервере. Кроме того, сервисные профили поддерживают настройку виртуальных серверов.

ВИРТУАЛИЗАЦИЯ СЕТЕЙ

Не только Cisco, но и другие производители модульных серверов разработали для своих систем решения для виртуализации MAC- и WWN-адресов, благодаря чему после замены аппаратных компонентов серверам удается сохранить свою изначальную сетевую конфигурацию. Dell, HP и IBM интегрировали свое ПО для виртуализации в модули шасси. Fujitsu использует для виртуализации ввода-вывода внешнее серверное устройство, на которое возлагается задача повторной конфигурации серверных модулей в случае замены аппаратных компонентов.

При этом все производители придерживаются схожих подходов: программа управления в процессе загрузки серверного модуля обращается к микропрограммному обеспечению адаптеров и заменяет существующие MAC- и WWN-адреса на виртуальные адреса из адресного пула. Благодаря виртуализации ввода-вывода эти решения способны автоматически переносить сетевые порты виртуальных серверов при миграции на другую хост-систему.

Другой важный момент виртуализации ввода-вывода касается конвергентных адаптеров CNA на 10 Гбит/с, способных передавать несколько протоколов одновременно и ограничивать пропускную способность виртуальных портов. Один порт на 10 Гбит/с предоставляет четыре виртуальных канала, каждый из которых можно настроить на поддержку Ethernet, iSCSI или FCoE. Для каждого канала администратор может задать максимальную пропускную способность с шагом в 100 Мбит/с.

ОРКЕСТРОВКА И ИНТЕГРАЦИЯ ОБЛАКОВ

Чтобы иметь возможность автоматически предоставлять серверы в облаке, необходима тесная интеграция модульных серверов с системами хранения. Dell, Fujitsu, HP и IBM, выпускающие собственные системы хранения данных, предлагают решения для оркестровки, которые, среди прочего, позволяют настраивать разбиение на зоны для FC (Zoning), а также автоматически создавать и присваивать LUN новым серверам.

IBM предлагает очень широкий ассортимент решений для оркестровки и автоматизации выполняемых действий (Workflow). К примеру, IBM Service Delivery Manager (ISDM) может управлять процедурами на разных платформах. Кроме того, компания предлагает продукт начального уровня Smart Cloud Entry, позволяющий автоматически предоставлять до 1000 систем на платформах VMware или AIX. У Dell функции оркестровки реализуются в решении Virtual Integrated System (VIS). Эта система включает в себя решение VIS Creator для автоматического предоставления серверов и Advanced Infrastructure Manager для динамичного управления рабочей нагрузкой с функциями аварийного восстановления после сбоев (Recovery).

Рисунок 3. Блейд-система C7000 от HP выступает в качестве основы для облачной системы Matrix, способной автоматически предоставлять серверные ресурсы и емкость хранения.

Fujitsu выпускает ServerView Resource Orchestrator — полный набор инструментов для автоматического предоставления серверов. А в портфолио HP имеется комплексное решение Matrix (см. Рисунок 3), куда включены BladeCenter и различные программные продукты, такие как Opsware, позволяющие предлагать облачные сервисы через портал. В системах Cisco ресурсы хранения данных могут автоматически выделяться в результате взаимодействия с системами компаний EMC или NetApp, а UCS может интегрироваться с решениями для оркестровки других производителей (статья была написана до появления у Cisco ПО Cloupia для автоматизации управления инфраструктурой ЦОД — см. подробнее статью Сергея Орлова «Трансформация ЦОД» в этом номере. — Прим. ред.).

ЗАКЛЮЧЕНИЕ

Работающие на рынке на протяжении многих лет производители серверных систем и при выпуске модульных серверов делают основной акцент именно на серверах. В отличие от них компания Cisco придерживается сетецентрического подхода. Выбор концепции во многом зависит от технологической стратегии компании. Отдавая предпочтение тому или иному варианту модульных серверов, заказчик должен определиться со способом подключения системы хранения, в особенности если одной из главных задач является обеспечение полномасштабной автоматизации. Наиболее удобны в использовании готовые конструктивные блоки, состоящие из модульных серверов и систем хранения, которые предлагаются всеми рассмотренными в данной статье производителями. Если предприятие к тому же выберет подходящие инструменты для администрирования и автоматизации, то серверные среды с модульными блейд-системами можно будет внедрить без больших финансовых вложений.

Кристоф Ланге — независимый журналист и консультант по ИТ.