проблему эффективного управления, обеспечивающего снижение эксплуатационных расходов и сложности и повышение гибкости использования бизнес-приложений. Одним из решений стали серверы-лезвия. Однако управление большими конфигурациями этих систем, в свою очередь, вызвало немалые трудности и потребовало новых подходов. Один из этих подходов реализуют в своем совместном решении компании Fujitsu Siemens и Egenera.
Первые лезвийные серверы вышли в 2001 году из стен молодых компаний RLX Technologies и Egenera, а вслед за ними ведущие игроки ИТ-рынка также включили такие устройства в свой модельный ряд. Сегодня «лезвия» и построенные на их основе компьютерные системы производят, в частности, компании Dell, HP, IBM и Sun Microsystems. Лезвийные серверы завоевали свое место в корпоративном пространстве; сформировалось новое архитектурное направление, совмещающее в себе вертикальное масштабирование, свойственное симметричной многопроцессорности (Symmetrical Multiprocessing, SMP), с горизонтальным. Если наращивание системы «вверх» позволяет решить задачи увеличения производительности, то горизонтальное дает возможность повысить надежность работы. Вместе с тем, сфера корпоративных систем весьма консервативна. Согласно прогнозам Gartner, еще как минимум десять лет сохранятся две независимые ветви развития серверов. Первая, «традиционная», включает в себя такие известные решения, как масштабируемые и параллельные кластеры, вертикальное деление SMP-конфигураций на разделы, динамическое управление ресурсами, целевое управление ресурсами. Вторая, более молодая ветвь, растет от серверных приставок к серверным и лезвийным «фермам». Возможно, когда-нибудь две ветви дадут некий гибрид.
По данным аналитиков, лезвийные серверы являются сегодня самым динамичным сегментом серверного рынка. По прогнозам IDC, в 2007 году мировые продажи «лезвий» достигнут 6 млрд. долл., а в 2008-м — 9 млрд. долл. Сейчас в этом секторе основная борьба идет между IBM и HP; по разным оценкам, доля этих двух компаний составляет около 60%, однако и другие производители не теряют надежды потеснить лидеров.
Между тем создателям лезвийных систем еще предстоит решить целый ряд проблем. Пожалуй, основная проблема заключена в сложности управления подобными конфигурациями — как на аппаратном, так и на программном уровне. К примеру, ОС вынуждена учитывать такие особенности оборудования, как специфика конкретных драйверов, сквозная программная идентификация состояния оборудования и каждого приложения. Чрезмерная стоимость поддержки (низкая загрузка серверов, множество дублирующих лицензий), большая трудоемкость (раздутый штат системных администраторов), а главное — невозможность оперативного удовлетворения изменяющихся потребностей бизнеса вносят существенную долю беспорядка в организацию компьютерной системы, не позволяющего говорить о лезвийных серверах как об оптимальных в эксплуатации системах. Очень невысока загрузка серверов в стойке (сегодня она в среднем не превышает 30%).
Как правило, каждое лезвие используется для выполнения конкретного приложения, требующего вполне определенной аппаратной (процессор, чипсет, BIOS, программы в постоянной памяти, адаптеры ввода/вывода) и программной (операционная система, драйверы, вспомогательные программы) конфигурации. Иногда для точной настройки конфигурации под определенное бизнес-приложение могут потребоваться недели, а то и месяцы, что непозволительно долго. Именно поэтому, предлагая свое решение для лезвийных серверов, компания Fujitsu Siemens Computers первоначально сделала ставку на специализированные продукты, представив в систему FlexFrame, специально предназначенную для поддержки приложений mySAPBusiness Suite. Однако сегодня заказчикам требуются решения, с помощью которых можно создавать динамические центры обработки данных для поддержки любых универсальных бизнес-приложений. Именно для таких центров вслед за FlexFrame в FSC выпустили динамический серверный комплекс Primergy BladeFrame, для чего потребовалось заключить OEM-соглашение с компанией Egenera, касающееся поставки решения Processing Area Network (PAN), позволяющего по-иному подойти к проблеме управления лезвийными серверами.
Результатом альянса стало появление в линейке продуктов FSC решения, предназначенного для выполнения гетерогенных приложений в динамичных средах.
Архитектура BladeFrame
Уменьшение сложности — основная причина появления системы BladeFrame, в которой благодаря новой технологии виртуализации каждый отдельный сервер является «сервером без состояния». Сервер состоит только из процессоров и оперативной памяти, а все компоненты ввода/вывода (диски, сетевые адаптеры и т.п.) виртуальны. Сведена к минимуму зависимость между оборудованием и программным обеспечением, а необходимые дополнительные ресурсы «черпаются» из общего пула свободных ресурсов. Интеграция BladeFrame в корпоративную инфраструктуру осуществляется посредством двух портов с резервированием.
Серверы Primergy BladeFrame ориентированы на корпоративных заказчиков и поставщиков услуг центров обработки данных, для которых критичны параметры стоимости, энергопотребления и рассеиваемой мощности в пересчете на единицу объема. Предполагается, что такие серверы должны отвечать потребностям центров обработки данных, которым требуется компактное оборудование, монтируемое в стойке и управляемое с центральной консоли.
Сегодня заказчикам предлагаются две модели. Primergy BladeFrame BF 400 содержит до 24 серверных модулей: до 96 процессоров архитектуры x86, работающих под управлением Linux или Windows, центральные контроллеры с избыточностью, интегрированные коммутаторы с избыточностью, высокоскоростные интерфейсы с избыточностью и программное обеспечение Egenera PAN Manager. Модель базового уровня BF 200 содержит до шести серверных модулей.
Обычно в одну стойку упаковываются множество отдельных лезвий, включающих в себя процессор, оперативную память, сетевые интерфейсы и служебные схемы. Лезвия обращаются к общей дисковой памяти, имеют общие системы энергоснабжения и охлаждения. BladeFrame на базе процессоров Intel Xeon и AMD Opteron представляет собой динамический сервер корпоративного уровня, созданный из пула обезличенных, взаимозаменяемых серверных узлов. Он абстрагируется от компонентов, составляющих пул ресурсов (процессоров, сетей и дисковых накопителей), и работает только с виртуальными серверами. Отдельные компьютерные узлы фактически используются только как процессоры и ресурсы памяти при помощи общих виртуальных интерфейсов ввода/вывода для локальных сетей/сетей хранения данных/коммутаторов, которые назначаются инструментарием управления.
 |
| Рис. 1. Архитектура Primergy BladeFrame |
BladeFrame (рис. 1) строится из трех типов лезвий.
- Процессорные лезвия (Processing Blade, или pBlade). Выполнены в формате 1U или 2U и содержат процессоры и оперативную память, в них нет дисков, а потому, в отличие от обычных тонких серверов, они полностью взаимозаменяемы.
- Коммутирующие лезвия (Switch Blade, или sBlade). Выполнены в формате 2U и соединяют серверы pBlade с основной панелью BladeFrame, называемой BladePlane, интерфейсом, близким по типу InfiniBand. Четырехпроцессорные SMP-серверы sBlade, имеющие полное резервирование, управляют внешним и внутренним сетевым трафиком.
- Управляющие лезвия (Control Blade, или cBlade). На модулях cBlade, также имеющих полное резервирование, размещается программное обеспечение PAN Manager. Здесь же находятся порты 10/100 Base-T Ethernet, Gigabit Ethernet и Fibre Channel и порт, выполняющий функции операторской консоли. cBlade обеспечивает интерфейс с внешними системами хранения NAS или SAN.
Модули трех типов объединяются в систему посредством двух последовательных шин (основная и резервная) BladePlane (рис. 2), к которым подключаются модули sBlade. Совместно они образуют системный коммутатор (внутреннюю сеть TCP/IP), который можно назвать виртуальным в силу того, что его конфигурация может изменяться. Скорость коммутации между серверами составляет 200 Мбайт/с. Поскольку изначально проект задумывался как система высокой готовности, в ней дублированы все составляющие (в том числе средства коммутации, питание, охлаждение), нет единой точки выхода из строя, нет даже системных часов — каждый модуль имеет свои собственные часы.
 |
| Рис. 2. Потоки данных в BladeFrame |
В стойку монтируется до 24 лезвий, в каждом из которых может быть от двух до четырех процессоров. Управление системой осуществляется при помощи браузера или интерфейса командной строки, предоставляемого PAN Manager. В результате из группировки лезвий формируется виртуальный пул, который динамически перераспределяет вычислительные ресурсы и обеспечивает балансировку нагрузки. Избыточные, устойчивые к сбоям коммутаторы и контроллеры предоставляют доступ к вычислительным ресурсам, питанию, сетям хранения, а также к устройствам хранения, подключаемым к сети.
Таким образом, Primergy BladeFrame — это динамический пул серверов, в котором отдельные компьютерные узлы фактически используются только как процессоры и память при помощи общих, назначаемых средствами PAN Manager виртуальных интерфейсов ввода-вывода для локальных сетей и сетей хранения данных. Все лезвия допускают горячую установку и замену, устанавливаются в объединительную панель и логически связываются, образуя единый пул — Processor Area Network.
PAN Manager
Программное обеспечение PAN Manager служит для формирования виртуальных серверов из пула имеющихся лезвий. Путем логического связывания с созданными виртуальными серверами необходимых дисковых и сетевых ресурсов могут образовываться динамические кластеры. При этом PAN Manager не замещает собой обычные средства управления загрузкой, а служит промежуточным слоем между BladeFrame и инструментами категории PRM (process resource management) различных производителей. PAN Manager поддерживает протокол SMNP и сертифицирован на совместимость с системами IBM Tivoli, BMC Patrol и HP OpenView Network Node Manager.
PAN Manager управляет загрузкой операционной системы на pBlade с внешних дисков, но и позволяет объединить вычислительные мощности этих лезвий в единый пул. С помощью этого средства системный администратор может конфигурировать, контролировать и менять распределение ресурсов внутри BladeFrame, например, организовать внутри системы виртуальный сервер, выделив для нескольких pBlade диски и сетевые соединения. Такие виртуальные серверы можно объединять в домены, в горячем режиме добавлять в пул PAN или выводить из него. В зависимости от времени суток и объема трафика, а также в случае превышения пороговых значений нагрузки PAN Manager перераспределяет процессорные ресурсы внутри BladeFrame без перезагрузки ОС; кроме того, он способен управлять распределением нагрузки между отдельными лезвиями pBlade.
Для обеспечения высокой готовности можно пользоваться кластерными файловыми системами, сертифицированными Red Hat, а в перспективе будет реализована поддержка Veritas Cluster System. В состав PAN Manager включены агенты, обеспечивающие совместимость с серверами приложений Oracle, Sybase, IBM Websphere, BEA Weblogic, Apache и Zeus. Администратор может динамически распределять ресурсы (рис. 3), создавая требуемое количество виртуальных серверов, менять их конфигурацию, перераспределять приложения между серверами.
Рис. 3. Динамическое распределение ресурсов
В отличие, от технологий, принятых в серверах старшего класса с развитыми механизмами партиционирования (например, Sun Fire 15 K, IBM z/900 или FSC Primepower), где группа процессоров работает под управлением одной операционной системы, лезвия в BladeFrame не сливаются в один SMP-образ. Напротив, каждый из них работает под управлением собственной операционной системы, а виртуальный сервер, по сути, является виртуальным кластером. В терминологии Egenera такие объединения называют Logical Processing Area Network (LPAN), которые удобно представлять себе как контейнеры, содержащие среду виртуального компьютера. Однако работа с единой операционной системой на весь сервер pBlade, не позволяет в ряде случае использовать все преимущества многопроцессорного (до четырех) серверного узла.
PAN Manager поддерживает все кластерные решения, сертифицированные для Red Hat Linux, автоматически обнаруживая отказ, перераспределяя ресурсы и перезапуская приложения с отказавшего лезвия на pBlade, определенный как резервный. Поскольку вся информация о конфигурации отказавшего лезвия хранится на внешних дисках, а все его сетевые соединения осуществляются через sBlade, то на резервное лезвие не требуется заново устанавливать программное обеспечение, задавать его конфигурационные параметры и настраивать подключения к сети. PAN Manager также обнаруживает сбои на программном уровне и, в зависимости от заданных администратором правил, выполняет корректирующие действия.
Области применения
BladeFrame и PAN Manager позволяют уменьшить количество оборудования (в частности, на 80% снизить число портов), увеличить загрузку серверов (70-80% вместо традиционных 25-35%), понизить стоимость и повысить управляемость.
Физические устройства ввода/вывода в BladeFrame, используемые для интеграции с корпоративными хранилищами и локальными сетями, требуются лишь для центрального управляющего сервера. Каждый отдельный серверный узел состоит исключительно из вычислительных ресурсов (от одного до четырех процессоров Intel или AMD) и оперативной памяти и выполнен в конструктиве блока горячей замены, размещаемого в шасси стойки BladeFrame Rack-Chassis. Работа таких серверов, включая резервные конфигурации, с локальной сетью и сетью хранения осуществляется программно. Обычно лезвия включают в себя две сетевые платы, два адаптера Fibre Channel, а также соответствующие кабели и коммутаторы. Стойка серверов может содержать до 100 физических адаптеров ввода/вывода.
Как правило, в традиционных системах оборудование полностью загружено лишь в особых случаях, простаивая основную часть времени. Применение в BladeFrame единого пула свободных ресурсов означает, что бизнес-приложения могут забрать себе столько серверов «без состояния», сколько потребуется в конкретной ситуации. При этом администратору не понадобится заниматься переконфигурированием и настройкой лезвий для определенной среды, необходимой приложению. Серверы могут работать под управлением ОС Windows, а затем переключиться на работу приложений под Linux. Неиспользуемые ресурсы возвращаются в пул свободных и могут быть переданы другим приложениям.
Особо следует отметить простоту централизованного управления системой BladeFrame: все отдельные серверы управляются, контролируется использование разделяемого пула ресурсов ввода/вывода, осуществляется мониторинг активности приложений. Порядок распределения лезвий также может контролироваться через центральную консоль, при этом необходимые для приложений виртуализированные ресурсы распределяются автоматически. Как показал опыт эксплуатации Fujitsu систем BladeFrame у клиентов FSC, общая стоимость владения подобными компьютерными системами уменьшилась на 60% по сравнению с традиционными решениями, на 80% сократилось число сетевых портов, снизилась стоимость управления инфраструктурой, загрузка серверов выросла до 70-80% вместо привычных 25-35%, в ряде случаев количество серверов сократилось на 60%, в следствие чего значительно уменьшилось количество необходимых программных лицензий.
Идея использования бездисковых лезвий нашла свое воплощение и в решениях других производителей. Так, в HP ProLiant BL30p/BL35p внутренний диск является опцией, а стандартно загрузка осуществляется по сети, однако серверы по-прежнему привязаны к своим сетевым адаптерам и контроллерам доступа к внешней дисковой памяти и продолжают использовать локальный диск для хранения данных. Локальные диски не позволяют быстро заменять серверы при сбое и перемещать ресурсы между приложениями. Уникальным в BladeFrame являются не бездисковые лезвия с загрузкой через Ethernet или Fibre Channel (она может применяться, например, в системах серии Primergy BX600), а компоновка лезвий из отдельных блоков «на лету».
Заключая OEM-соглашение с Egenera, в FSC рассчитывали приобрести за счет PAN Manager дополнительное преимущество. Однако преимущество это долго не сохранится; так, в арсенал компании HP недавно поступил пакет RLX Control Tower, позволяющий управлять серверами-лезвиями на базе ОС Linux.
Сегодня BladeFrame используют целый ряд западных финансовых и телекоммуникационных компаний, предприятия торговли, а также некоторые государственные организации. В нашей стране в финальной стадии сейчас находятся пилотные проекты, которые в случае успеха должны открыть дорогу тиражированию этого решения. Типичные инсталляции используются для таких применений, как обработка заказов, ERP, хранилища данных, классические трехзвенные коммерческие приложения, серверы приложений для поставщиков различных информационных сервисов.
Пока большинство пользователей BladeFrame — это крупные предприятия, серверный парк которых насчитывает сотни и тысячи машин. Экономия на одной стойке для конфигураций из сотен серверов может составить, по данным Egenera, от полумиллиона до миллиона долларов по сравнению с традиционными полноразмерными серверами. Одна из крупнейших инсталляций BladeFrame выполнена в компании Savvis, предоставляющей услуги хостинга крупным корпоративным и государственным заказчикам через расположенные в разных регионах мира 24 центра обработки данных, где установлено свыше 12 тыс. серверов. Savvis закупила 42 машины BladeFrame с 750 лезвиями pBlade, которые находятся в девяти центрах обработки данных. По словам представителей компании, на развертывание Web-приложения с трехзвенной архитектурой на платформе BladeFrame у них ушло всего 8 минут, в то время как при использовании обычных стоечных серверов этот процесс растягивался на несколько недель.
Компания Egenera
Компания Egenera основана в 2000 году Верном Браунеллом, который одиннадцать лет возглавлял ИТ-подразделение финансовой компании Goldman Sachs. Он проводил инсталляцию первого на Уолл-стрит многопроцессорного сервера Sun, а к 2000 году в Goldman Sachs были установлены тысячи Unix-серверов, которые обслуживало 250 системных администраторов. Подавляющее большинство сбоев в работе этого гигантского парка серверов было связано не с процессорами и оперативной памятью, а с неисправностями дисков, сетевых карт и других периферийных устройств. Идея Браунелла, для реализации которой и была создана компания Egenera, заключалась в переходе к архитектуре серверов, состоящих только из процессоров и модулей оперативной памяти и использующих внешний массив дисков для загрузки операционной системы и хранения данных.
