Какая отказоустойчивость достаточна?

Выход из строя высококритичного сервера способен остановить деятельность всей компании. Отказоустойчивые и высокодоступные системы позволяют сохранить работоспособность вашей компании - но какой ценой?

Несмотря на то что мэйнфреймы представляют собой реликты прежней эпохи, они имеют непревзойденную доступность — и именно по этой причине многие корпоративные вычислительные центры до сих пор не выбрасывают их на свалку. С появлением распределенных вычислений традиционная роль мэйнфреймов как корпоративных центров обработки данных изменилась. Мэйнфреймы получают вторую жизнь как суперсерверы для высококритичных транзакций электронной коммерции, гигантских складов данных и других приложений, в которых требование постоянной доступности имеет важнейшее значение.

Но мэйнфреймы необходимы далеко не каждой компании. К счастью, крупномасштабные системы можно создать на базе целого ряда клиент-серверных платформ UNIX, причем они способны обеспечить аналогичный уровень доступности и непрерывности обработки данных. (Информацию о жизнеспособности решений на базе Windows NT в качестве высокодоступной платформы смотри во врезке "Windows NT: уравнение с неизвестными".)

Эти серверные продукты можно разбить на две различные группы: отказоустойчивые и высокодоступные системы. Отказоустойчивые системы, как, например, от Stratus (компания приобретена Ascend Communications в начале августа текущего года) и Tandem (теперь она является частью Compaq Computer), находятся в верхней части ценовой шкалы и предназначены для обеспечения непрерывной доступности по сети.

Высокодоступные серверы стоят несколько меньше отказоустойчивых систем и призваны обеспечить доступность по сети 99,5-99,9%% времени. Ведущими игроками на этом рынке являются IBM, Hewlett-Packard, Digital Equipment, Silicon Graphics, Data General, Sequent и Sun Microsystems.

ВЫСОКАЯ ЦЕНА ПРОСТОЕВ

Как показывает недавнее исследование консалтинговой организации Standish Group, в высококритичных средах даже минута простоя может иметь серьезные финансовые последствия (стоимость простоя различных приложений приведена в Таблице 1). Доклад VirtualCompass Research Report по результатам опроса 250 компаний из числа Fortune 1000 в семи крупнейших отраслях показывает, что минута простоя обходится в сумму от 1000 до 27 000 долларов. Авторы отчета суммируют эти цифры: "Если простой приложения обходится в 10 000 долларов в минуту, то его неработоспособность в течение двух часов будет стоить вам более миллиона долларов".

При таких космических последствиях простоев основной задачей администратора сети становится сведение к минимуму времени недоступности сети и нахождение экономически оправданного решения этой задачи. Однако выбор между отказоустойчивыми и высокодоступными серверами далеко не прост. Вам придется учитывать архитектурные различия между данными системами, административный багаж и общую стоимость.

ОТКАЗОУСТОЙЧИВОСТЬ ПРОТИВ ВЫСОКОЙ ДОСТУПНОСТИ

Отказоустойчивый сервер имеет избыточные компоненты для каждой подсистемы. Он оснащается двумя процессорными платами (каждая с парой ЦПУ), двумя платами памяти, двумя подсистемами ввода/вывода, несколькими сетевыми платами, зеркальными дисковыми системами с двумя главными адаптерами и несколькими точками подключения, двумя источниками питания с охлаждающими вентиляторами, резервными аккумуляторными устройствами и идущими к разным источникам переменного тока шнурами питания.

Вся система работает в жестком параллельном режиме, когда две копии операционной системы выполняются одновременно цикл за циклом. Несмотря на то что сервер содержит две идентичные системы, эта схема отнюдь не предусматривает зеркального отображения, когда действия в одной части системы дублируются в другой. Скорее, каждое приложение на сервере выполняется одновременно в обеих частях системы. В случае выхода из строя какого-либо компонента или даже всей системы сервер будет продолжать выполнять свои функции. Производительность не изменится, но система будет находиться под угрозой полной остановки, пока отказавшие компоненты не будут заменены. Вследствие высокого уровня избыточности отказоустойчивые компоненты не теряют данные, так как они позволяют сохранять состояние входящих данных на момент отказа.

Высокодоступные серверы представляют собой системы с симметричной многопроцессорной обработкой (Symmetric Multiprocessing, SMP) и используют кластерные технологии для минимизации времени восстановления в случае отказа компонента или приложения. Все они обладают той или иной формой избыточности. Например, высокодоступные системы часто поставляются в четырех-, восьми- или шестнадцатипроцессорных конфигурациях.

Избыточность на уровне компонентов у каждого продукта своя, и предоставляется она обычно в качестве опции. Системы многих производителей могут быть сконфигурированы с несколькими путями ввода/вывода, двумя сетевыми адаптерами, двумя главными адаптерами жестких дисков для зеркальных или RAID-массивов, двумя источниками питания, несколькими охлаждающими вентиляторами и даже двумя шнурами питания.

Восстановление в случае отказа системы осуществляется обычно с помощью программного процесса, называемого подменой или переводом. Например, при выходе из строя ЦПУ обработку берет на себя другой ЦПУ в кластере, а при отказе одного из серверов в кластере выполнение операций переводится на резервный сервер. Перевод занимает от нескольких миллисекунд до нескольких минут. При этом некоторые входящие данные могут быть потеряны — степень риска зависит от используемой базы данных и конфигурации процесса подмены. Большая часть производителей рекомендуют использовать Oracle Parallel Server как с отказоустойчивыми, так и с высокодоступными серверами. Эта база данных одна из немногих способна сохранить состояние данных в кластере.

ПОДМЕНА: СЛАБОЕ ЗВЕНО?

По мнению многих консультантов, с которыми автор разговаривал при подготовке статьи, аппаратные отказы в наши дни представляют собой довольно редкое явление. Высокодоступные серверы могут с большей вероятностью выйти из строя из-за ошибки в приложении или проблем в сети. Как долго сервер будет оставаться недоступен, зависит от того, какое время требуется для перезапуска приложения и восстановления потерянных входящих данных. В системах массовой обработки транзакции восстановление может занимать до получаса.

По мнению Карен Скотт, консультанта из Gartner Group, кластерное программное обеспечение является слабейшим звеном высокодоступной системы: "Оно способно послужить причиной недоступности в той же мере, что и обеспечить доступность". Кроме того, Карен Скотт указывает на сложность подобного программного обеспечения и необходимость высокой квалификации системного администратора для его конфигурации.

Марк Байзер, начальник службы технической поддержки в Volvo, говорит, что, хотя сценарии подмены в высокой степени настраиваемы, и любой, кто имеет опыт в написании сценариев для командного процессора, способен их создать, эта задача — не для слабонервных. "Администратору приходится рассматривать множество типов сценариев подмены и способов их обработки системой, — поясняет он. — Эту задачу мало кто захочет взять на себя, особенно по первому разу". Поэтому Байзер считает, что деньги, которые он потратил на оплату профессиональных услуг специалистов из Sun Microsystems по настройке кластеров серверов Sun Enterprise 4000, не пропали даром.

Байзер утверждает, что два его сервера Sun Enterprise 4000 и два сервера Sun Enterprise 450 оказались весьма надежными. Прежде чем приобретать их, он провел в партнерском центре обработки данных в Европе предварительное сертификационное тестирование в небольшой кластерной среде с использованием пары серверов Sun Ultra Enterprise 2.

"Прежде чем вводить кластер в работающую сеть, мы подвергли его программное обеспечение квалификационным тестам, специально подготовленным для того, чтобы убедиться, что все работает, как обещано", — поясняет он. Сотрудники Байзера провели серию тестов с имитацией отказов. Они отсоединяли шнуры питания, вынимали диски из массива и даже изымали работающую процессорную плату сервера. "В каждой моделируемой ситуации отказа подмена осуществлялась, как ожидалось, так что мы не теряли никаких данных", — говорит он.

При отказе приложения единственными потерянными данными оказались те, которые пользователи в это время вводили в формы. "Если пользователь взаимодействует с сервером SAP через сервер приложений, то в случае отказа наши правила предусматривают закрытие приложения. Пользователь просто перерегистрируется, и его станция автоматически подключается к следующему доступному серверу. Соединение отсутствует совсем недолго".

Конфигурация и тестирование высокодоступных серверов могут занимать несколько месяцев — во всяком случае так считает Айя Сингх, менеджер по исследованиям и разработкам в центре обработке данных в United Airlines. Он работает с 40-процессорной системой SP2 компании IBM с начала 1998 года. Десять ЦПУ выделены для разработки приложений, а остальные 30 служат для выполнения крупного приложения по анализу цен на места для тысяч полетов.

"Нам потребовалась помощь со стороны IBM, так как, настраивая операционную систему самостоятельно, мы могли по незнанию упустить из виду некоторые ее особенности, а это сказалось бы в конечном итоге на доступности сервера", — объясняет Сингх.

Межсоединения между системами в корпусе сервера обеспечивают несколько маршрутов для перевода операций. "Они должны соответствовать написанным сценариям подмены, — развивает он свою мысль. — Пропустив какой-либо сценарий, вы рискуете навлечь на себя проблемы. Это, как с двигателем: если вы позабудете про какую-то его часть, то потом его придется разбирать целиком, а затем собирать снова".

В отличие от высокодоступных систем, отказоустойчивые компьютеры практически сразу же готовы приступить к работе, потому что вам не надо писать и тестировать десятки сценариев подмены, говорит Джо Ллойд, старший вице-президент по технологиям на Бостонской фондовой бирже. Он имеет семь отказоустойчивых серверов Stratus, один из которых выделен для поддержки торговых операций и обрабатывает свыше 25 млн транзакций ежедневно.

"По сути вы только должны настроить только адреса портов для терминалов, ПК и телефонных линий, но это приходится делать в любой среде, — говорит он. — Помимо этого, вы должны будете загрузить программное обеспечение и протестировать связь с сетью".

НИСПРОВЕРЖЕНИЕ МИФА

Некоторые производители высокодоступных серверов заявляют, что их продукты опираются на открытые технологии, тогда как отказоустойчивые серверы строятся на закрытых технологиях. Это мнение не совсем верно: и высокодоступные, и отказоустойчивые продукты содержат целый ряд как открытых, так и закрытых технологий.

Прежде всего, далеко не все высокодоступные серверы имеют ЦПУ Intel Pentium. Silicon Graphics использует процессор MIPS R/10000, производимый ее подразделением MIPS, Hewlett-Packard — собственный процессор PA/RISC, Sun — процессор UltraSPARC, а Digital Equipment предлагает системы как с процессорами Intel Pentium, так и с ее собственными процессорами Alpha. Располагающая наиболее широким спектром оборудования для обеспечения высокой доступности (от последних наиболее мощных мэйнфреймов S390/G5 до небольших мэйнфреймов MultiPrise 2000), IBM использует почти столько же процессоров, сколько у нее есть моделей, в том числе 64-разрядные PowerPC в AS/400, RISC6000 в SP2 и RS/6000, а также Pentium в NetFinity.

Затем, не все отказоустойчивые системы используют исключительно собственные технологии. Серверы Himalaya от Tandem имеют процессоры Pentium, а Stratus включила процессоры PA/RISC от Hewlett-Packard в свою новую серию Continuum. Подсистемы ввода/вывода в отказоустойчивых и высокодоступных серверах базируются на отраслевых стандартах, насколько это вообще возможно. Они содержат слоты шин PCI, в которые вы можете вставить любые подходящие сетевые и коммуникационные платы, а также главные адаптеры контроллера RAID.

Все производители высокодоступных серверов предлагают свои собственные специализированные версии UNIX. По мнению Джима Джонсона, президента Standish Group, такая специализация просто необходима, потому что высокодоступные операционные системы и приложения должны знать о существовании кластера; в противном случае, один узел не сможет передать свои функции другому для возобновления операций.

Операционные системы для отказоустойчивых серверов также являются специализированными, предназначенными для работы в жестком параллельном режиме. По этой причине Stratus пришлось видоизменить ОС HP/UX, но таким образом, чтобы ее система оставалась совместима с инструментарием для управления системами HP OpenView.

Другое ошибочное мнение в отношении отказоустойчивых систем состоит в том, что они вообще не подвержены отказам. Как говорит Скотт из Gartner, это неверно. Ошибка в операционной системе может сделать систему недоступной, хотя аппаратное обеспечение будет продолжать функционировать.

По словам Ллойда, ошибка в прежней версии ОС от Stratus под названием VOS привела к временной остановке торгов на Бостонской фондовой бирже. "Но это был единственный инцидент, с которым мы столкнулись более чем за одиннадцать лет, — говорит он. — Этот сервер по-прежнему работает у нас".

Как показывает пример, приведенный Ллойдом, отказоустойчивые серверы не имеют абсолютного иммунитета к ошибкам приложений, и тем не менее они оказываются весьма к ним устойчивы.

Высокодоступные серверы несколько более уязвимы. Современные системы остаются работоспособными в случае отказа ЦПУ или других аппаратных компонентов, но в случае краха операционной системы или приложения — или если сбой происходит в самом кластерном программном обеспечении — система выходит из строя.

МАСШТАБИРОВАНИЕ

Сегодня весьма крупную систему можно построить на базе как технологий обеспечения отказоустойчивости, так и высокой доступности. Отказоустойчивые серверы могут масштабироваться до сотен парных процессоров в одном корпусе, а несколько серверов — объединяться друг с другом для создания огромных систем массовой параллельной обработки с числом процессоров до 4000.

Высокодоступные серверы не могут похвастаться подобными цифрами. Так, кластеры самых мощных моделей старшего класса от таких производителей, как IBM, Silicon Graphics, Sequent и Data General, могут иметь максисум 64 процессора. Новая архитектура неуниверсального доступа к памяти (Non-Universal Memory Access, NUMA), представляющая собой расширение архитектуры SMP, позволит повысить доступность и производительность, а также создавать системы с числом процессоров до 128. Системы на базе NUMA собираются в скором времени представить несколько производителей. Вместе с тем Sequent разработала расширение под названием NUMA-Q, с помощью которого компании смогут создавать кластеры с числом процессоров до 252.

Архитектура NUMA даст возможность несколько уменьшить разрыв между высокодоступными и отказоустойчивыми системами. Она обещает такие преимущества, как ликвидация одиночных точек сбоев за счет тиражирования оборудования и интерактивная система сопровождения. Кроме того, обновления программного и аппаратного обеспечения на одном узле никак не будут сказываться на других узлах в кластере, а административные операции — на доступности приложения. Среди других преимуществ — возможность создавать загружаемые системы из нескольких четырехпроцессорных модулей, расширенные функции оперативной настройки ядра и перехват ошибочных событий на системной консоли.

Число приложений и количество пользователей, которые кластер сможет поддерживать, зависит от таких факторов, как вычислительная мощность, размер приложения, сценарии подмены и емкость систем памяти и хранения. Эти факторы, в свою очередь, изменяются в зависимости от требований вашего бизнеса в отношении типа транзакций или обработки. По сообщению Ллойда, на Бостонской фондовой бирже один рабочий сервер Stratus выполняет до 300 приложений одновременно.

Как упоминалось ранее, и отказоустойчивые, и высокодоступные системы можно наращивать посредством добавления процессоров или серверов. Производители обеих систем, как правило, предусматривают возможности их расширения в будущем. Процессоры, диски и подсистемы ввода/вывода нового поколения можно в различных сочетаниях комбинировать в одном корпусе со старыми технологиями. Как говорят сами пользователи, они могут без труда модернизировать оборудование, дабы воспользоваться преимуществами новой технологии, при этом не приобретая новых серверов.

НАЗАД К ЦЕНТРАМ ОБРАБОТКИ ДАННЫХ?

Учитывая потенциал масштабируемости отказоустойчивых и высокодоступных серверов, возврат многих отделов ИТ к своего рода центрам обработки данных не вызывает удивления. В распределенной вычислительной среде подобная конфигурация имеет некоторые уникальные преимущества, которые отказоустойчивые и высокодоступные системы и позволяют реализовать.

Например, в высокодоступном кластере централизованную систему хранения расширить проще и дешевле, чем в случае серверов подразделений. Так, United Parcel Service имеет дисковые системы емкостью свыше 55 Тбайт для своей системы обработки транзакций на базе мэйнфрейма и 35 Тбайт для склада данных на базе кластера из трех серверов HP/9000s.

За последние три года Ocean Spray Cranberries ликвидировала все серверы подразделений. Все пользователи — даже в удаленных офисах — работают с хранилищем на базе пула серверов в центре обработки данных. Такая конфигурация позволила сократить простои из-за отказов серверов подразделений и упростила сопровождение и обновление систем. Кроме того, базы данных стали обслуживаться меньшим числом администраторов, а система стала резервироваться своевременно.

"С эксплуатационной точки зрения высокодоступные кластеры следует рассматривать как аналоги традиционных сред на базе мэйнфреймов, — полагает Байзер из Volvo. — Контроль за их работой требуется осуществлять круглосуточно".

Это предполагает наличие эффективных инструментов управления, как считает Скотт из Gartner. Она воздает должное Hewlett-Packard не только за создание хорошей технологии для серверов HP/9000, но и за предоставление инструментария для диагностики и управления системами высокой доступности. "Я не думаю, что многие производители понимают всю их важность", — добавляет она.

Все производители высокодоступных и отказоустойчивых систем, с которыми мне пришлось разговаривать, предоставляют инструментарий управления и диагностики для мониторинга своих систем. Например, диагностический инструментарий Data General предупреждает сетевых администраторов и службу технической поддержки, когда сложившиеся условия могут потребовать их вмешательства.

Однако в случае крупных предприятий эти инструменты могут не предоставлять полной картины для всего центра обработки данных. Для преодоления таких ограничений Volvo приняла в качестве стандартного административного инструментария управления сетью и системами платформу Tivoli TME 10. Многие производители высокодоступных и отказоустойчивых систем имеют партнерские отношения с такими компаниями, как Computer Associates, Boole&Babbage и Candle Systems, в целях предоставления широкого спектра функций управления системами, использование которых позволило бы увеличить время непрерывной работы.

Имеются и другие признаки того, что концепция центра обработки данных получает мощную поддержку со стороны производителей высокодоступных и отказоустойчивых продуктов. Все они приняли на вооружение технологию Fibre Channel для применения на магистрали передачи данных в собственные подсистемы хранения и более крупные внутренние подсистемы хранения от EMC, Hitachi, Amdahl и StorageTek. Fibre Channel позволяет расположить центр хранения данных на расстоянии до 10 км от центра обработки данных в целях зеркального копирования и восстановления после аварий.

ДОЛГОСРОЧНЫЕ ИНВЕСТИЦИИ

Корпоративные пользователи, с которыми я разговаривал, обычно с неохотой говорили о своих вложениях в оборудование для обеспечения отказоустойчивости и доступности — отчасти потому, что общие затраты очень трудно подсчитать. Так, Байзер из Volvo замечает по этому поводу следующее: "Если вы займетесь обеспечением доступности систем, то это серьезным образом скажется на толщине вашего бумажника, но результатом станет постоянная работоспособность системы".

Цены на высокодоступные серверы зависят от их конфигурации. Серверы начального уровня продаются по цене от 10 000 до 15 000 долларов. В зависимости от числа процессоров, избыточных компонентов и серверов в кластере, а также от объема памяти и дисков, такие системы могут запросто стоить свыше 250 000 долларов.

Отказоустойчивые серверы начального уровня стоят от 70 000 до 1 млн долларов — причем цены на них не падают.

Пользователи говорят, что затраты на отказоустойчивые и высокодоступные серверы следует рассматривать в долгосрочной перспективе. Системы вряд ли устареют за два или три года, а ввиду их вычислительной мощности вы можете сократить число необходимых серверов по сравнению с тем количеством, которое иначе пришлось бы использовать в распределенной среде. Такие системы, как у United Parcel Service и Бостонской фондовой биржи, работают без остановки свыше десяти лет. ЦПУ в них меняются каждые несколько лет при минимальных вложениях.

Что касается выбора системы, если некоторые корпоративные приложения требуют применения постоянно доступных отказоустойчивых систем, то другим вполне достаточно технологии обеспечения высокой степени доступности. Но с совершенствованием кластерного программного обеспечения высокодоступные продукты должны достичь уровня отказоустойчивых систем, по крайней мере в отношении длительности непрерывной работы — это обстоятельство способно в перспективе уравнять шансы для обоих типов систем.

Windows NT: уравнение с неизвестными

"Нет такой вещи, как высокодоступные системы Windows NT", — считает Джим Джонсон, президент Standish Group. Он просто смеется над теми людьми, кто решил доверить свои высококритичные приложения Windows NT просто потому, что это модно. "Как тот идиот, что убедил военно-морской флот США оснастить NT свой "интеллектуальный корабль" ("Йорктаун"), — приводит он пример. — Как сообщают Federal Computer Week и The Wall Street Journal, корабль уже пять раз приходилось буксировать в порт. И каждый раз он становился жертвой появления "голубых экранов смерти", из-за чего все его двигатели и навигационные системы замолкали посреди Атлантического океана".

"Йорктаун", оборонительный ракетный крейсер, полностью управляется компьютерами. Джонсон не перестает удивляться: "А случись война, доверили бы вы NT жизнь своих сыновей или дочерей? Взять стоимость всего одной буксировки корабля. Да сто действительно работающих систем UNIX обошлись бы дешевле!"

Далеко не все аналитики, с которыми я разговаривал, были столь же категоричны, но многие руководители отделов ИТ считали, что в настоящее время Windows NT не годится для поддержки высококритичных приложений. Производители также высказывались весьма осторожно — а это означает, что выбор продуктов в ближайшие год-два будет ограниченным.

"NT не имеет той же масштабируемости и надежности, что и UNIX", — говорит консультант Донна Скотт из Gartner Group. Единственным кластерным решением остается WolfPack от Microsoft, а его масштабируемость даже в перспективе ограничена несколькими узлами или серверами.

WolfPack разрабатывался на базе лицензированной у Tandem технологии. Однако, по словам Паулин Нист, вице-президента по платформам и технологиям в группе корпоративных систем компании Tandem, Microsoft далеко не в полной мере использовала преимущества технологии ServerNet. "Microsoft по-прежнему не поддерживает всех уровней передачи управления, без которых обеспечение высокой степени доступности немыслимо, — поясняет она. — В идеале, в случае кластера приложения и базы данных должны знать об его существовании. Единственной кластерной базой данных, предлагаемой для NT, остается Oracle Parallel Server. При сравнении с UNIX вы увидите, что решения для UNIX весьма развиты, что большинство кластерных продуктов для UNIX имеет файловые системы с протоколированием операций и что конфигурации могут состоять из большого числа узлов. И этим их возможности не ограничиваются".

Нист развивает свою мысль в том направлении, что NT потребуется еще много времени, чтобы догнать системы UNIX младшего класса. "И даже это потребует некоторых добавлений к основному ядру ОС — а их может сделать только Microsoft — и изменений в базах данных", — говорит она.

Чтобы иметь нечто большее, чем систему из двух узлов, производители укрепляют WolfPack апробированными технологиями, которые они уже разработали для UNIX.

Tandem — единственный среди производителей отказоустойчивых систем, кто представил систему на базе NT. Несколько производителей высокодоступных систем, например IBM и Data General, производят серверы для NT. Silicon Graphics апробирует подобное решение. Однако, как говорит Чандер Кант, менеджер по продуктам на базе технологий обеспечения высокой доступности в Silicon Graphics: "Такое решение ставит слишком много вопросов относительно надежности. Однако за NT, несомненно, будущее, так что мы собираемся со временем представить такую систему".

Ресурсы Internet

Сервер Stratus (http://www.stratus.com ) содержит два полезных технических документа "Требования к доступности для систем управления" и "Подход Stratus к обеспечению постоянной доступности".

Tandem Computer (http://www.compaq.com ) предлагает несколько очень хороших статей с подробным описанием своей отказоустойчивой технологии для сред UNIX и Windows NT.

Полезную информацию можно также найти на сервере Web подразделения Digital Equipment компании Compaq (http://www.openvms.digital.com ).

Независимые обзоры по кластеризации имеются на узле Technology Business Research (http://www.tbi.com ) в отчете "Кластерные вычисления" за апрель прош-лого года, где анализируются технологии NCR, Sun, Hewlett-Packard, IBM и Digital Equipment