Многопроцесорные серверы в новом масштабе

Достижения в технологии разработки процессоров делают многопроцессорность и кластеризацию чрезвычайно привлекательными стратегиями масштабируемости.

Масштабируемость - потенциал для модернизации сети или вычислительной платформы на случай необходимости увеличить рабочую нагрузку - зависит от двух факторов - вычислительной мощи и подсистемы ввода/вывода. Функции ввода/вывода, как лента транспортера, доставляют данные для обработки и забирают ее результат. Процессор же выполняет роль рабочего. В статье "На пути к следующему уровню производительности" в этом номере Ларри Миттаг рассматривает вопросы ввода/вывода: как быстро может двигаться лента транспортера? Мы же рассмотрим вопросы обработки: как быстро рабочий может выполнять свою задачу сегодня и насколько быстрее он сможет выполнять ее в будущем?

МУР И ДРУГИЕ

Для процессоров масштабируемость означает две вещи: они становятся быстрее и сложнее (т. е. плотность транзисторов на единицу поверхности возрастает). Последние 20 лет или около того сложность микропроцессоров удваивалась каждые полтора-два года. (Эта закономерность была названа законом Мура, так как она была впервые озвучена бывшим главой Intel Гордоном Муром.) Увеличение числа транзисторов в микросхеме позволяет создать более мощный процессор, поднять пропускную способность, иметь файлы большего размера и расширить адресуемую память. Повышение емкости памяти имеет важнейшее значение. Для процессора с 32-разрядной адресной шиной, например, максимальная емкость памяти составляет около 4,3 Гбайт. В случае 64-разрядного процессора теоретический предел равен 18 446 744 000 Гбайт, т. е. в 4,3 млрд раз больше, чем для 32-разрядного процессора. Возвращаясь с небес на землю, мы видим, что 64-разрядный процессор Ultra Enterprise 10000 компании Sun Microsystems поддерживает на практике всего 64 Гбайт памяти.

Для операционных систем и приложений, способных обращаться к более чем 2 Гбайт памяти и манипулирующих большими объемами данных, результаты оказываются просто поразительными. Например, когда в конце 1996 года Oracle представила 64-разрядное решение, тесты показали, что время выполнения транзакции сервером базы данных Oracle7 сократилось в 200 раз на 64-разрядном DEC AlphaServer с 8 Гбайт памяти по сравнению с 32-разрядным AlphaServer с 2 Гбайт памяти. (Оба компьютера работали под управлением 64-разрядной версии UNIX компании Digital Equipment.) Наличие дополнительной оперативной памяти на 64-разрядной машине позволило загрузить всю базу данных объемом 6 Гбайт в кэш памяти, таким образом обращение производилось не к диску, а к памяти, что занимало микросекунды вместо миллисекунд. Конечно, такой подход нельзя назвать низкозатратным; AlphaServer, сконфигурированный для работы с крупной базой данных, может стоит сотни тысяч или даже миллионы долларов.

Кроме того, функциональность операционных систем и приложений зачастую отстает от возможностей процессоров: и операционные системы, и приложения необходимо модифицировать, чтобы они могли использовать преимущества более мощных процессоров. К сожалению, программному обеспечению требуется значительное время для адаптации к новым процессорам. К примеру, первый 32-разрядный процессор Intel, 80386, появился в 1985 году, тогда как Novell представила 32-разрядную операционную систему NetWare 3.0 только в 1990 году, а Microsoft свою Windows NT 3.1 - в 1993 году.

Вероятно, такого разрыва между NT и 64-разрядными микросхемами Intel (под кодовым названием Merced, появление которых ожидается в 1999 году) не будет, потому что Microsoft уже в течение нескольких лет работает над 64-разрядной версией NT. Тем не менее вряд ли кто удивится, если надежная 64-разрядная версия NT появится лишь пару лет спустя после представления Merced, особенно если учесть, что процессор будет иметь новую архитектуру, с явным параллельным выполнением инструкций (Explicitly Parallel Instruction Computing, EPIC). Чтобы воспользоваться преимуществами этой архитектуры, компилятор должен найти в исходном коде инструкции, выполнять которые можно параллельно, и затем создать машинный код, использующий этот внутренний параллелизм. Весьма вероятно, что пользователи 64-разрядных операционных систем UNIX компаний Digital Equipment, Hewlett-Packard и Sun станут первыми, кто воспользуется преимуществами Merced.

Достижения в скорости не отстают от достижений в сложности, причем первые не предполагают каких-либо изменений в операционной системе или программном обеспечении. Просто все выполняется быстрее на более быстром процессоре.

Как долго еще разработка процессоров будет идти такими темпами? Признаки снижения темпов уже проявляются с приближением отрасли к критической точке, где современная технология производства микросхем достигает своих пределов.

При прочих равных условиях, более быстрые и сложные процессоры потребляют больше энергии и выделяют больше тепла. Выделение тепла делает процессоры менее надежными и сокращает срок их службы. Эта проблема особенно серьезна в случае портативных компьютеров, поскольку они не имеют охлаждающих вентиляторов. Так, все современные портативные компьютеры имеют сенсорную схему, останавливающую процессор при перегреве. Энергопотребление - еще одна серьезная проблема портативных компьютеров, в результате срок службы батарей является одним из определяющих критериев при выборе модели.

Производители микросхем решают проблему перегрева главным образом за счет протравливания более тонких линий на плате. Изготовление микросхем с помощью 0,25-микронного процесса позволяет уменьшить их физический размер, потребляемую энергию и выделяемое тепло по сравнению с 0,35-микронным процессом. Кроме того, меньшие процессоры и работают быстрее. Наконец, производители получают больше микросхем из одной кремниевой подложки, а это позволяет снизить их цену. Сегодня процессоры для настольных систем изготавливаются с помощью 0,35-микронной технологии. Однако наиболее компактные процессоры, например Pentium MMX на 200 и 233 МГц компании Intel (под кодовым названием Tillamook для мобильных компьютеров), производятся на основе 0,25-микронной технологии. Tillamook питается от источника напряжением 1,8 В, а не 5 В как 486-й процессор и первые Pentium.

Судя по Таблице 1, в 2001 году мы будем иметь 0,10-микронный процесс производства микросхем с напряжением 1 В или менее. Однако, по мнению представителя Intel по связям с общественностью Говарда Гая, с употребляемыми материалами и процессами напряжение никогда не удастся сделать меньшим 1 В. Более того, современный фотолитографический процесс травления с использованием ультрафиолетовых лучей имеет нижний предел в 0,13 микрон. С учетом того, что 0,18-микронная микросхема Merced появится в 1999 году, мы можем заключить, что микропроцессорная отрасль наткнется на непреодолимую преграду со стороны как напряжения, так и размера. Однако в Соединенных Штатах исследования по разработке технологии, способной преодолеть эти ограничения, ведутся сразу в трех направлениях, но пока еще рано говорить о том, какое из них способно достичь поставленной цели.

RISC-ОВАННЫЙ БИЗНЕС

Другую стратегию масштабирования - Reduced Instruction Set Computing (RISC) - исповедуют такие производители, как DEC, HP, IBM, MIPS (подразделение Silicon Graphics) и Sun. Использование меньшего числа простых инструкций ведет к сокращению количества транзисторов на микросхеме. Вследствие того, что и сложность и высокая тактовая частота ведут к увеличению выделения тепла, простая архитектура RISC позволяет поднять тактовую частоту, не превышая допустимые пределы тепловыделения.

Какой процессор более эффективен, зависит от характера программы. Более сложный процессор работает лучше с программой, использующей напрямую его более сложные и многочисленные инструкции. Программы, не использующие эти инструкции, оказываются эффективнее на более быстром и простом процессоре. Даже при одинаковой тактовой частоте процессоры RISC выполняют обычно вычисления с плавающей запятой на 20% быстрее, чем процессоры CISC (Complex Instruction Set Computing). Сегодня наиболее быстрыми и мощными являются микропроцессоры RISC, такие как Alpha компании DEC и PA-8000 компании Hewlett-Packard.

Системы на базе RISC обычно дороже, главным образом вследствие меньших объемов их производства. Кроме того, разработчики программного обеспечения вынуждены создавать специальные версии своих программ для различных разновидностей UNIX, которые производители процессоров RISC поддерживают. Это требование увеличивает стоимость и ведет к сокращению числа доступных приложений для каждой платформы. (Процессор Alpha компании DEC способен выполнять NT и стандартные приложения для NT, но тем не менее Alpha не принадлежит к числу популярных платформ для NT.)

(1x1)

В настоящее время рыночной нишей RISC являются инженерные приложения, такие как обработка изображений, САПР и трехмерное моделирование, так как они чрезвычайно чувствительны к быстроте вычислений с плавающей точкой. Однако многие бизнес-приложения типа текстовых процессоров и электронных таблиц мало чувствительны к скорости вычислений с плавающей точкой; все, что им необходимо, - быстрое выполнение целочисленных операций, а в этой области современные процессоры Pentium могут поспорить с процессорами RISC. Учитывая низкую стоимость Pentium, они являются несомненными победителями на рынке бизнес-приложений. По той же причине они чрезвычайно популярны как процессоры для компьютеров с массовой параллельной обработкой (Massively Parallel Processing, MPP) с сотнями и тысячами процессоров.

Сегодня с точки зрения масштабируемости противопоставление "RISC или CISC" потеряло свою остроту. Технически две архитектуры не столь далеко отстоят друг от друга, как прежде. Новые процессоры CISC очень быстры и эффективны, а современные процессоры RISC сложнее своих предшественников. В последние несколько лет враждующие лагеря стали подавать признаки примирения. Например, Data General представила свой Aviion AV 4900 на базе Pentium в конце 1996 года. Ранее все системы Data General были построены на базе процессоров Motorola. Аналогично ProServa SH, также представленный в конце 1996 года, стал первой машиной NEC Technologies на базе Pentium. Ранее NEC использовала только процессоры MIPS.

В 1997 году и DEC, и Hewlett-Packard стали теснее сотрудничать с Intel. HP помогла Intel разработать набор инструкций IA-64, причем, согласно заявлениям, он обеспечивает аналогичную RISC производительность и возможность выполнять программы на базе стандартного набора инструкций Intel. Merced первым из процессоров Intel станет поддерживать IA-64. DEC собирается также разработать процессоры, поддерживающие IA-64, а производить их станет Intel.

ОДИН В ПОЛЕ НЕ ВОИН

В опубликованной в 1997 году статье в Economist автор процитировал слова Гордона Мура о том, что в 1998 году производственные мощности Intel превысят рубеж в 3 млрд долларов. Данная цифра отражает тот факт, что заметных достижений в масштабируемости на уровне одного процессора можно добиться только за счет значительных вложений в технологию производства. Такие затраты сказываются на стоимости новейших процессоров. Однако повысить масштабируемость можно и более простыми и дешевыми средствами, например посредством многопроцессорной обработки, при которой два или более ЦПУ работают вместе на одной машине. Это позволяет добиться хорошей масштабируемости без изменения базовой технологии производства.

Наиболее распространены две многопроцессорные технологии: симметричная и параллельная обработка. Неунифицированный доступ к памяти (Nonuniform Memory Access, NMA) является новейшей разновидностью SMP.

SMP используется главным образом при работе с большими базами данных, хотя в последние годы она стала применяться для складов данных и систем поддержки принятия решений. Со своей стороны MPP применяется почти исключительно в научных и инженерных приложениях для сложных программ с большим объемом вычислений, например для моделирования погоды на земном шаре или взаимодействия субатомарных частиц.

С точки зрения масштабируемости основное различие между SMP и MPP в том, каким образом отдельные процессоры управляют памятью. В случае SMP все процессоры совместно используют одну общую шину памяти. Конкуренция за шину снижает эффективность архитектуры с общей памятью при увеличении числа процессоров. Наличие отдельного высокоскоростного кэша памяти для каждого процессора, как это предусмотрено в SMP-машинах старшего класса, смягчает, но не устраняет данную проблему. Из-за такого ограничения многие конфигурации SMP состоят максимум из 2, 4 или 8 процессоров. Поддержка более 8 процессоров предполагает всякие изыски в аппаратной архитектуре, и лишь редкие SMP-машины поддерживают свыше 32 процессоров. Несомненным плюсом подобного подхода является то, что SMP-компьютер выглядит для приложения как обычная однопроцессорная машина; это значительно упрощает программирование. Обычно все, что необходимо, чтобы воспользоваться преимуществами многопроцессорной обработки, - это многопоточная программа и операционная система, способная распределять потоки между процессорами.

В случае MPP каждый процессор имеет собственную память и шину памяти. Преимуществом такой конфигурации является то, что конкуренция за шину отсутствует, а число процессоров может достигать сотен и тысяч. (Как правило, решение считается "массово-параллельным", только когда число процессоров превышает 64.) К сожалению, каждый процессор должен иметь также собственный сегмент кода для выполнения: система не выглядит как однопроцессорная для приложения. В прошлом ученым и инженерам приходилось специально писать программы под конкретную архитектуру MPP, с которой они работали. В наши дни появление стандарта на интерфейс передачи сообщений упрощает для программистов задачу написания переносимого кода для разных систем.

Технология MPP развивалась главным образом за счет ее применения в финансируемых правительством проектах, и

с прекращением холодной войны для нее наступили тяжелые времена. Некоторые из крупнейших и наиболее успешных производителей систем MPP, например Cray Research и Convex Computer, были приобретены производителями рабочих станций/серверов. Тем не менее их MPP-компьютеры не прекратили своего существования. Например, Exemplar SPP2000 является современной инкарнацией Convex. Cray, купленная Silicon Graphics, продолжает производить MPP-компьютеры под маркой Cray. Другим чрезвычайно мощным MPP-компьютером является Intel Paragon.

NUMA можно рассматривать как промежуточный этап между SMP и MPP. Она определяет архитектуру для взаимодействия нескольких "узлов" SMP. Узлом может быть компьютер в кластере, хотя сегодня чаще всего имеют в виду группу процессоров в компьютере. Каждый узел располагает своей собственной выделенной физической памятью, что устраняет конкуренцию за ресурсы. Узлы связаны посредством координатного коммутатора таким образом, что все они могут обращаться к одному и тому же виртуальному пространству памяти. Все узлы вместе выглядят для приложения как одна SMP-машина.

ПИРАНЬЯ WINDOWS NT

Как и в случае однопроцессорных компьютеров, операционная система служит стержнем для многопроцессорной масштабируемости. Сегодня и MPP, и NUMA - технологии исключительно для UNIX. Это означает, что UNIX продолжает доминировать в системах старшего класса. Например, серверы Aviion AV компании Data General и NUMA-Q 2000 компании Sequent - обе модели появились в 1997 году - представляют собой 32-процессорные системы. Скорее всего, UNIX будет продолжать доминировать в системах SMP с числом процессоров более 8 отчасти вследствие того, что NT 4.0 Enterprise Edition лицензируется для поддержки восьми процессоров. Пока Microsoft не сделала никаких заявлений относительно лицензирования NT 5 для компьютеров, имеющих более 8 процессоров.

Выпущенная в 1996 году, NT 3.51 поддерживала четырехпроцессорные SMP-машины, и целое множество таких компьютеров для NT на базе Pentium Pro появилось в том же году, в частности Revolution Quad6 200/512 от Advanced Logic Research, Affinity XEPro от Austin Computer Systems, ProLiant 500 6/200 от Compaq, Prioris ZX 6200MP/4 от DEC, ProServa SH от NEC и Aquanta QS/6 от Unisys.

Кроме того, в 1996 году Intel начала производить системную плату Standard High-Volume (SHV) с четырьмя процессорами. Плата SHV имеет четыре процессора Pentium Pro, 4 Гбайт памяти, две равноправные подсистемы ввода/вывода на базе PCI и комплект микросхем. Последний представляет собой набор крупномасштабных интеграционных схем, выполняющих несколько жизненно важных функций, например контроллера памяти, контроллера диска, моста PCI, тактового генератора реального времени, контроллера непосредственного доступа к памяти, контроллера клавиатуры, контроллера манипулятора мышь и контроллера вторичного кэша. Системная плата SHV вкупе с многопроцессорной спецификацией Intel составляет аппаратный стандарт на четырехпроцессорные SMP-машины на базе процессоров Intel. Такие компьютеры начали появляться в середине 1996 года, среди них Aviion AV 4900 от Data General и NetServer LX Pro от Hewlett-Packard, причем обе модели рассчитаны на операционную систему NT.

В 1996 году некоторые производители попытались преодолеть положенный NT предел в четыре процессора. Однако, согласно появившемуся в конце 1996 года отчету Aberdeen Group, восьмипроцессорные системы NT были способны выполнять лишь 7200 транзакций в минуту (TPM), а данная цифра лишь на 7% выше, чем 6750 TPM для 4-процессорной системы. (Эти значения получены в результате выполнения контрольных тестов TPC-C организации Transaction Processing Counsil.) Подобный выигрыш вряд ли мог оправдать приобретение восьмипроцессорной системы на базе NT. Между тем четырехпроцессорные системы более чем вдвое превосходили по производительности однопроцессорные системы.

Однако в 1997 году производители оборудования нашли способы повысить эффективность использования нескольких плат SHV в одном корпусе. Например, компания Corollary объявила, что она разрабатывает технологию Profusion для реализации восьмипроцессорной обработки с помощью платы SHV и микросхемы Deschutes компании Intel. Intel с энтузиазмом отнеслась к этим планам и приобрела Corollary в 1997 г. Compaq, Data General, Hitachi, NCR, Samsung и Unisys объявили, что они собираются приобрести лицензию на Profusion.

Другая технология с использованием нескольких плат SHV, OctaScale, была разработана NCR и реализована в восьмипроцессорном WorldMark 4380 той же компании в 1997 году; NCR предлагает лицензии на OctaScale.

Конец 1997 года был ознаменован появлением нескольких других платформ SMP для NT на базе Pentium Pro: Unisys выпустила свой 10-процессорный Aquanta XR/6, а Axil Computer - монтируемый в стойку восьмипроцессорный SMP-сервер Northbridge NX803. HP объявила о восьмипроцессорном NetServer на базе системной платы NX801 компании Axil. На время написания статьи Axil собиралась выпустить NX801 в марте 1998 года.

Если у вас создалось впечатление, что стая пираний NT подбирается к самому сердцу рынка SMP, то вы не одиноки в своем мнении.

Конечно, масштабируемость - это не только увеличение числа процессоров. Это прежде всего способность заставить процессоры выполнять полезную работу, а не расходовать свою мощь исключительно на координацию совместных вычислений. Производители утверждают, что ситуация находится у них под контролем. Hewlett-Packard, например, заявляет, что восьмипроцессорный NetServer имеет на 75-96% большую производительность, чем четырехпроцессорный NetServer - таким образом, масштабируемость приближается к линейной. По утверждению Data General, ее восьмипроцессорный AV-8600 имеет в 1,6 раза лучшую производительность, чем четырехпроцессорный AV-8600 при выполнении NT 4.0 и Oracle8.

Эти показатели аналогичны сообщенным ранее для меньших конфигураций. Например, доклады Transaction Processing Counsil (TSP) начала 1997 года сообщают, что четырехпроцессорный NetServer имеет на 88% лучшую производительность, чем его двухпроцессорный аналог (7351 TPM по сравнению с 3904 TPM). Аналогично TPC сообщает о 75-процентном превосходстве в производительности двухпроцессорного сервера Compaq ProLiant 5500 над однопроцессорным аналогом (6856 по сравнению с 3898 TPM). Четырехпроцессорный ProLiant 7000 показал 11056 TPM, т. е. он был на 61% более производительным, чем двухпроцессорный 5500.

Многопроцессорная симметричная обработка имеет важное значение для NT Server, особенно когда платформа служит в качестве сервера приложений. Тем временем Microsoft попыталась навесить на NetWare компании Novell ярлык сервера файлов и печати, которому масштабирование ввода/ввода необходимо более, нежели увеличение его вычислительной мощи. (Серверы файлов/печати служат главным образом для обеспечения доступа к файлам на диске и перекачки данных по сети клиенту или принтеру - обе задачи предполагают интенсивную загрузку системы ввода/вывода.) Однако Novell быстрыми темпами преобразует NetWare и IntranetWare в высокопроизводительную платформу сервера приложений на Java с поддержкой Novell Directory Services (NDS). Развивая эту стратегию, Novonyx (совместное предприятие Novell и Netscape) сообщает о поставке Web-сервера Enterpise Server компании Netscape в пакете с NetWare.

Учитывая роль NetWare как корпоративного сервера Java, Web и каталогов, нет ничего удивительного в том, что Novell готовит гигантский прыжок к многопроцессорной обработке в NetWare. NetWare 5.0 (кодовое название Moab), ожидаемая в середине 1998 года, будет поддерживать до 32 процессоров. NetWare 4.1 поддерживает 4-процессорную SMP и модифицируется для поддержки до 12-процессорной SMP. Вообще говоря, NetWare 4.1 SMP - это OEM-продукт, реализуемый производителями серверов, так как он должен быть адаптирован к конкретной машине.

КЛАСТЕРИЗАЦИЯ

Многопроцессорный компьютер выполняет лишь одну копию операционной системы. Если выполняются несколько копий ОС, но процессоры интегрированы таким образом, что, с точки зрения администратора, пользователя или приложения, они выглядят как одна система, то мы имеем дело с кластеризацией.

Несмотря на то что Sun объявила о 64-процессорной SMP-машине (Starfire Ultra Enterpise 10000), разработка и создание SMP-машин с 32 или 64 процессорами представляет серьезные трудности и сопряжена со значительными расходами, поэтому с позиции соотношения цена/производительность наиболее эффективны SMP-системы, число процессоров в которых не превышает 16. Однако даже для NUMA верхний предел составляет в настоящее время 32 процессора.

MPP является одним из вариантов, но вряд ли вы станете к ней прибегать без особой необходимости, особенно если учесть цену в десятки, а то и сотни миллионов долларов. Другую альтернативу представляет кластеризация. Она служит для объединения высокопроизводительных систем, причем кластеры обходятся намного дешевле, чем MPP-компьютеры. Например, 64-процессорный кластер будет стоить 8 млн долларов, а 96-процессорный - от 9 до 12 млн долларов (см. Таблицу 2, где перечислены некоторые тестированные конфигурации TPC).

Как видно из Таблицы 2, UNIX пока задает тон на рынке кластерных систем старшего класса, причем предпочтением пользуются процессоры RISC. Системы этого класса достаточно зрелые и прошли полноценное тестирование, и они выглядят как одна система для приложений, администраторов и пользователей.

Рынок кластерных систем младшего класса на базе Windows NT постепенно начинает развиваться, причем само его появление связано с выходом Microsoft Cluster Server в составе NT 4.0 Enterprise Edition. Однако пока MCS поддерживает только два компьютера в кластере. Более того, если пользователи и администраторы видят кластер как единую систему, то к приложениям это не относится. Наконец, MCS не осуществляет перераспределения нагрузки, т. е. выделения ресурсов под задачи в зависимости от их наличия. (Дополнительную информацию о кластерных решениях младшего класса смотри в статье М. Гурвица "Управление отказоустойчивостью" в февральском номере LAN за этот год.)

Microsoft пообещала представить MCS с поддержкой восьми узлов в кластере. Со своей стороны Novell объявила о поддержке кластера с 16 узлами в NetWare 5. Оба производителя заявляют, что их кластерные решения будут осуществлять распределение нагрузки и выглядеть для приложений как одна система.

По мере того как операционные системы и приложения станут реализовывать потенциал масштабируемости кластеров, технология кластеризации станет, без сомнения, основным способом экономичного масштабирования NT и NetWare за пределы SMP. В настоящее время кластеризация NT является скорее отказоустойчивой технологией, чем масштабируемым решением, в то время как кластеризация NetWare - пока еще только обещания.

ТРЕБУЕМЫЙ МАСШТАБ

Стратегии масштабируемости становятся более доступными с финансовой точки зрения с переходом от UNIX и RISC к средам на базе NetWare, Windows и Intel. Сегодня кластеризация, новые многопроцессорные технологии и более мощные процессоры дают пользователям больше вариантов выбора, чем когда-либо прежде, для построения серверных платформ, способных поддерживать ресурсоемкие приложения и растущие сети.