Новое поколение тестов SPEC

Дмитрий Французов, Дмитрий Волков

Первая серьезная замена комплекта тестов была проведена комитетом SPEC после появления в начале 90-х RISC процессоров. Тогда вместо основного набора SPEC_int89 и SPEC_fp89 были взяты на вооружение смеси SPEC_int92 и SPEC_fp92. А уже в 1994 году с появлением новых компиляторов, обладающих средствами оптимизации под RISC процессоры, вводятся новые метрики SPEC_base_int92 и SPEC_base_fp92, а, точнее говоря, дополнительные требования на использование в компиляторах режима оптимизации.

Однако, сегодняшнее существенное увеличение производительности процессоров и увеличение возможностей дополнительных ресурсов, например кэш-памяти, опять потребовало применения принципиально нового тестового набора. В октябре 1995 года в обращение введены новые тестовые комплекты CINT95 и CFP95. Символ "C" в названии подчеркивает ориентацию теста на оценку отдельных компонентов компьютерной системы, а именно - процессора, памяти и компилятора. Задача комплексной оценки вычислительной системы в целом, включая периферию, графику, сетевое оборудование, системы управления баз данных остается за рамками компетенции тестов CINT95 и CFP95 [1].

Причины и требования

Предлагая новый тестовый набор, комитет SPEC изложил причины появления нового набора образца 1995 года и определил ряд правил по их использованию. Среди причин необходимости разработки нового комплекта тестов назывались следующие:

· Время выполнения тестов. Набор 1992 года на современных процессорах выполняется максимум за 1 минуту, а на платформах Alpha/333 - в течение нескольких секунд. Кроме того, учитывая несовершенные и еще неунифицированные в наборе 1992 года средства замера времени выполнения, полученные результаты уже стало невозможным использовать для сравнения и анализа производительности вычислительных систем, в частности, в силу вносимых погрешностей.

· Размер кода. Современные процессоры: PA 8000, MIPS R1000, POWER PC604, ULTRA SPARC имеют достаточно большой объем встроенной кэш-памяти куда запросто можно было поместить код старого тестового набора 1992 года, а это уже не позволяет объективно оценивать эффективность системы организации памяти.

· Области приложений. После тщательного анализа множества пользовательских программ стала очевидна необходимость корректировки состава задач старого набора для более адекватного отражения современных областей приложений. Сегодня считается, что программы, составляющие новый набор, покрывают все реальные сферы применения рабочих станций и серверов, и содержат более "реалистичный" код.

· Компиляторы. Разработчики компиляторов достаточно хорошо изучили программы тестового набора 1992 года и научились прекрасно оптимизировать компиляторы конкретно под этот код, поэтому единственной возможностью исключить такую "оптимизацию" стала замена программ, составляющих тестовый набор.

· Переносимость и унифицируемость. Тестовый набор SPEC предназначен прежде всего для оценки открытых систем, поэтому набор 1995 года строго соответствует стандартам POSIX и ANSI. В частности, для замера времени выполнения используются только штатные средства. В ближайшее время ожидается адаптация кодов теста для Windows NT при строгом сохранении используемых принципов замера времени.

· Инструментальные средства. Кроме собственно тестового набора, комитетом SPEC разработан и инструментарий, использование которого является обязательным при исполнении набора 1995 года. В списке требований, регламентирующих порядок тестирования, находятся следующие соглашения, обязательные для исполнения:

· Времени выполнения. Инструментарий определяет стандартные средства измерения продолжительности выполнения тестов, основанные на вычислении среднего времени из серии запусков, и исключающие внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. Дополнительно, в формируемом отчете обязательно присутствует "базовое" время (References time) - время выполнения теста на "эталонной" машине, в качестве которой используется SPARC-station 10/40 в конфигурации с кэш-памятью второго уровня. В отчет включается также относительное время выполнения тестов по сравнению с временем отработки тестов на эталонной машине, - эта оценка является основной метрикой для данного набора.

· Формирование отчета. Описание конфигурации. Формирование отчета происходит полностью автоматически с использованием соответствующего инструментария. При этом особое внимание уделяется стандартизации формы отчета, в котором должно присутствовать полное описание конфигурации тестируемой системы, операционной системы и ключей запуска компилятора.

· Средства запуска и компиляции. Вместо системы меню, используемой в версии теста 1992 года, инструментарий SPEC95 включает командный язык и соответствующую систему настройки параметров, а также средства построения и запуска тестовых программ и самого инструментария.

Состав тестовых наборов

Так же как и для набора образца 1992 года новый комплект тестов предлагает следующие метрики для оценки производительности при выполнении операций целочисленной и вещественной арифметики:

• оценка скорости выполнения теста с оптимизированым (SPECint95 и SPECfp_95) и не с оптимизированным (SPECint base_95 и SPECfp base_95) режимом компиляции;
• оценка пропускной способности системы, которая является актуальной для SMP архитектур и/или многозадачного режима работы и также вычисляется для оптимизированного (SPECint_rate95 и SPECfp_rate95) и не оптимизированного (SPECint_rate_base95 и SPECfp_rate_basefp95) режима работы.

Смесь CINT95 состоит из 8, а CFP95 из 10 программ. В таблицах 1 и 2 для каждого тестового набора указан перечень программ, время их выполнения на эталонной машине, прикладная область и характеризующие ее спецификации.

Как видно из приведенных таблиц, в тестовый набор включены программы, используемые в самых различных прикладных областях. При анализе возможностей вычислительных систем целесообразно проводить не только их комплексное сравнение по итоговому рейтингу, составленному как среднее геометрическое по результатам выполнения всех программ, но и узкоориентированное - по конкретной программе, в случае если предполагаемое использование вычислительной системы соответствует выбранной предметной области.

В комплект официальной поставки тестового набора образца 1995 года входят:

• тексты программ, составляющих тестовый набор;
• инструментальные средства SPEC95 для компиляции, запуска, сравнения результатов и формирования отчета. Поставка осуществляется в двоичном кодах и в исходных текстах;
• описание правил запуска тестовых программ;
• описание правил формирования отчетов.

Состав официального отчета комитета SPEC рассмотрим на примере тестирования системы RM600 компании Siemens Nixdorf. Отчет состоит из нескольких секций: время выполнения с указанием базового времени, времени прогона теста на тестируемой системе, относительного времени по каждой программе и их среднее геометрическое; полное описание тестируемой системы; описание операционной и файловой систем; используемые флаги и ключи.

К сожалению, нет никакого соответствия и нет никаких правил пересчета из SPEC_92 в SPEC_95, что, впрочем достаточно закономерно - набор 1995 года имеет принципиальные отличия, даже по составу программ. Появление нового тестового набора сразу внесло существенные коррективы в уже устоявшиеся рейтинги систем, а с середины 1996 года результаты на тестовом наборе 1992 года уже не будут официально распространяться комитетом SPEC.

Лидеры SPEC_95

В начале 1996 года стали известны результаты тестирования процессора R10000: 9 SPECint95 и 19 SPECfp9, а через несколько дней компания SGI анонсировала системы Challenge и POWER Challenge на базе этого чипа, имеющие производительность 8.9 SPECint95 и 12.3 SPECfp95. Это не застало врасплох компанию Digital, которая через неделю объявила о версиях 333 МГц и 350 МГц процессора Alpha. Однако Digital первоначально опубликовала результаты в более предпочтительных единицах SPEC92, полученных на оптимизированных компиляторах, но, быстро исправившись, обнародовала результаты по новой методике 10.1 SPECint95 и 14.2 SPECfp95. После появления первых результатов для HP PA-8000 оказалось, что именно микропроцессоры этих трех компаний заняли лидирующее положение по рейтингу SPEC_95. Очень близко к этой тройке находится новая звезда - Intel Pentium Pro, особенно по показателю производительности работы с целочисленной арифметикой.

Так же как и для Digital Alpha, быстродействие Sun UltraSPARC оказалось в сильной зависимости от возможностей компиляторов, чего нельзя утверждать про чипы PA-8000, R10000 и Pentium Pro, в которых предусмотрена аппаратная оптимизация кода. Таким образом, для UltraSPARC показатели SPEC_95 остаются зависимыми от эффективности компиляторов, что достаточно наглядно можно проследить по приведенным в таблице 3 данным по имеющимся на рынке и анонсированным микропроцессорам. Поэтому до тех пор, пока для этого процессора не появятся новые компиляторы, для него будет предпочтительней использовать показатели SPEC92, а не более тяжелых SPEC95.

Поставляемые сегодня процессоры

Анонсируемые процессоры

Перспективные процессоры

* - Оценка

Таблица 3.
Результаты тестирования микропроцессоров.

В общем случае, чистая производительность только процессора может отличаться от показателей, получаемых на компьютерной системе, использующей данный чип. Для получения более рельефного представления о современном рейтинге по показателю SPEC_95 в таблице 4 приведены данные по пяти лучшим системам для всех восьми метрик нового тестового набора.

Заключение

В профессиональной компьютерной прессе постоянно высказываются мнения относительно полезности использования тестовых оценок. Однако, в пресс-релизах фирм, использующих ту или иную технику, в ряду причин, приведших к конкретному выбору, кроме конкурентоспособной цены или опыта фирмы-производителя в конкретных прикладных проектах, всегда в качестве аргумента приводятся высокие данные тестирования выбранной платформы.

Литература

[1].Д.Французов. Оценка производительности вычислительных систем. Открытые системы, #2, 1996, с.58-66.