Современные процессоры в призме SPEC_95

Рост мощности компьютерных платформ обычно сопровождается изменениями средств их оценки. В октябре прошлого года комитет SPEC выпустил новые версии тестов, именуемые теперь CINT95 и CFP95.

Причины

Среди причин, вызвавших появление нового комплекта тестов, комитет SPEC выделил следующие особенности новых компьютерных архитектур, не позволяющие объективно оценить производительность на основе набора SPEC 92: время выполнения тестов, размер кода, области приложений и возможности компиляторов.

1. Тесты 1992 года на современных процессорах выполняются меньше чем за минуту, на некоторых - за несколько секунд. Кроме того, результаты, полученные при прогонах тестов SPEC образца 1992 года, вследствие несовершенности и отсутствия унификации средств замера времени их выполнения, невозможно использовать для сравнения и анализа.

2. Современные процессоры имеют большой объем встроенной кэш-памяти, где запросто можно поместить весь код тестов 1992 года, что уже не позволяет объективно оценивать эффективность системы организации памяти.

3. С 1992 года произошли определенные изменения в структуре областей приложения компьютерной техники, поэтому после тщательного анализа множества пользовательских программ в наборе SPEC 95 была проведена корректировка состава тестовых задач. Теперь можно считать, по крайней мере пока, что программы нового набора служат большинству реальных сфер применения рабочих станций и серверов и содержат более "реалистичный" код.

4. Разработчики компиляторов достаточно хорошо изучили программы SPEC 92, и не секрет, что ряд компиляторов при установке определенной последовательности ключей прекрасно оптимизирует конкретный код тестовой программы. В этой ситуации единственной возможностью исключить такую "оптимизацию" стала замена программ.

Современный тестовый набор SPEC 95 полностью соответствует стандартам POSIX и ANSI. В ближайшее время ожидается адаптация кодов теста для Windows NT при строгом сохранении используемых принципов замера времени. Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, применение которого обязательно.

... и требования

В списке обязательных требований, регламентирующих порядок тестирования, комитет SPEC указывает порядок замера времени выполнения, форму отсчета, а также порядок запуска и компиляции.

Собственный инструментарий теста SPEC_95 имеет стандартные средства изменения продолжительности выполнения тестов на основе вычисления среднего времени из серии запусков. При этом исключается внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В формируемом отчете обязательно присутствует "базовое" время - время выполнения теста на "эталонной" машине (SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня). В отчет включается также относительное время выполнения тестов, по сравнению со временем отработки тестов на эталонной машине.

Формирование отчета происходит полностью автоматически с применением соответствующего инструментария. Особое внимание уделяется стандартизации формы отчета: обязательно наличие полного описания конфигурации тестируемой системы, операционной системы и ключей запуска компилятора.

Вместо системы меню, используемой в версии теста 1992 года, инструментарий SPEC95 включает командный язык и соответствующую систему настройки параметров, а также средства построения и запуска тестовых программ и самого инструментария;

Новые лидеры

В начале 1996 года стали известны результаты тестирования процессора R10000 9 SPECint95 и 19 SPECfp9, а через несколько дней компания SGI анонсировала системы Challenge и POWER Challenge, построенные на базе этого чипа и имеющие производительность 8,9 SPECint95 и 12,3 SPECfp95. Это событие не застало врасплох компанию Digital, которая через неделю объявила о создании версий процессора Alpha с частотами 333 МГц и 350 МГц. Однако Digital первоначально опубликовала результаты в единицах SPEC92, полученных на оптимизированных компиляторах, а затем, быстро исправившись, обнародовала оценки уже по новой методике - 10,1 SPECint95 и 14,2 SPECfp95. После появления первых результатов для процессора HP РА-8000 оказалось, что именно процессоры этих трех компаний заняли сегодня лидирующее положение в рейтинге SPEC 95. Очень близка к этой тройке, особенно по показателю производительности работы с целочисленной арифметикой, восходящая на микропроцессорном небосклоне звезда - Intel Pentium Pro.

Оказалось, что быстродействие процессора Sun UltraSPARC, так же, как и Digital Alpha, в значительной степени зависит от возможностей компиляторов, чего нельзя сказать про чипы РА-8000, R10000 и Pentium Pro, где предусмотрена аппаратная оптимизация кода. Эту зависимость можно проследить по приведенным в таблице 2 данным о имеющихся на рынке и анонсированных микропроцессорах. Поэтому до тех пор пока для этого процессора не появятся новые компиляторы, предпочтительней для него использовать показатели SPEC92, а не более "тяжелых" тестов SPEC95.

Для еще не существующих процессоров указаны предположительные данные и время выпуска. Некоторые производители не указывают предлагаемых показателей тестов SPEC92 по причине их неактуальности ко времени их выхода, поэтому в ряде граф стоят пробелы. Результаты тестирования по новому тесту процессора MIPS R8000 не были проведены (или обнародованы). В графе "Дата выпуска" "кв" означает квартал, "п" - полугодие.

Показатели быстродействия компьютерной системы с каким-либо процессором могут отличаться от его "чистой" производительности, поэтому для получения более четкого представления о современном рейтинге по показателю SPEC 95 в таблице 1 приведены данные, относящиеся к пяти лучшим системам для всех восьми метрик нового тестового набора.

Несмотря на то что в профессиональной компьютерной прессе достаточно часто высказываются сомнения относительно полезности использования тестовых оценок, тем не менее в пресс-релизах фирм среди причин, объясняющих выбор конкретной платформы, кроме конкурентоспособной цены или наличия у фирмы опыта решения конкретных прикладных задач обязательно приводятся сравнительные данные тестирования.

Состав SPEC_95

Для оценки скорости выполнения теста в оптимизированном и неоптимизированном режимах компиляции в тесте предлагаются метрики SPECint95/ SPECfp 95 и SPECint base 95/SPECfp base 95, соответственно.

При оценке пропускной способности системы, что особенно важно для SMP-архитектур и/или многозадачного режима работы, также вычисляются оценки для оптимизированного (SPECint rate95 и SPECfp rate95) и неоптимизированного (SPECint rate base95 и SPECfp rate basefp95) режимов выполнения.

Тест CINT95 состоит из 8-ми, а CFP95 из 10 программ, охватывающих следующие области применения. искусственный интеллект, моделирование, программирование и компиляция, сжатие данных, интерпретация языков, обработка изображений, гидродинамика, предсказание погоды, квантовая физика, астрофизика, электромагнетизм, гидродинамика, квантовая химия.

В комплект официальной поставки тестового набора образца 1995 года входят:

тексты программ, составляющих тестовый набор;

инструментальные средства SPEC95 для компиляции, запуска, сравнения результатов и формирования отчета (поставка осуществляется в двоичном кодах и в исходных текстах);

описание правил запуска тестовых программ;

описание правил формирования отчетов.

Нет никакого соответствия между результатами тестов SPEC 92 и SPEC 95, соответственно отсутствуют и правила "пересчета" результатов из одного в другой, что, впрочем, достаточно закономерно - набор 1995 года имеет принципиальные отличия, даже по составу программ. С середины 1996 года результаты на тестовом наборе 1992 года уже не будут официально распространяться комитетом SPEC.