Вместо Linpack создан новый тест, обещающий встряску Top500

ДЖЕК ДОНГАРРА, создатель Linpack, утверждает, что этот самый широко применяемый тест дл оценки быстродействия суперкомпьютеров устарел

Разработчик самого широко применяемого теста для оценки быстродействия суперкомпьютеров заявляет, что тот устарел, и предлагает новый, который будет введен в действие с ноября.

Джек Донгарра, профессор Университета Теннесси, еще в 1970-х годах создал тест Linpack, на основании результатов которого последние двадцать лет строится перечень самых быстрых суперкомпьютеров Top500. По убеждению Донгарры, сегодня Linpack уже не является точным показателем реальной производительности систем.

Разработанная ученым новая мерка, полагает он, позволит заказчикам более точно оценивать быстродействие суперкомпьютеров на реальных приложениях.

Более того, считает Донгарра, переход на новый тест может привести к изменению самих принципов проектирования суперкомпьютеров.

Список Top500 публикуется дважды в год, в июне и ноябре, и каждая редакция пользуется пристальным вниманием: поставщики и государства пользуются им, чтобы «меряться», у кого суперкомпьютеры самые быстрые. Нынешний лидер — система Tianhe-2, разработанная в китайском Национальном университете оборонных технологий.

Linpack применяется для составлений рейтинга суперкомпьютеров с 1993 года, когда был опубликован первый выпуск списка Top500, однако сейчас этот тест уже нельзя считать показателем быстродействия реальных приложений, уверен Донгарра.

«Linpack оценивает скорость решения систем линейных уравнений, — напомнил он в ходе анонса нового теста, который называется High Performance Conjugate Gradient (HPCG). — С течением времени появляется все больше приложений, требующих более сложных вычислений. Для них нужна высокая пропускная способность шины данных и малое время отклика, и доступ к данным они осуществляют нерегулярно. Linpack неспособен точно оценить скрость выполнения таких вычислений».

HPCG необходим, по мнению Донгарры, хотя бы уже потому, что производители компьютеров специально оптимизируют свои системы так, чтобы они попадали на более высокие позиции в Top500. Будучи основанным на устаревшем тесте, рейтинг подталкивает производителей к тому, чтобы проектировать архитектуру своих систем неоптимально для современных приложений.

«Зачем строить машину, которая хорошо справляется с ‘несуществующими’ задачами?» — говорит Донгарра. Свой новый тест он разработал вместе с Майклом Эру из Национальной лаборатории Сандия. «Нужны машины, которые хорошо справляются с более широким кругом приложений», — добавляет автор Linpack.

Но учитывая, что новый тест планируется вводить постепенно, он способен спровоцировать разногласия по поводу того, у кого же теперь самый быстрый в мире суперкомпьютер. До того, как HPCG станет главной меркой, по которой строится Top500, может пройти еще несколько лет.

«Удобство Linpack в том, что это всего одно число, по которому можно однозначно судить, что имеется в виду под самым быстрым компьютером, — отмечает Донгарра. — Но с вводом нового теста будут уже два числа».

Он планирует сохранить тест Linpack наряду с HPCG ради информации о тенденциях, предоставляемой первым. Но кроме того, старый тест будет применяться просто потому, что на проверку большинства суперкомпьютеров по-новому может уйти немало времени.

«Думаю, что в ноябре в Top500 будет всего несколько систем, которые проверили по новому тесту, — продолжает Донгарра. — Тестирование всех позиций займет определенное время — может пройти до пяти лет, прежде чем мы увидим полностью обновленный Top500. Начиная с ноября в рейтинге появится второй столбец — c показателями по новому тесту».

Появление двух конкурирующих тестов может привести к тому, что различные суперкомпьютерные центры будут заявлять о своем лидерстве по разным показателям. В результате станет трудно с определенностью говорить, у кого суперкомпьютер быстрее. Но похоже, что первое время составители Top500 продолжат считать Linpack «главным» показателем.

Новый тест способен привести к большим переменам в наборах задач, на которых системы будут демонстрировать максимум быстродействия, полагает Донгарра: в HPCG делается упор на архитектурные особенности, которые не всегда просто оптимизировать в суперкомпьютерах, хорошо справляющихся с Linpack.

«Мне кажется, отныне для каждого конкретного набора задач придется оценивать, какой из двух показателей имеет больше смысла, — добавил он. — И со временем, надеюсь, новый тест приобретет больший вес».

HPCG был разработан по просьбе Министерства энергетики США, сообщил Донгарра: «Там сейчас ждут появления экзаскалярных систем, и есть опасения, что, если построить такой компьютер с расчетом на быстрое выполнение Linpack, на других задачах его результативность будет уже хуже».

Университет Теннесси осуществляет совместные проекты с минэнерго, поэтому, по словам Донгарры, он хорошо знаком его с требованиями к приложениям. Но по его мнению, новый тест будет хорошим индикатором быстродействия суперкомпьютеров и при исполнении приложений других типов, например применяемых в нефтегазовой разведке и моделировании климата.

«Проблема Linpack в том, что он делает акцент на единственную составляющую производительности — количество операций с плавающей запятой в секунду, — отмечает Донгарра. — При этом остаются за скобками такие особенности, как время отклика системы и иерархия памяти. Новый тест поможет выявить слабые места систем в этих отношениях».

В предстоящие несколько месяцев Донгарра собирается распространять код нового теста среди проектировщиков суперкомпьютеров, чтобы дать им возможность начать оптимизировать свои системы и предложить доработки HPCG до того, как он будет официально введен в действие. Это произойдет на ноябрьской конференции по суперкомпьютерам SC13 в Денвере, где будет представлен новый выпуск перечня Top500.