Урок новейшей ИТ-истории

СуперЭВМ считается передовой тогда, когда попадает в рейтинг проекта TOP500, публикуемый дважды в год (в июне и ноябре, начиная с июня 1993 г.) на сайте: www.top500.org. В настоящее время Россия занимает седьмое место по количеству суперкомпьютеров, включенных в рейтинг. Из одиннадцати российских супер­ЭВМ уровня ТОР500 пять задействованы в научных исследованиях, причем две из них изготовлены в России. За всю историю существования рейтинга в него попали восемь суперкомпьютеров, произведенных на отечественных предприятиях. О них и пойдет речь в данной статье.

Начало: МВС 1000М

Первым отечественным суперкомпьютером, удостоившимся чести быть упомянутым в рейтинге ТОР500, стала ЭВМ под названием МВС 1000М, установленная в конце 2001 г. в Межведомственном вычислительном центре РАН в Москве. В июне 2002 г. суперЭВМ МВС 1000М была единственной на территории РФ, входившей в рейтинг, и занимала в нем 64‑е место.

В этой ЭВМ было применено 768 RISC-процессоров Alpha 21264 с тактовой частотой 667 МГц и кэш-памятью второго уровня объемом 4 Мбайт. Она была собрана из 384 вычислительных модулей (по два процессора на модуль), в состав каждого из которых были включены ОЗУ объемом 2 Гбайт, жесткий диск емкостью 20 Гбайт, блок питания мощностью 600 Вт и платы интерфейсов Fast Ethernet и Myrinet. Вычислительная мощность одного такого модуля составляла 2,7 Гфлопс, что в сумме обеспечивало пиковую производительность около 1 Тфлопс. В тесте Linpack, определяющем место в рейтинге ТОР500, МВС 1000М показала результат в 564 Гфлопс.

Для обмена данными между вычислительными модулями в процессе работы в системе применена сеть Myrinet-2000, реализованная на базе шести 128‑входных коммутаторов. Пропускная способность канала Myrinet-2000 составляет 2 Гбит/с. Для соединения вычислителя с управляющей ЭВМ и файловым сервером в МВС 1000М также была использована гигабитная сеть Ethernet, а для начальной загрузки программ в память — сеть Fast Ethernet, с пропускной способностью канала в 100 Мбит/с.

Программа «СКИФ»

Научно-техническая программа Союзного государства России и Белоруссии по развитию суперкомпьютерных технологий «СКИФ» (Суперкомпьютерная инициатива «Феникс») была запущена в 2000 г. К концу первого года программы были изготовлены два суперкомпьютера «Первенец» на платформе СКИФ, один из которых был установлен в Минске, в НИИ ЭВМ, а другой — в Переславле-Залесском, в Институте программных систем РАН. Суперкомпьютер «Первенец» состоял из 16 вычислительных модулей (по два процессора Intel Pentium III-600 в каждом), объединенных в кластер тороидной топологии 2D-тop через сеть SCI (Scalable Coherent Interface). Для этой цели ОАО «НИЦЭВТ» произвело сетевые адаптеры SCI D335, представляющие собой аналоги продукции норвежской компании Dolphin Interconnect Solutions. «Первенец» имел пиковую производительность 20 Гфлопс, а реальную — 11 Гфлопс.

В течение 2001 и 2002 гг. в рамках программы «СКИФ» были построены еще семь суперкомпьютеров, в том числе «Первенец-М» на базе процессоров AMD AthlonMP 1800+ с пиковой производительностью 98 Гфлопс; экспериментальный суперкомпьютер «Гибрид», отличающийся тем, что помимо кластера имел однородную вычислительную среду, причем эти два вычислителя могли быть использованы для решения одной задачи в реальном времени; программно-аппаратный комплекс «Кардиология», а также несколько суперкомпьютеров, предназначенных для обучения студентов.

СКИФ К–500

В 2003 г. в рамках программы был создан первый суперкомпьютер терафлопного уровня, получивший название СКИФ К–500. Согласно номенклатуре программы, СКИФ К–500 относится к ряду 2 суперЭВМ СКИФ. Он был установлен в Объединенном институте проблем информатики НАН Беларуси.

СКИФ К–500 был построен компанией «Т-Платформы» при участии ИПС РАН, НИИ «ЭВМ» и ОИПИ НАН Беларуси. Вычислительными узлами суперкомпьютера являлись 64 сервера в корпусах 1U, в каждом из которых было установлено по два процессора Intel Xeon с тактовой частотой 2,8 ГГц, 2‑Гбайт ОЗУ и жесткий диск емкостью 60 Гбайт. В качестве системной сети была использована SCI, как и в более ранних разработках программы «СКИФ», однако на этот раз была применена трехмерная топология кластера 3D-тор, а роль управляющей сети играла обычная Gigabit Ethernet. Скорость обмена данными между вычислительными узлами СКИФ К–500 равнялась 263 Мбайт/с. Пиковая производительность системы составила 717 Гфлопс, а реальный показатель в тесте Linpack — 424 Гфлопс. С этим результатом СКИФ К–500 и вошел в ТОР500 осенью 2003 г. Согласно информации на сайте www.top500.org, в то время СКИФ К–500 занимал 405‑е место в рейтинге, однако на белорусском сайте программы «СКИФ» опубликован сертификат, где указано 407‑е место. Кстати, упомянутая выше суперЭВМ МВС 1000М за эти полтора года опустилась до 189‑го места.

СКИФ К–500 использовался с целью проектирования турбокомпрессоров для наддува дизельных двигателей Минского моторного завода, а также некоторых узлов тракторов, выпускаемых МТЗ, самосвалов БелАЗ и для расчетов динамических характеристик почво­обрабатывающих агрегатов и карданных валов, производимых гродненским заводом «Белкард».

СКИФ К–1000

Через год после запуска СКИФ К–500 те же участники построили новый кластер СКИФ К–1000, также установленный в ОИПИ НАН Беларуси.

СКИФ К–1000 состоял из 288 вычислительных узлов в корпусах 1U, в каждом из которых была размещена двухпроцессорная системная плата с 64‑разрядными ЦП AMD Opteron 248, изготовленными по 130‑нм техпроцессу, имеющими по 1 Мбайт кэш-памяти и работающими с тактовой частотой 2,2 ГГц. Объем ОЗУ одного модуля составлял 4 Гбайт, а жесткого диска — 80 Гбайт. На этот раз в качестве интерконнекта (системной сети) было использовано оборудование InfiniBand. Кластеры были собраны по топологии Fat Tree, скорость обмена данными между вычислительными узлами равнялась 830 Мбайт/с. Для сервисного контроля каждого из вычислительных модулей в СКИФ К–1000 была предусмотрена сервисная сеть собственной разработки — СКИФ-ServNet v.2.0, а в качестве управляющей сети был использован обычный Gigabit Ethernet. Для построения системной сети применили 576 кабелей общей длиной около 1,5 км. Еще 326 кабелей понадобилось для управляющей сети. Потребляла вся установка около 80 кВт электроэнергии.

Пиковая производительность СКИФ К–1000 составила 2,53 Тфлопс, а реальная — 2,03 Тфлопс. КПД супер­ЭВМ равнялся 80 %; для сравнения: у СКИФ К–500 он был 72 %. Кроме того, новый суперкомпьютер оказался более эффективен экономически. Стоимость одного «реального» терафлопса составила 785 тыс. долл., в то время как у его предшественника этот показатель приближался к миллиону. В рейтинге ТОР500 за ноябрь 2004 г. СКИФ К–1000 занял 99‑е место.

Суперкомпьютеры СКИФ ряда 3

В следующий раз Россия вошла в ТОР500 в 2007 г. благодаря суперкомпьютеру СКИФ Cyberia, установленному в Томском государственном университете. Эта машина относится к третьему ряду суперкомпьютеров СКИФ. Она была разработана в рамках второго этапа программы, получившего название «СКИФ-ГРИД». Оно было выбрано потому, что в цели программы помимо разработки новых кластеров входят исследования в области территориально-распределенных вычислительных комплексов, известные также как grid-вычисления. В настоящее время в программе участвуют 36 научных организаций из России и Белоруссии.

Суперкомпьютер СКИФ Cyberia был произведен компанией «Т-Платформы». Кластер собран из 283 модулей в восьми монтажных шкафах. Каждый вычислительный узел оборудован двумя двухъядерными процессорами Intel Xeon 5150 c тактовой частотой 2,66 ГГц. Объем оперативной памяти составляет 1,1 Тбайт, а суммарный объем дисковой памяти вычислительных узлов — 22,5 Тбайт. Кроме того, имеется внешняя система хранения данных T-Platforms ReadyStorage ActiveStore, разработанная специально для вычислительных кластеров и обеспечивающая параллельный доступ к данным всех вычислительных модулей. В качестве системной сети использована QLogic InfiniPath, обеспечивающая скорость передачи данных между узлами, равную 950 Мбайт/с. Также в Cyberia применена сервисная сеть СКИФ-ServNet.

Пиковая производительность системы составила 12 Тфлопс, а реальная — 9 Тфлопс (КПД — 75 %). Причем стоимость терафлопса составила всего 158 тыс. долл. Кластер потребляет 90 кВт, еще 35 кВт уходит на систему охлаждения. Кстати, в Cyberia действует смешанная воздушно-водяная СО. Кондиционеры установлены прямо в монтажных шкафах кластера. Охлаждение воздуха осуществляется с помощью теплообменников, в которых течет холодная вода. Затем нагревшаяся вода по трубам подается в другое помещение, где она вновь охлаждается холодильной установкой.

В июне 2007 г. суперкомпьютер СКИФ Cyberia занял 105‑е место в рейтинге ТОР500.

Через год компания «Т-Платформы» построила еще два суперкомпьютера, вошедших в рейтинг, — СКИФ МГУ и СКИФ-Урал. Последний установлен в Южно-Уральском государственном университете. Платформа этих машин похожа на СКИФ Cyberia, однако были применены четырехъядерные процессоры Intel Xeon E5472 с тактовой частотой 3 ГГц, количество блейд-модулей для СКИФ МГУ было увеличено до 625, а количество стоек — до 14. Объем ОЗУ суперЭВМ составляет 5,5 Тбайт. СКИФ-Урал обладает 332 такими же процессорами и ОЗУ объемом 1,3 Тбайт. Благодаря применению системной сети DDR InfiniBand, работающей с удвоенной скоростью в режиме Double Data Rate, при котором передача данных осуществляется не один, а два раза при каждом тактовом сигнале, скорость обмена данными между узлами достигает 1450 Мбайт/с. Еще одной особенностью СКИФ МГУ является использование отечественного программного обеспечения — специализированного дистрибутива ALT Linux для высокопроизводительных вычислений.

Энергопотребление СКИФ МГУ вместе с системой охлаждения составляет 520 кВт, а реальная производительность суперкомпьютера — 47 Тфлопс при КПД 78 %. В июне 2008 г. СКИФ МГУ занял 36‑е место в ТОР500. Суперкомпьютер СКИФ-Урал, с результатом 12,2 Тфлопс, занял 282‑е место.

Настоящее: «Ломоносов»

Сейчас самой быстрой ЭВМ на территории СНГ и 13‑й в мире, согласно ТОР500, считается суперкомпьютер «Ломоносов», установленный в МГУ компанией «Т-Платформы» в ноябре 2009 г. Он состоит из 4446 вычислительных узлов трех типов: блейд-серверы платформы T-Blade2, оборудованные двумя процессорами Intel Xeon X5570, модули T-Blade 1.1 с увеличенным объемом ОЗУ и дискового накопителя и модули ускоренных вычислений с процессорами PowerXCell 8i. Суммарный объем ОЗУ составляет 55,5 Тбайт, а дисковой памяти вычислительных модулей — 166 Тбайт. «Ломоносов» состоит из 26 стоек, имеет реальную производительность 350 Тфлопс при КПД 83 % и потребляет 1,5 МВт электроэнергии. Это самый дорогой и совершенный из всех суперкомпьютеров, когда-либо построенных в России.

Будущее: СКИФ ряда 4

В настоящее время в рамках программы «СКИФ-ГРИД» разработана платформа для суперкомпьютеров СКИФ ряда 4 — СКИФ-Аврора. Также составлен план ее развития на два года вперед. Суперкомпьютеры СКИФ-Аврора производит компания «РСК СКИФ», расположенная в Переславле-Залесском, там же, где находится и Институт программных систем РАН. Партнерами «РСК СКИФ» являются итальянская фирма Eurotech и компания Intel.

Осенью 2009 г. в ЮУрГУ был запущен опытный образец суперкомпьютера СКИФ-Аврора, состоящий только из одной стойки СКИФ/В и имеющий реальную производительность 21,8 Тфлопс при пиковой 24 Тфлопс, который занял 450‑е место в рейтинге ТОР500. СуперЭВМ СКИФ ряда 4 отличает очень высокая плотность вычислительной мощности: в корпусе высотой 6U установлены 64 процессора Intel Xeon X5570. Охлаждение полностью жидкостное: на каждой системной плате находится единый теплообменник, полностью отводящий тепло от всех компонентов. Такая система охлаждения гораздо энергоэффективнее воздушной. Кроме того, она обладает рядом других преимуществ: компактностью, отсутствием вибраций, бесшумной работой.

Вместо жестких дисков в ЭВМ СКИФ-Аврора применены твердотельные накопители Intel X-25M. Поскольку использована собственная системная плата, производящаяся в России, то, помимо процессоров Intel Xeon, в системе удалось разместить ускорители для спецвычислений на ППВМ — аналогичное решение имеет место в суперкомпьютерах Cray серий XD. Системная сеть суперкомпьютера, реализованная по топологии 3D-тор, имеет пропускную способность 60 Гбит/с. Наряду с этим предусмотрена вспомогательная сеть InfiniBand на 40 Гбит/с. Сейчас разработана очередная модель суперкомпьютера СКИФ-Аврора — СКИФ/Н с пиковой производительностью 40 Тфлопс на стойку, а также запланировано на 2012 г. создание машины с плотностью вычислительной мощности 200 Тфлопс на стойку.

Суперкомпьютеры СКИФ-Аврора — это самая перспективная и совершенная отечественная разработка. Их преимущество заключается в том, что все необходимые компоненты, импорт которых из-за границы запрещен или ограничен, могут быть произведены на территории РФ. Таким образом, в ближайшие два-три года у России есть шанс построить собственные супер­ЭВМ петафлопного уровня (теоретически — вплоть до 10 Пфлопс).