Фокусной темой пятого Московского суперкомпьютерного форума, организованного издательством «Открытые cистемы» в рамках деловой программы выставки SofTool, стало обсуждение актуальных архитектурных, аппаратно-программных и организационных задач создания систем экзафлопсной производительности. Вычисления такого масштаба потребуют инноваций на всех уровнях. При создании суперкомпьютеров и вычислительных кластеров разработчики используют разные подходы, а исследователи пытаются довести до коммерческого использования принципиально новые решения.

За прошедший со времени МСКФ-2013 год многое изменилось, и это не только появление более совершенных технологий, но и новая экономическая и геополитическая ситуация, что нашло отражение в докладах, более половины которых были посвящены отечественным разработкам в области суперкомпьютерных технологий, проблемам создания российской элементной базы, перспективам развития сверхпроводниковой электроники, уже существующим в нашей стране суперкомпьютерным технологиям и деятельности профессионального сообщества специалистов в данной области.

Создание отечественных суперкомпьютеров экзафлопсной производительности (1018 операций в секунду), на порядки превышающей быстродействие современных компьютеров, считается задачей национального масштаба, решение которой требует привлечения наиболее сильных коллективов разработчиков, производителей и пользователей из различных отраслей. Ведущие страны давно оценили важность и актуальность проблемы создания систем подобного класса, в том числе и значимость суперкомпьютерной отрасли для национальной безопасности. В данном направлении ведется целый ряд разработок, причем они взаимоувязаны: результаты, достигаемые по одним направлениям, применяются в смежных направлениях и влияют на них, что обеспечивается вертикальной и горизонтальной интеграцией работ на национальном уровне.

Сложившееся представление о задаче построения суперкомпьютеров экзафлопсного класса предполагает создание систем разного типа: универсальных суперкомпьютеров, систем с большей производительностью, но с меньшими требованиями по емкости или пропускной способности памяти, суперкомпьютеров с повышенными требованиями по памяти. В их основе – разные архитектурно-программные принципы и элементно-конструкторская база, проблемы замещения которой в отечественных условиях могут быть наиболее сложными.

Например, отстает разработка отечественных суперкомпьютеров, ориентированных на решение задач с интенсивной работой с памятью. Эти системы необходимы как для научно-технических расчетов, так и для решения задач анализа Больших Данных. За рубежом сегодня активно решаются проблемы, связанные с такими системами, отрабатываются различные варианты их реализации.

По мнению специалистов НИИ «Квант», при разработке отечественных СБИС важно использование новых подходов, таких как нанофотоника, технологии трехмерной сборки кристаллов, технологии микросборок и соединения плат через оптические линии связи, квантовой криогенной электроники и квантовых клеточных автоматов. Применение этих новаций потребует адекватных изменений в архитектуре и микроархитектуре, создания нового программного обеспечения.

В то же время, как признают эксперты, догнать зарубежные страны по инновационным технологиям сложно, однако для развития эволюционных технологий у России имеется все необходимое, предлагается, например, возродить группы, разрабатывающие специализированные процессоры. Одним из перспективных направлений считаются гибридные и многопоточные процессоры. К первоочередным задачам в области инновационных суперкомпьютерных технологий в НИИ «Квант» относят формирование нескольких десятков исследовательских групп, разработку проблемно-ориентированных микропроцессоров на базе перспективных архитектурных принципов, проведение исследований и разработок по новым моделям вычислений, эмуляцию многопоточных суперкомпьютеров с глобально-адресуемой памятью, активизацию работ по сверхпроводниковой электронике и нанофотонике.

Еще одно направление – квантовая информатика. Представитель «Фонда перспективных исследований» озвучил на МСКФ-2014 план получения в среднесрочной и долгосрочной перспективе практически значимых результатов мирового и опережающего уровня в квантовых вычислениях и квантовых коммуникациях, включая квантовую криптографию и технологии синхронизации распределенных информационных систем.

Основой технологических линий разработок и мелкосерийного производства СБИС наноэлектроники может стать система бесшаблонной электронной литографии, разрабатываемая по проекту «Фонда перспективных исследований». Использование данного оборудования позволит устранить из классического процесса литографии этап создания фотошаблонов, что значительно ускорит и удешевит проектирование микросхем и может обеспечить рентабельность мелкосерийного производства СБИС, в том числе с технологическими нормами 22 нм (проект «Байкал-08»).

В НИИФП одним из радикальных решений при создании альтернативной элементной базы, позволяющей значительно улучшить частотные и энергетические характеристики электронных устройств, считают переход к сверхпроводниковой электронике на основе эффекта Джозефсона и квантования магнитного потока.

Одна из ключевых задач построения суперкомпьютеров – разработка высокоскоростной коммуникационной сети, способной эффективно объединять тысячи вычислительных узлов, обеспечивая высокую пропускную способность и низкую задержку передачи сообщений. Однако сеть как базовая составляющая суперкомпьютера является технологией, попадающей под жесткий экспортный контроль, поэтому многие государства ведут собственные разработки высокоскоростных сетей. Не исключение и Россия. Сотрудники НИЦЭВТ рассказали на форуме о проекте разработки отечественной высокоскоростной сети «Ангара» и представили данные оценочного тестирования коммуникационных адаптеров этой сети, соответствующие характеристикам InfiniBand. Идет работа над следующим поколением межсоединения.

Как считают специалисты ИНЭУМ, технологии, созданные при разработке российских многоядерных микропроцессоров с архитектурой «Эльбрус» и интегрированного с ними системного ПО, не уступают ряду зарубежных аналогов. В этой архитектуре используется явный параллелизм операций с возможностью одновременного исполнения свыше 40 операций за такт, что поддерживается оптимизирующим компилятором, выполняющим автоматическую векторизацию и планирование операций. Такие методы достижения высокой производительности превышают возможности традиционных суперскалярных архитектур, а аппаратная поддержка оптимизирующей двоичной трансляции в команды архитектуры «Эльбрус» обеспечивает совместимость приложений с архитектурой x86/x86-64. Кроме того, аппаратно-программные методы архитектуры «Эльбрус», обеспечивающие защищенное исполнение программ, нейтрализуют всевозможные угрозы.

На базе уже существующих и разрабатываемых поколений микропроцессоров с архитектурой «Эльбрус» создаются дополненные контроллерами, каналами обмена данными и программным обеспечением модули, используемые для создания полностью российских суперкомпьютерных систем.

Как подчеркивают представители «Российского федерального ядерного центра», экзафлопсные проекты требуют модернизации промышленности (переход на проектные нормы 10-20 нм, применение оптических компонентов), разработки принципиально новой архитектуры, системного и прикладного программного обеспечения. Кроме того, потребуется существенное повышение энергоэффективности вычислительных систем, поскольку при современных показателях суперкомпьютер такой мощности будет потреблять треть электроэнергии, вырабатываемой Саяно-Шушенской ГЭС. По мнению специалистов центра, для создания систем экзафлопсной производительности необходимы гибридные архитектуры с реконфигурацией компонентов в соответствии с исполняемыми процессами. Это потребует координации работ в рамках единого мультидисциплинарного государственного проекта.

На форуме были представлены также высокопроизводительные вычислительные системы ведущих российских и зарубежных производителей, уже сегодня решающие множество научных и коммерческих задач. Директор компании «РСК Технологии» Александр Московский рассказал о крупнейшем в СНГ проекте системы на базе новейших процессоров Intel Xeon E-5 2500 v3 – гибридном вычислительном комплексе в СПбПУ производительностью 1,1 PFLOPS. РСК с 2004 года разрабатывает системы с прямым жидкостным охлаждением, в которых применяются стандартные системные платы Intel. За счет эффективного отвода тепла российским разработчикам удалось добиться высокой энергоэффективности и плотности оборудования. Кластерная архитектура «РСК Торнадо» – это 128 вычислительных узлов в одной стойке 42U и общей производительностью системы до 269 TFLOPS, а массивно-параллельная архитектура PetaStream позволяет разместить в одном шкафу 1024 вычислительных узла и достичь производительности 1,2 PFLOPS. Если использовать современные технологии, экзафлопсная система будет занимать примерно 200 шкафов, что сопоставимо с некоторыми современными суперкомпьютерами.

Применение суперкомпьютеров позволяет частично или полностью заменить дорогостоящие натурные испытания, визуализировать различные процессы, сократить разработки опытных образцов и новых технологий, существенно повысить точность расчетов. Андрей Сысоев, ведущий специалист по продвижению высокопроизводительных решений IBM, представил обзор решений корпорации, специально спроектированных для подобного рода задач: вычислительные системы, системы хранения, параллельные файловые системы, специализированное ПО для эффективного управления суперкомпьютерами и поддерживающей их инфраструктуры. В числе новинок IBM – системы NeXtScale nx360 M5 c прямым водяным охлаждением, позаимствовавшие «все лучшее из IBM iDataPlex». Сейчас система на базе этих узлов с процессорами Intel Xeon E5 v3 с общей производительностью до 3 PFLOPS развертывается в Германии. Новая платформа от IBM System x3850 X6 – шестое поколение архитектуры IBM EXA, файловая система GPFS, системы хранения класса Elastic Storage и флеш-массивы, планировщик заданий Platform Computing с функционалом Energy Aware Scheduling, готовое комплексное решение Intelligent Cluster, дверь с водяным охлаждением для стоек высокой плотности – все это позволяет заказчикам решать различные задачи и эффективно управлять жизненным циклом данных.

По словам Сысоева, как показало общение на выставочных стендах форума, активный интерес к данным решениям IBM проявляют представители не только научных учреждений и учебных заведений, но и производственных предприятий.

Разработчики Intel в своей стратегии Exascale уделяют основное внимание энергопотреблению, компактности и надежности систем, а также их совместимости с существующим программным обеспечением. Такие системы предполагают различные модели использования сопроцессоров семейства Xeon Phi. Как рассказал Николай Местер, директор Intel по развитию корпоративных проектов, в 2015 году выйдет новая серия этих процессоров с микроархитектурой Knights Landing, обеспечивающей более высокую энергоэффективность и производительность выполнения потоков. Появится и новая коммутирующая структура Intel STL, что позволит создавать более эффективные комплексные решения. Местер видит необходимость в новых алгоритмах и реализациях библиотек в рамках существующих моделей и языков программирования и считает, что технологии, разрабатываемые и внедряемые на российском рынке, позволят преодолеть физические ограничения на пути к Exascale.

Компания HP представила свои системы для высокопроизводительных вычислений — HP Apollo 6000 с воздушным и Apollo 8000 с жидкостным охлаждением. Как пояснил Вячеслав Елагин, специалист по продажам высокопроизводительных вычислительных систем HP, конструктив Apollo – это стойка серверов ProLiant XL220a G8 v2 (два однопроцессорных узла) и XL230a G9 (один двухпроцессорный узел) с возможностью выбора межсоединения в зависимости от рабочей нагрузки. Полка питания поддерживает до трех шасси серии 6000, а Advanced Power Manager управляет электропитанием стойки. Производительность Apollo 8000 составляет 250 TFLOPS на стойку, при этом показатель TFLOPS/Вт на 40% больше по сравнению с системами на воздушном охлаждении, а энергопотребление на 28% ниже.

Многие участники форума уже не первый год представляют свои разработки на МСКФ. Несмотря на сложную ситуацию текущего года, форум оказался не менее представительным, чем предшествующие. Появились и новые участники. Например, одной из компаний, представленных в выставочной зоне и в программе докладов форума, стала RAIDIX, разработчик программного обеспечения для профессиональных систем хранения с интерфейсами Fibre Channel, iSCSI и InfiniBand. Продукт RAIDIX позволяет создавать на базе серверов x86-архитектуры отказоустойчивые системы хранения с высокой производительностью и низкой стоимостью эксплуатации.

Как отметил Александр Московский, МСКФ – отличная возможность для общения с представителями отрасли и потенциальными заказчиками. Многие разделяют эту оценку, ведь форум стал площадкой для объективной оценки результатов работ в области создания отечественных высокопроизводительных комплексов и программного обеспечения для них, экспертизы исследований в сфере суперкомпьютерных технологий.

МСКФ-2014 прошел при поддержке Российского фонда фундаментальных исследований, РАН, Министерства экономического развития РФ, Госкорпорации «Ростатом», Министерства образования и науки РФ, а также Фонда перспективных исследований.