В 2009 году суперкомпьютерная индустрия достигла рубежа в 1 PFLOPS, а в 2016 году список Top500 [1], объявленный в июне на форуме ISC-2016, возглавила машина производительностью почти 100 PFLOPS — отрасль развивается, несмотря на то что все еще бытует мнение, будто суперкомпьютеры не очень-то нужны, поскольку «тяжелыми» расчетами занимается лишь узкий круг пользователей в основном из научных организаций. Тем временем мир высокопроизводительных систем (HPC) продолжает расти — суперкомпьютеры находят применение в облачных конфигурациях, системах поддержки Интернета вещей, аналитических комплексах HPDA (High Performance Data Analysis) и даже становятся платформой цифровой экономики. Год 2015-й индустрия HPC, по данным аналитиков IDC, завершила ростом на 11%, нынешний год также обещает быть удачным. Прогнозы достаточно радужные — вплоть до 2020 года ожидается, например, увеличение рынка серверов на уровне 5,9% в год, причем основной рост идет за счет увеличения спроса на решения по работе с Большими Данными и системы класса HPDA.
Лидером рынка высокопроизводительных систем, по данным аналитиков и участников ISC-2016, стала компания Hewlett Packard Enterprise, продавшая в 2015 году HPC-систем на 1,2 млрд долл. Далее идут Cray — 583 млн, Lenovo — 391 млн, NEC — 138 млн, Fujitsu — 106 млн, SGI — 88 млн, а замыкает рейтинг китайская компания Sugon — 13 млн долл, уже опережающая IBM по представительству в Top500. В 47-й редакции этого рейтинга систем от HPE большинство — 127, или 25,4%, а доля компании на рынке HPC, по данным аналитиков IDC, составляет 35,9%. Конечно, в зеркале Top500 отражается не весь суперкомпьютерный мир. Мы в нем не видим уникальные коммерческие системы и комплексы для федеральных ведомств, выпускаемые по заказу в нескольких экземплярах и по своим возможностям затмевающие участников этого перечня. Однако коммерческий успех игроков рынка HPC определяется востребованностью их систем именно на открытом рынке. За счет чего компании HPE удается на протяжении многих лет оставаться на суперкомпьютерном Олимпе? Благодаря каким системам и решениям компания лидирует сегодня на высококонкурентном рынке HPC?
Своему успеху HPE во многом обязана специально разработанному для высокопроизводительных вычислений и выпущенному два года назад семейству Apollo, которое принято заказчиками из разных отраслей реальной экономики, требующими качественных высокопроизводительных кластеров как для универсальных применений, например в университетах, так и специализированных, работающих в финансовой отрасли, индустрии добычи углеводородов или в машиностроении. Семейство Apollo отличает удачный модельный ряд, реализующий стратегию компании HPE в области HPC, ориентированную на поддержку отраслевых стандартов и обеспечение совместимости приложений на всех моделях семейства, начиная от системы 2000 и заканчивая 8000, а также обладающий целым рядом технологических особенностей, выделяющих Apollo на фоне других систем.
Совместимость достигается за счет применения серверов стандартной архитектуры х86, общепринятых интерконнектов Infiniband и Intel Omni-Path, а также ОС Linux (компания HPE принимает участие в проекте Linux Foundation OpenHPC по созданию стека стандартных программ поддержки высокопроизводительных вычислений). Это позволяет на базе унифицированной архитектуры выпускать для разных потребителей высокопроизводительные кластеры, предоставляющие ровно столько ресурсов, сколько необходимо для решения конкретной задачи.
Линейка Apollo начинается с систем 2000, образующих «мост» между традиционными корпоративными серверами и системами HPC, — установка таких систем является первым шагом заказчика к использованию вычислительного кластера вместо рабочей станции. Конфигурация Apollo 2000 может включать, в зависимости от использующегося приложения, четыре узла HPE ProLiant Apollo XL170r Gen9 на базе процессоров x86 или два узла HPE ProLiant Apollo XL190r Gen9 с двумя графическими ускорителями NVIDIA Tesla или Grid-60 и сопроцессорами Intel Xeon Phi.
Представители следующего семейства, Apollo 4000, предназначены для выполнения приложений работы с Большими Данными, создания кластеров Hadoop и систем для объектного хранения данных. В эту группу входят две системы — 4200 и 4500. Сервер Apollo 4200 Gen9 Server обладает высокой плотностью размещения компонентов хранения и может вместить 224 Тбайт в пространстве 2U. Этот сервер хорошо подходит под небольшие нагрузки: объектное хранение, доставка контента, поддержка Hadoop. В нем достигается максимальная плотность размещения объемов хранения, сравнимых с традиционными дисковыми массивами. Входящая в эту серию система Apollo 4500 выпускается в трех модификациях: Apollo 4510, 4520 и 4530, каждая из которых предназначена для конкретной группы пользователей. Apollo 4510 предназначена для поддержки объектного хранилища любого масштаба, Apollo 4520 служит в качестве системы хранения данных для высокопроизводительных вычислений (специально разработана для поддержки параллельной файловой системы Lustre), а Apollo 4530 ориентирована на работу с Большими Данными и выполнение приложений Hadoop.
Программное обеспечение для Apollo
Программный стек HPE Core HPC Software Stack образует основу системного ПО для суперкомпьютеров Apollo и включает, в частности, утилиту управления кластерами HPE Insight Cluster Management Utility v8.0 (Insight CMU), позволяющую управлять конфигурациями, масштабируемыми до тысяч вычислительных узлов. Данный стек содержит средства разработки, библиотеки, систему управления пакетной обработки (workload scheduler), компиляторы, оптимизатор фабрики (интерконнекта), а также систему HPE iLO для удаленного управления распределенными кластерами. Программный стек предназначен разработчикам, системным администраторам, инженерам и исследователям, позволяя им быстро развернуть необходимую среду для выполнения приложений HPC.
Apollo 6000, разработанный с учетом требований тысяч пользователей высокопроизводительных кластеров, сочетает в себе высокую производительность, масштабируемость и управляемость. Все это пользователи получают не только на уровне шасси, но и в масштабе стойки и ЦОД. Эти системы имеют гибкие возможности конфигурирования и предназначены для компаний и организаций, которым требуется выполнять «тяжелые» расчеты. Конфигурация вычислительных узлов Apollo 6000 включает в себя двухпроцессорные вычислительные узлы XL230, двухпроцессорный узел XL250 с ускорителями или сопроцессорами, а также новый HPE ProLiant XL260a, о котором было объявлено на форуме ISC2016. Узел ProLiant XL260a построен на базе новейших процессоров Intel Xeon Phi/KNL и высокопроизводительной коммуникационной архитектуры от Intel Omni-Path (OPA).
Вершина модельного ряда Apollo — система Apollo 8000 с жидкостным охлаждением, которое в 1000 раз эффективнее воздушного, что позволяет увеличить плотность размещения компонентов и повысить производительность для построения конфигурации, требуемой сегодня практически любому заказчику. В этой системе реализована уникальная технология сухого отключения узлов (dry-disconnect server), позволяющая сохранять сухость охлажденных компонентов сервера.
Гибкая архитектура Apollo позволяет на базе единой линейки собирать конфигурации для решения суперкомпьютерных задач практически из любой отрасли с учетом особенностей работающих у заказчиков приложений. И самое главное — унифицированный подход дает пользователю возможность повысить ROI за счет уменьшения времени, необходимого для ввода системы в эксплуатацию, и получить прибыль благодаря ускорению вывода на рынок новых продуктов. Проверенные на практике, протестированные конфигурации Apollo быстро развертываются и позволяют заказчикам сразу приступить к работе на новой системе. Согласно различным наблюдениям, время конкурентного преимущества составляет сегодня полгода, поэтому заказчикам суперкомпьютерных систем жизненно необходимо максимально сократить время от момента инвестиции в оборудование до получения продукта на его основе. Современные суперкомпьютеры позволяют либо производить больше расчетов, либо за то же время делать расчет большего масштаба.
.jpg) |
| Рабочее место трейдера |
Компания HPE представила на ISC-2016 ряд решений, предназначенных для рынка финансовых услуг. Здесь сегодня предлагается три фокусных решения. HPE Trade and Match Server — решение для выполнения приложений быстрой, высокочастотной торговли (например, акциями на бирже) или forex-приложений, где требуется реакция системы в течение наносекунд. Это решение базируется на однопроцессорной системе Apollo 2000 и специализированном ПО, которое устанавливается непосредственно в BIOS, что существенно поднимает частоту процессора, обеспечивая почти мгновенную реакцию на события. Возможна его кластеризация на 1, 5 и 9 узлов. Решение HPE Risk Compliance Archive предназначено для выполнения приложений оценки рисков нарушения комплайнса (соответствия требованиям местного законодательства и/или внутренним положениям компании). В его основе лежит семейство Apollo 4000 (4200 или 4510) и специальное ПО Scality Ring и iTernity iCAS. Решение HPE Moonshot Trader Workstation — рабочее место трейдера (см. рисyнок) на базе программно-конфигурируемого сервера Moonshot, обеспечивающего выполнение требуемой для данной задачи рабочей нагрузки и визуализации данных.
Для промышленности компанией HPE в кооперации с компанией ANSYS разработан ряд эталонных архитектур (reference architecture) для приложений Ansys16 — Fluent и CFX, ориентированных как на небольшие рабочие группы, так и на крупные коллективы разработчиков. Данные приложения позволяют работать с различными размерами расчетных сеток. Архитектура базируется на системах серии Apollo 2000, предназначенных для решения инженерных задач с использованием моделирования.
Общие расходы на приложения для обработки Больших Данных только в федеральных ведомствах США достигнут в 2017 году 3,9 млрд долл. и вырастут до 4,2 млрд в 2018 году, а значит, и спрос на системы класса Apollo, в частности на Apollo 4000, будет увеличиваться. Однако, чтобы лидировать на конкурентном рынке суперкомпьютеров, их поставщикам приходится учитывать требования заказчиков к производительности, масштабируемости, управляемости, оптимальному энергопотреблению, удобству эксплуатации и т. п., а также предлагать собственные разработки, включая уникальные ноу-хау. Экосистема высокопроизводительных кластеров HPE Apollo, объединяющая поставщиков платформы, разработчиков и пользователей, позволяет на базе открытых и промышленных стандартов обеспечить максимально эффективное использование имеющихся ресурсов.
* * *
За два года, прошедшие с момента выхода семейства Apollo, модельный ряд был существенно расширен. В ближайшие три года, согласно производственным планам, будет сделан ряд обновлений, направленных на максимально точное удовлетворение запросов конкретных групп пользователей, которые предпочитают сразу получить настроенную систему, отвечающую заданному бюджету.
Вячеслав Елагин, Специалист по продажам высокопроизводительных вычислительных систем HPE
Литература
1. Эрих Штромайер, Джек Донгарра, Хорст Саймон. Рейтинг Top500 и прогресс высокопроизводительных вычислений//Открытые системы.СУБД. — 2016. — №1. — С. 10-13.
URL: http://www.osp.ru/os/2016/01/13048646