На пути развития индустриальной экономики в России, так же как и в других странах, уже невозможно обойтись без компьютерных технологий разработки продуктов или их компонентов. Действительно, инновационный продукт сегодня практически невозможно разработать подходами, которые применялись 10 лет назад. Сегодня в промышленности уже невозможно обойтись без ресурсоемкого инструментария компьютерного моделирования и инжиниринга (CAD/CAM/CAE и т. д.). Каждая отрасль использует свои компьютерные инструменты – системы расчета электронных компонентов, химическое моделирование и т. д. Высокопроизводительные вычисления – HPC (High-Performance Computing) уже стали частью инструментария российских промышленных предприятий и конструкторских бюро, но это лишь малая часть того, что потребуется для создания действительно прорывных продуктов и технологий.
У компании Hewlett Packard Enterprise (HPE, образованной в 2015-м году в результате разделения HP на корпоративный и потребительский бизнес) большой наследственный опыт работы с промышленными предприятиями, среди которых всемирно известные гиганты и узкоспециализированные производители. Из таких грандов можно назвать Airbus, Jaguar, Rolls-Royce (подразделение гражданской авиации), BMW и др. Немалая часть этого опыта применима и к российским авиастроительным и автомобильным компаниям, как, впрочем, и к предприятиям из других отраслей реального сектора экономики. Речь пойдет о применении высокопроизводительных вычислений на промышленных предприятиях и современных подходах к организации вычислительной инфраструктуры предприятий, в которых автоматизированная разработка новых продуктов занимает ключевое положение. Кроме снижения расходов (что, безусловно, актуально для российских производственных компаний в нынешней экономической ситуации), они дают возможность совершать качественные скачки при разработке продуктов.
К сожалению, мы не можем раскрывать ИТ-структуры предприятий, поэтому ограничимся констатацией общих принципов и подходов к реализации высокопроизводительных вычислений, которые были ими применены.
Прохладные облака BMW
Опыт работы с BMW поучителен как пример стратегии, в чистом виде ориентированной на самые передовые подходы к построению HPC-инфраструктуры. BMW один из лидеров в автомобильной отрасли, а обращение лидеров к новейшим ИТ-решениям естественно.
Результатом сотрудничества компаний BMW и HPE стало то, что автогигант доверил своему ИТ-партнеру оптимизацию собственных HPC-ресурсов. В HPE, совместно с региональным партнером ИТ-интегратором разработали оригинальную концепцию: все вычислительные ресурсы будут постепенно перенесены в облако, а HPC-ресурсы будут предоставляться также по облачной модели HPC-aaS (HPC as a Service, то есть высокопроизводительные вычисления как услуга).
Облако, куда переносятся вычисления, представляет собой ЦОД компании-партнера HPE в одной из стран Северной Европы. Выбор места логичен: северный климат позволяет существенно сократить расходы на охлаждение (большую часть года для охлаждения достаточно холодного воздуха за стенами ЦОД). Кроме того, развитая энергетика решает вопрос подвода немалых мощностей, которые потребляют большие ЦОД.
До начала проекта основные вычислительные ресурсы компании находились в Германии. HPE и их партнерам предстояло объединить аппаратные платформы для наукоемких средств моделирования и виртуализовать рабочие места инженеров и конструкторов, чтобы повысить эффективность и улучшить техническое сопровождение их работы. На рисунке изображен углепластиковый корпус одной из последних моделей марки, из которого видно, насколько сложна поверхность (форма) корпуса.
.jpg)
Рисунок. Углепластиковый корпус автомобиля, разработанный при помощи средств компьютерного инжиниринга и высокопроизводительных вычислительных систем
Источник: сайт компании BMW
Необходимо было осуществить серьезнейшую реорганизацию инфраструктуры, не нарушая непрерывности работы всех служб компании. Сделать столь масштабные изменения только на уровне ИТ-блоков невозможно. Тут требуется участие бизнес-подразделений, участие руководства и топ-менеджмента компании, необходим широкий спектр организационно-технических мероприятий.
Первый этап работы завершен и дал положительный результат.
Итак, что же было сделано? Что получить в итоге? Во-первых, проект долгосрочный и завершен только первый его этап, однако уже сейчас можно сказать, что эффект от его реализации сказывается на качестве предоставляемых сервисов ИТ-службой автопроизводителя за счет перехода на современную облачную и гибридную инфраструктуру. Во-вторых, удалось начать процесс безопасного и централизованного облачного хранения и обработки данных для моделирования. В-третьих начался перенос основных суперкомпьютерных мощностей на более экономически выгодную площадку с одновременным выделением рабочих мест на удаленном кластере.
Важное следствие перехода в облачную среду – безопасное и централизованное хранение критически важной информации – на первый взгляд несколько парадоксально. Казалось бы, работа с моделями на кластерах, расположенных не только вне стен предприятия, но даже в другой стране, усиливает беспокойство служб информационной безопасности, отвечающих за охрану интеллектуальной собственности предприятия. На самом деле современные облачные платформы позволяют делать тонкую настройку режимов доступа, а высокий уровень виртуализации дает возможность сосредоточить чувствительные данные внутри хорошо защищенной программно-аппаратной среды, что помогает упорядочить доступ к ним и повысить в целом управляемость средств защиты. Использование виртуализованных и при этом полнофункциональных рабочих мест позволило также сократить расходы на обеспечение сотрудников офисными площадями и предложить им возможность надомной работы. Сокращение затрат на офисные площади может составить до 20%.
По итогам этого этапа можно уже сделать выводы об улучшении целого набора параметров, говорящих о более эффективной и надежной работе в облачной инфраструктуре. Цифры говорят сами за себя: снижение сбоев заданий до 15%; за счет оптимизации планирования используемые вычислительные ресурсы удалось снизить на 30% и более. Удовлетворенность заказчика теперь оценивается в 10 баллов. Что касается эффективности, то коэффициент PUE, то есть отношение мощности, которая тратится непосредственно на вычисления, к общей потребляемой мощности, не превышал 1,05, во многом за счет того, что холодный климат позволял экономить на охлаждении.
Сейчас HPC-мощности распределены между двумя вычислительными центрами. Системы хранения данных, частично рабочие станции пользователей также базируются в Германии. Но когда концепция воплотится полностью, на рабочих местах в Германии останутся только легкие средства доступа – планшеты и лаптопы. Вычислительные ресурсы будут полностью перенесены в более экономичную среду, и предоставляться они будут по сервисной модели – по мере необходимости. Разумеется, аппаратные платформы для высокопроизводительных вычислений произведены HPE.
Примеряя такую схему к России, необходимо, конечно, сделать уточнения. Российские ИТ-компании уже готовы к облачным вычислениям. Рынок коммерческих ЦОД в России находится в зрелом состоянии, и это согласуется с аналогичными данными из Европы. Стоимость электроэнергии в России невысокая и климат в средней полосе нежаркий, что позволяет поддерживать уровень цен на облачные вычисления на разумном уровне. Для расчетов BMW также использует распространенные программные пакеты. Те же самые пакеты доступны и в России. Но у нас другая проблема – конструкторы привыкли хранить свои данные у себя и использовать для этого мощные рабочие станции. Обновлять рабочие станции конструкторов принято раз в два-три года. И это экономически оправданно, если речь идет о двух-трех десятках рабочих станций. А если больше? Но переход от вычислений на рабочей станции к вычислениям на кластере (пусть даже всего из двух узлов) дает взрывной эффект: с одной стороны, сокращается время счета и не нужно смотреть, как строчка прогресса вычислений ползет от 0 до 100%, с другой — возможности вычислительного кластера позволяют начать решать задачи, которые невозможно решать на локальных рабочих станциях, какими бы мощными они ни были. Это должно раскрыть для предприятий новые возможности, которые оставались скрытыми, задействовать невостребованный интеллектуальный потенциал инженеров и направить его на повышение конкурентоспособности наших промышленных изделий на внутреннем и внешних рынках. Активное применение компьютерного моделирования, средств компьютерного инжиниринга, использование современных подходов к построению ИТ, в том числе переноса наиболее ресурсоемких вычислений в облако, модель HPCaaS, централизованное безопасное хранение моделей и прочих чувствительных данных – над этим наверняка стоит задуматься представителям отечественной индустрии. Решительность BMW в следовании своей стратегии говорит о многом.
Самолеты, ракеты и спорт-кары
Уверенность HPE в успехе реализации проекта с BMW пришла после многолетнего опыта работы с авиакосмическим гигантом Airbus. Напомним, что компания Airbus производит не только гражданские самолеты, хотя это направление бизнеса самое важное экономически: оно дает 44 млрд евро. Airbus производит также вертолеты (6,5 млрд. евро), а оборонные и космические заказы приносят Airbus 14 млрд. евро.
Суперкомпьютерный проект с Airbus стартовал в 2007 году. В то время все еще только начинали говорить об облачных технологиях. Понимания того, как реализовывать облачные концепции на практике, ни у кого не было. Поэтому на тот момент HP помогала Airbus в использовании суперкомпьютеров внутри корпорации. Проект продвигался успешно: в 2011 году кластер, построенный HP в Airbus на французской площадке, стал самым мощным промышленным HPC-кластером в мире, войдя в список Top500 на весьма достойное 29-е место (почти 25 тыс. ядер и 244 PFLOPS на тесте Linpack, лезвийная платформа BL). Второй кластер был построен на немецкой площадке. Оба ЦОД представляют собой модульные центры обработки данных на базе решения HP POD (Performance Optimized Datacenters). Оно не требует отдельного помещения, вычислительные мощности кластера представляет собой набор контейнеров, установленный под открытым небом. Выбор контейнерного ЦОД Airbusом был основан на тех же облаках – компания находилась в начале пути вывода «тяжелой» ИТ-инфраструктуры за пределы предприятия, и поэтому не была готова предоставлять помещения для размещения оборудования.
HP предложила Airbus впервые воспользоваться информационно-технологической инфраструктурой HPC как услугой – HPCaaS. Так в 2014 году стартовала следующая фаза проекта. В результате информационные технологии Airbus перешли к HP на принципах аутсорсинга. Сейчас проект развивается дальше в соответствии с принятой концепцией. Преимущества ее, а значит, и выгоды для Airbus очевидны. Так, например, классические 80% инцидентов разрешаются в течение двух дней и 100% — в течение пяти, а количество простоев сократилось до четырех в год со временем восстановления не более четырех часов.
О характере ресурсоемких задач, которые решаются на высокопроизводительных вычислительных кластерах HPE, помогут судить примеры и других промышленных предприятий – в их число входят автомобильная компания Jaguar Cars, выпускающая знаменитые автомобили Rolls-Roys pls, производящая также авиационные двигатели для гражданских и военных самолетов и вертолетов, газовые турбины и корабельное оборудование.
Начнем с Jaguar. Jaguar всегда делал стильные автомобили и применял оригинальные инженерные решения. Перед инженерами в английском сборочном заводе в Касл-Бромвич стояла задача проработать в новой версии автомобиля дизайн каждой детали, не жертвуя ни на йоту ее качеством. Но помимо роскоши и качества, любой автомобиль должен быть в первую очередь безопасным – и для водителей, и для пешеходов. С середины 60-х краш-тест, как мера обеспечения безопасности, стал неотъемлемой частью создания автомобилей, а первым российским автомобилем, который был подвергнут краш-тесту, стал «Москвич-408» производства АЗЛК. Первые европейские нормы проведения краш-тестов появились на излете 90-х. И примерно в это же время начались попытки применения математических моделей для краш-тестов. Это очень дорого – делать краш-тест готового к продаже Jaguar, а суперкомпьютер позволяет разбивать люксовый автомобиль сколько угодно раз. Около 85% вычислительных ресурсов своего суперкомпьютера Jaguar тратит именно на проведение краш-тестов и задач вычислительной гидродинамики. Вторая по значимости задача – структурный анализ, вычисление воздействия весовых нагрузок на отдельные структурные компоненты конструкции или на всю конструкцию как на физический объект. Для решения этих задач Jaguar задействует оставшиеся 15% вычислительных мощностей. Характерные приложения: PowerFlow, MSC.Nastran, Abaqus. Суперкомпьютер, использующийся в Jaguar, – это около 30 тыс. процессорных ядер, сеть FDR Infiniband. Кластер также представляет собой контейнерный ЦОД от HPE. Суперкомпьютер управляется системой HPE Insight CMU на платформе LSF.
Обслуживает ЦОД Jaguar компания Tata Consultancy Services, что неудивительно, ведь Jaguar Motors принадлежит с некоторых пор индийской Tata Motors.
А сколько «Фантомов» должен разбить Rolls-Royce?!
Ответ на этот вопрос: при проектировании – ни одного. Уточню здесь, что хотя бы один обязательно должен, расчеты моделей должны быть подтверждены. Да и сама модель тоже, подтверждена и уточнена при необходимости. Однако Rolls-Royce — это не только «Фантомы», «Духи» и «Призраки». История Rolls-Royce началась на земле, но продолжилась в небе – авиационные двигатели высочайшего качества и надежности компания выпускает с 1910 года. Занимается этим компания Rolls-Royce pls. Авиакосмическая отрасль безусловно работает на переднем крае науки и техники. И нет абсолютно никаких сомнений в том, что многое в мире самых современных материалов, технологий и производственных возможностей вдохновляется авиакосмической отраслью. В компании отчетливо понимают, что, если вы вовлечены в авиационно-космическую отрасль – а на самом деле, если вы находитесь вообще промышленности, – от вас не может ускользнуть тот факт, что «индустриализация данных» (или, как говорят, Большие Данные) «ведет к новой индустриальной революции». И не отстать, не остаться от нее в стороне помогают Rolls-Royce pls суперкомпьютеры HPE. Так же как и в Airbus, сам кластер расположен на площадке HPE, а его оператором является HPE Enterprise Services. Суперкомпьютер мощностью около 25 тыс. ядер объединяет сеть FDR Infiniband. В основном кластер используется для решения задач вычислительной аэродинамики на базе пакета собственной разработки, остальная часть занята под структурный анализ (LS-Dyna).
Как видно, кластеры, которые используют Airbus, Jaguar и Rоlls-Royce, сравнимы по вычислительной мощности. Они не состязаются с компьютерами-лидерами Tор500, установленными в научных центрах, но производительность их впечатляет. В целом в Европе основными потребителями HPC являются промышленные предприятия, за ними идут наука и образование. В России два года назад больше половины систем HPC, которые продавала HPE, использовались в научных и образовательных учреждениях. По результатам прошлого года таких продаж уже меньше половины общего объема. Похоже, наша страна понемногу движется к европейской модели потребления HPC.
Надо бежать быстро
Создание сверхмощных кластеров не должно быть самоцелью, но переход на параллельные вычисления важен там, где бизнес компании связан с моделированием. Для большинства задач кластера, состоящего из 40-100 узлов, хватает для обсчитывания и развертывания достаточно больших моделей. Вообще-то можно начинать и с двух-четырех узлов: главное, что переход даже к небольшому кластеру перестраивает сознание пользователя. То, что с покупкой кластера ускоряется решение старых задач, не главное. Кластерная система дает возможность инженеру решать те задачи, о которых он раньше и не думал.
Но принципиально новые технические возможности нужны не для удовлетворения любопытства исследователя и изобретателя. Искать и использовать их заставляют меняющиеся законы бизнеса. За последнее время резко изменился «срок жизни» конкурентных преимуществ. Период, когда уникальное ноу-хау дает ощутимый выигрыш, сократился до полугода. Дальше технологию подхватывают, допустим, азиатские производители, и аналогичную продукцию будут продавать по всему миру за копейки. Чтобы сохранять конкурентное преимущество, надо бежать очень быстро.
Технологический зазор между поколениями устройств становится все меньше и меньше. Это касается и вычислительной техники, и разработок в самых разных областях. Чтобы быть успешным на рынке, инновации нужно внедрять как можно быстрее. Пускай инновационные шажки будут все меньше и меньше, но именно эти маленькие конкурентные преимущества позволят продавать и продвигать весь продукт. А там, где нужно быстрое внедрение инноваций, понадобятся суперкомпьютерные или хотя бы параллельные системы. Это демонстрирует мировой опыт последних лет.
Специально для инженеров: Apollo 2000 для ANSYS
Серия серверов Apollo разрабатывалась HPE с учетом опыта сотен пользователей вычислительных кластеров и с прицелом на новые задачи в индустрии, предполагающие быстрое продвижение инноваций на рынок. Для решения этих задач – использования вычислительных кластеров вместо рабочих станций для решения широкого спектра задач при помощи математического моделирования, в том числе и в промышленности, предназначена система Apollo 2000, оптимизированная, как и более старшие модели НРС-семейства НРЕ. Чтобы пользователь смог побыстрее оценить выгоды от покупки таких систем, в HPE подготовили интегрированное промышленное решение HPE ANSYS Solution. Помимо упомянутой выше аппаратной платформы, в решение входят популярнейшие пакеты ANSYS Mechanical, Fluent и CFX.
Ускорение темпов разработки связано не только с новейшими технологиями, которые интегрированы в решение, Apollo 2000, как и старшие модели, Apollo 6000, поддерживают современные интерконнекты Intel Omni-Path, EDR InfiniBand (а также Ethernet), графические ускорители Nvidia и сопроцесоры Xeon Phi. Не менее важно то, что HPE предлагает конфигурации серверов, специально подобранные под разные задачи, которые решает ANSYS. Например, для ANSYS Fluent и ANSYS CFX оптимальны двухпроцессорные узлы ProLiant XL170r Gen9 в формфакторе 1U половинной ширины с Intel Xeon E5-2600 v3. В то время как для ANSYS Mechanical лучше подойдут узлы ProLiant XL190r Gen9 в формфакторе 2U половинной ширины, которые можно укомплектовать ускорителями Nvidia Tesla K40/K80 (также поддерживаются карты GRID K2) или сопроцессорами Intel Xeon Phi 5110P.
Эти решения продумывались с учетом того, что использовать их будут как небольшие организации, так и те, что могут позволить себе кластер внушительной производительности, и, что самое смелое масштабирование сможет проходить безболезненно. Ведь промышленные предприятия, приобретая решения для ознакомления, скорее всего, быстро осознают выгоды, которые приносят высокопроизводительные вычисления, созданные для поддержки инновационного проектирования.