Кластер для "пламенных моторов"

Недалеко от центра Москвы расположилось мощное производство, на котором на протяжении почти ста лет выпускаются авиадвигатели. История ФГУП «Московское машиностроительное производственное предприятие «Салют» началась в 1912 году, когда французская компания «ГномРон» открыла в Москве небольшое предприятие по сборке авиационных моторов. На самолете с двигателем марки «Гном» русский пилот Петр Нестеров впервые в мире совершил свою знаменитую «мертвую петлю», а завод «Салют» стал первым авиадвигателестроительным предприятием в России.

Вся история отечественной авиации так или иначе связана с продукцией завода «Салют». В 1936 году на самолете АНТ-25 с двигателем АМ-34 Валерий Чкалов совершил беспосадочный перелет рекордной дальности; истребители и штурмовики с моторами «Салюта» прославились в годы Великой Отечественной войны. Сегодня завод «Салют» разрабатывает и производит авиационные двигатели для состоящих на вооружении боевых самолетов, включая многофункциональные истребители Су, а также продукцию мирного назначения— газотурбинные установки для энергетической и газовой промышленности. Среди заказчиков завода— отечественные авиапроизводители и промышленные предприятия, авиастроительные корпорации Канады, Франции, США и Германии.

С 30-х годов на территории завода работало конструкторское бюро «Гранит» под руководством главного конструктора Александра Микулина— создателя семейства моторов АМ. Со временем коллектив конструкторов вошел в состав «Салюта», а сейчас на заводе действует несколько КБ, ведущих разработку различных направлений продукции предприятия.

Для эффективного решения задач необходимы мощные вычислительные системы, поэтому завод «Салют» можно назвать не только пионером отечественного авиадвигателестроения, но и одним из первопроходцев в сфере использования в промышленности высокопроизводительных вычислительных кластеров.

Виртуальная разработка

Еще совсем недавно оборонным предприятиям выделялись неограниченные средства на создание новой продукции— важность задачи оправдывала затраты, поэтому новые двигатели конструировались вручную, а затем испытывались на опытных образцах до тех пор, пока не достигался необходимый результат. Неудивительно, что процесс подготовки двигателя к серийному выпуску мог занимать до десяти лет и требовал огромных материальных затрат.

В современных условиях такие длительные циклы разработки уже недопустимы. Во всем мире, и российские предприятия здесь не исключение, машиностроители сегодня активно используют высокоуровневые системы автоматизированного проектирования и специальные программные средства инженерного анализа для проведения виртуальных, а не физических испытаний разрабатываемой продукции. На современном авиадвигательном предприятии цифровая модель двигателя проходит тщательный анализ для определения параметров изделия. Как поясняют специалисты «Салюта», газотурбинный двигатель— сложнейшая конструкция, в процессе ее создания задействуются различные газодинамические, теплофизические и прочностные расчеты, из совокупности которых формируется математическая модель изделия. Вместо того чтобы размещать реальные физические узлы или отдельные детали конструкции двигателя на стенде и проводить их испытания, нагрузкам подвергается модель узла в виртуальной компьютерной среде, а система демонстрирует, насколько разработанный конструктив способен выдержать заданные условия эксплуатации, какие могут возникнуть деформации, оптимален ли выбранный сплав и т.д. Точно так же эмуляция процессов горения позволяет провести в программной среде, а не на стенде, испытания камеры сгорания двигателя при заданных значениях температуры, давления, скорости потока, с учетом определенныххимических реакций и выявить, способен ли корпус конструкции выдержать возможные температуры, насколько разработка удовлетворяет экологическим нормам и т.д.

По результатам инженерного анализа делаются выводы о передаче двигателя в производство или продолжении доработки. Разработка остается итерационным процессом, но перенос итераций в компьютерную среду обеспечивает экономию времени и средств, однако насколько весомым будет эффект, зависит от возможностей вычислительной платформы, используемой для инженерного анализа. Персональный компьютер инженера-расчетчика осилит обработку лишь нескольких деталей конструкции, а для анализа крупных узлов двигателя, таких как компрессор, турбина или камера сгорания, потребуются мощности уже совсем другого порядка. Сегодня становятся все более востребованными многодисциплинарные связанные расчеты, позволяющие оценить работоспособность изделия, учитывая взаимодействия прочностных, газодинамических нагрузок и процессов тепломассообмена, а также их взаимное влияние на объект разработки. Вслед за этим идет процесс многокритериальной оптимизации характеристик двигателя.

Первые кластеры

На заводе «Салют» освоение возможностей кластерной архитектуры в качестве платформы для программного обеспечения инженерного анализа совпало с созданием в начале 2000-х годов КБ наземных промышленных газотурбинных установок, в котором были собраны ведущие специалисты в этой области из России и Украины. Первые же проекты потребовали разработки новых установок в сжатые сроки в условиях серьезных ограничений по бюджету, поэтому было принято решение сразу автоматизировать основные этапы проектирования и инженерного анализа, для чего были использованы высокоуровневая САПР Unigraphics компании UGS (ныне Siemens PLM Software) и программные комплексы от Ansys, MSC Software и FlowER.

Несмотря на то, что созданное КБ было оснащено новейшими на тот момент настольными ПК, быстро стало понятно, что их возможностей недостаточно для эффективного решения требовательных к вычислительным ресурсам задач прочностного, газодинамического анализа и задач тепломассообмена. Как рассказывает ответственный за направление высокопроизводительных вычислений в дирекции по ИТ «Салюта» Егор Дружинин, инженерные расчеты для одного узла занимали около восьми суток. В результате крайне непродуктивно использовалось рабочее время конструктора— сделав очередной вариант модели, он должен был больше недели ждать результатов анализа, чтобы внести исправления или перейти к проектированию нового узла. Расчеты проводились с большими упрощениями в объектах разработки, от чего снижалась точность.

В этот период специалисты «Салюта» обратили внимание на вычислительную и экономическую эффективность применения для подобных расчетов кластерных конфигураций, построенных из большого числа однотипных серверов стандартной архитектуры. В конце 2002 года на заводе «Салют» начались работы по формированию кластера на базе десяти процессоров Intel Xeon, и в январе 2003 года первая вычислительная установка была запущена в промышленную эксплуатацию. Как утверждают на заводе, этот кластер был первым в отрасли. В результате перевода программы газодинамического анализа FlowER на новую платформу время расчета сократилось с восьми суток до одной ночи. Однако выигрыш в производительности разработки породил и неожиданную проблему— новая система позволяла проводить анализ больших узлов установки, к чему конструкторы оказались не готовы: они привыкли оперировать небольшими деталями, искать пути дробления масштабной задачи на части и затем экстраполировать полученные результаты на всю конструкцию. Теперь появилась возможность анализировать газодинамические процессы сразу для больших сборок, но понадобилось предварительно разрабатывать новые методики конструирования и анализа, чтобы изменить подходы к проектированию и приучить инженеров эффективно и с максимальной выгодой для разработки конечного изделия использовать доступные вычислительные мощности.

В 2003 году для инженерных расчетов в конструкторских бюро «Салюта» начали использовать кластерные версии программы прочностного анализа Nastran/Pastran компании MSC, кроме того, в арсенале КБ появился продукт CFX от Ansys, предназначенный для эмуляции процессов горения жидкого и газообразного топлива и теплофизического анализа. Интересно, что расчет динамической прочности только одной охлаждаемой лопатки турбины с помощью ПО компании MSC сложнее и требует больше ресурсов, чем расчет прочностной модели корпуса океанского танкера, реализованной в этой же системе. Увеличение объемов и сложности задач, а также потребность в более точных расчетах вызвали необходимость повышения мощности вычислительной платформы— так в 2004 году на заводе появилась следующая кластерная установка от компании Arbyte на базе 40 процессоров Intel Xeon. Этот комплекс, наряду с первым кластером, по сей день эксплуатируется на заводе в круглосуточном режиме, демонстрируя высокий уровень надежности. Ставка на платформу Intel была сделана потому, что этого требовали программные продукты инженерного анализа.

Внедрение кластеров дало очевидный экономический эффект. Прежде всего, удалось значительно повысить скорость разработки— конструктор практически ежедневно может теперь готовить новый вариант узла газотурбинной установки, инженерный анализ которого проводится на кластере в течение ночи. Готовый виртуальный конструктив не требует оперативного изготовления «в железе» и стендовых испытаний, стоимость одного цикла которых сегодня варьируется в диапазоне от трех до 30 млн руб. (оплата стенда, если его нет на заводе, цена топлива, затраты на измерения и изготовление образца). Большинство испытаний теперь проводятся виртуально, на кластере, и повторяются без лишних трат сколь угодное количество раз. Фактически производится уже только товарный экземпляр установки, который подвергается необходимым квалификационным испытаниям, после чего сразу направляется заказчику. Среди главных результатов перехода на платформу высокопроизводительных вычислений для инженерных расчетов можно отметить следующие:

• объем решаемых задач увеличился более чем в тысячу раз;
• время ожидания инженерами результатов расчетов сократилось в 8 раз;
• общее количество стендовых испытаний сократилось более чем на 40%;
• время разработки изделия сократилось более чем на 30%.

Выход на новые мощности

Как отмечает директор по ИТ «ММПП «Салют» Дмитрий Елисеев, применение кластеров помимо сокращения времени инженерных расчетов позволило поднять точность анализа. Если на начальном этапе на базе ПК можно было производить расчет модели, состоящей из полумиллиона конструктивных элементов, то с появлением первого кластера это число увеличилось до 12 млн., а 40-процессорная установка позволяет вести расчеты для конструкций из 25 млн. узлов. Это напрямую влияет на качество конструирования изделий, однако такие возможности отнюдь не являются предельными— для обеспечения полной детализации необходимо вести расчеты для четверти миллиарда узлов.

Кроме того, возникает необходимость и в увеличении объемов расчетных задач. Кластерные установки используют несколько конструкторских бюро, расположенных на территории завода в Москве и в Подмосковье. Летом этого года президент РФ подписал указ о создании единой интегрированной структуры— Федерального научно-производственного центра на базе ММПП «Салют», в которую помимо головного войдет еще целый ряд предприятий в России и Молдавии. Цель— формирование крупного научно-производственного комплекса газотурбиностроения, который бы обеспечивал полный жизненный цикл от разработки до эксплуатации. С созданием такой структуры неизбежно возрастут потребности в мощностях для инженерных расчетов.

Для реализации этих требований, повышения точности и качества анализа конструкций на «Салюте» в партнерстве с компанией «Ай-Теко» в 2007 году был начат проект по внедрению нового кластера, который, как утверждают на заводе, станет самым мощным вычислителем в авиадвигателестроительной отрасли. Кластер строится на базе 50 серверов RX200 S3 компании Fujitsu Siemens Computers и коммутационного оборудования Cisco Catalyst. Данная система построена на четырехъядерных процессорах Intel Xeon X5355/3Гц, а ее 400 ядер по предварительным оценкам обеспечат быстродействие около 4,5 TFLOPS.

Установке каждого кластера всегда предшествует серьезный предварительный анализ— подготовку к выбору и внедрению новой системы ИТ-специалисты «Салюта» вели в тесном сотрудничестве с компанией Intel, которая предоставила возможности тестирования инженерных приложений на новой платформе. Однако наличие высокопроизводительных процессоров еще не гарантирует эффективного выполнения приложений, поэтому для выяснения возможностей используемых на предприятии систем инженерного анализа на четырехъядерной платформе и определения наиболее подходящей архитектуры кластера ИТ-специалисты «Салюта» проводили тестирование своих задач на базе центров Intel в Мюнхене, Нижнем Новгороде и Москве. Изначально была поставлена задача поиска оптимального решения без какой-либо связи с конкретными серверными платформами. По словам Дружинина, создание кластера— это всегда процесс многокритериальной оптимизации. Критерии, которых для новой установки «Салюта» было определено более десяти, задаются исходя из характеристик, влияющих на скорость работы общей системы, и требований класса решаемых задач. В частности, на формирование аппаратного облика кластера влияет геометрия модели, подвергаемой анализу. Например, для наиболее эффективного выполнения прочностного анализа лопатки газотурбинного двигателя нужна иная конфигурация кластера, чем при аналогичных расчетах турбинного вала. Кластер трудно переконфигурировать для каждой конкретной задачи, поэтому необходимо выделить приоритетные процессы инженерного анализа для данной платформы, которые и определят ее архитектуру. Таковыми стали наиболее ресурсоемкие и востребованные расчеты горения жидкого и газообразного топлива и газодинамический анализ. На новом кластере планируется реализовать сложный комплекс последовательных задач анализа для оптимизации продукции по целому ряду критериев. При этом установка будет сосуществовать с уже имеющимися на заводе кластерными платформами, на которых планируется выполнять менее требовательные к производительности прочностные расчеты.

Определив желаемую конфигурацию кластера, специалисты «Салюта» провели тендер, по результатам которого в качестве поставщика платформы и партнера по внедрению была выбрана компания «Ай-Теко». Выбор серверов от Fujitsu Siemens Computers в качестве аппаратной платформы для построения кластера был, по словам системного архитектора Центра разработки инфраструктурных решений «Ай-Теко» Алексея Сычева, продиктован оптимальным соотношением цена/производительность, а также уровнем поддержки со стороны поставщика на территории России. Кластер строится по классической схеме:

• вычислительное поле из набора однотипных серверов;
• управляющий узел для поддержки сервисов, необходимых для работы кластера как единого вычислителя;
• коммуникационная среда.

По словам Сычева, вычислительные кластеры являются уникальными решениями, поскольку область их применения— научные и промышленные расчеты— остается достаточно узкой. Тем более что на российском рынке тиражируемые кластерные решения пока слабо распространены, и потому в каждом конкретном случае разработка имеет свою специфику, а ее успех в значительной степени зависит от компетенции и практического опыта интегратора. В промышленную эксплуатацию кластер запущен в начале 2008 года.

О важности инфраструктуры

Новый кластер используется консолидированно всеми конструкторскими бюро завода, и в перспективе его возможностями смогут воспользоваться участники Федерального научно-производственного центра на базе «ММПП «Салют». Одна из приоритетных задач— инженерные расчеты при разработке нового авиационного двигателя пятого поколения. Елисеев подчеркивает, что, приобретая новый кластер, предприятие не стремится обеспечить себя мощностями на долгосрочную перспективу. Экономически обоснованной может быть установка платформы для решения задач в ближайший год-два, а в дальнейшем, при нынешней скорости развития процессорных и коммуникационных технологий и одновременном снижении стоимости высокопроизводительных вычислений на стандартной платформе, эффективней будет модернизировать кластер с использованием более современной аппаратной базы и конфигурации, оптимизированной для новых задач. Сегодня, в случае возникновения потребности в дополнительных мощностях, завод «Салют» имеет возможность воспользоваться вычислительными ресурсами Межведомственного суперкомпьютерного центра РАН.

На заводе высокопроизводительные кластеры рассматривают прежде всего как инструмент решения конкретных задач разработки газотурбинных авиадвигателей и наземных установок, поэтому подходят к их приобретению с сугубо практической точки зрения. У подобных предприятий нет средств на покупку специализированных суперкомпьютеров, но есть задача обеспечить высокое быстродействие вычислительной платформы при минимальных затратах, тем самым сэкономив средства для производства основной продукции. Сегодня эффективно решить эту задачу позволяют кластеры, собираемые из стандартных, доступных на рынке компонентов. Основная интеллектуальная нагрузка при этом ложится на заказчика, который должен определить архитектуру, оптимальную для решения его задач, и на интегратора, который эту архитектуру реализует. В дирекции по ИТ завода сейчас сформировано отдельное направление по высокопроизводительным вычислениям, в котором будет определяться стратегия развития платформ распределенных вычислений и проводиться обучение и поддержка пользователей.

Главную же ценность, по мнению специалистов «Салюта», составляет не сам высокопроизводительный кластер как таковой, а та инфраструктура, которую за пять лет удалось создать на заводе для эффективного применения платформ распределенных вычислений— опыт конструкторов и инженеров-расчетчиков, способных создавать модели и проводить их анализ с оптимальной загрузкой мощностей кластеров, разработанные на заводе методики проектирования и анализа изделий, задействующие стадию виртуальных испытаний, качество этих испытаний, обеспечивающих результаты, полностью идентичные стендовым, и т.д. Только при наличии всего этого кластер из мощного «железного молотка» превращается в интеллектуальный инструмент достижения конкурентных преимуществ ведущего машиностроительного предприятия России.

Ставка на высокие технологии

Федеральное государственное унитарное предприятие «Московское машиностроительное производственное предприятие «Салют»— старейший производитель авиадвигателей в России. Завод разрабатывает и производит авиационные двигатели для боевых самолетов и гражданских машин. Помимо авиадвигателей номенклатура продукции «завода» включает в себя наземные системы на основе газотурбинных установок для топливно-энергетического комплекса, опреснительные установки, газотурбинные двигатели для железнодорожного транспорта и военно-морского флота. На предприятии внедрена система менеджмента и контроля качества в соответствии с требованиями международного стандарта ISO 9001 в области разработки и производства.

На «Салюте» уделяется серьезное внимание использованию передовых технологий на всех этапах разработки и производства продукции, в том числе информационным технологиям. В задачи ИТ-дирекции завода входят: эксплуатация распределенных коммуникаций и компьютерного оборудования; разработка и поддержка корпоративной системы планирования и управления ресурсами «ERP Салют»; поддержка САПР Unigraphics и PDM-системы Teamсenter Engineering компании Siemens PLM Software; поддержка систем инженерного анализа для выполнения газодинамических, теплофизических и прочностных расчетов; разработка ПО подготовки производства для станков с ЧПУ; формирование стратегии развития платформ высокопроизводительных вычислений.