Развитие независимой от зарубежных компонентов инфраструктуры поддержки высокопроизводительных вычислений для решения задач нефтегазовой отрасли — одно из актуальных сегодня направлений не только повышения эффективности добычи углеводородов, но и обеспечения национальной безопасности. Эффективность работ в нефтегазовой отрасли сейчас непосредственно зависит от суперкомпьютеров, способных справляться с масштабными расчетными задачами, решение которых обеспечивает, в частности, качество разведки нефтегазовых месторождений и повышение продуктивности действующих скважин.
Программа «Исследования и разработка высокопроизводительных информационно-вычислительных технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства» («СКИФ-НЕДРА») была официально утверждена в 2014 году и завершена в 2020-м. Она предусматривала разработку прикладного программного обеспечения для обработки геолого-геофизических данных» (ПО «СКИФ-НЕДРА»), исследования и разработку опытных образцов специализированных высокопроизводительных вычислительных систем для решения геолого-геофизических задач («СКИФ-ГЕО»).
Важный компонент линейки аппаратных средств для высокопроизводительных вычислений, разработанных в ходе реализации программы, — система на жидкостном охлаждении «СКИФ-ГЕО-ЦОД», позволяющая создавать компактные энергоэффективные конфигурации для ЦОДов. Если, например, для снижения температуры на поверхности крышки центрального процессора с 80–90 oС до 40–60 oС при охлаждении воздухом требуется специальная подготовка помещений, то системы «СКИФ-ГЕО-ЦОД», бесшумные из-за отсутствия вентиляторов у вычислительных узлов, могут быть развернуты в обычных офисных помещениях, что соответствует возможностям большинства отечественных сервисных компаний нефтегазовой отрасли.
.jpg) |
| Рис. 1. Структура системы «СКИФ-ГЕО-ЦОД» |
Конфигурация системы «СКИФ-ГЕО-ЦОД» (рис. 1) предусматривает использование вычислительных узлов двух типов: 16-ядерных процессоров Intel Xeon E5-2697A v4/2,4 Ггц и «Эльбрус-4С». Энергопотребление для каждого — 600 Вт. Кроме того, в системе имеется узел визуализации данных на процессоре Intel Xeon E5-2697A v4 и графическом ускорителе Nvidia GRID Tesla M10 (архитектура Maxwell, 2560 GPU-ядер, 32 Гбайт памяти GDDR5, поддержка виртуализации) и узел управления на базе 10-ядерного процессора Xeon E5-2640 v4. Межсоединение выполнено на основе Infiniband 56 Гбит/с (Mellanox FDR), а система хранения состоит из дисковых подсистем на базе 48-терабайтных жестких дисков и твердотельных накопителей на 2 × 480 Гбайт. Удаленное подключение пользователей происходит через портал «СКИФ-ОБЛАКО», размещенный на узле управления, а пользовательские задачи распределяются по вычислительным узлам, подключенным к трем внутренним локальным сетям: коммуникационной, транспортной и вспомогательной. Задачи 3D-визуализации возложены на отдельный узел.
Комплекс программ «СКИФ-НЕДРА» включает средства решения задач сбора и обработки сейсмических данных, сейсмического, геологического и гидродинамического моделирования. Для поддержки моделирования и анализа геолого-геофизических данных имеется программный комплекс «Виртуальная Web-лаборатория», обеспечивающий доступ к прикладному ПО обработки геолого-геофизической информации как к сервису. За основу была взята концепция виртуальных рабочих столов DaaS, построенных на программном обеспечении Fanlight от ИСП РАН и ПО Docker для автоматизации развертывания и управления приложениями в среде контейнерной виртуализации. Программный комплекс может предоставляться в режиме как SaaS, так и PaaS. В первом случае пользователям дается готовое программное обеспечение, установленное на удаленном кластере и доступное по Сети, а во втором — на площадке пользователя развертывается аппаратно-программная платформа с предустановленным ПО и системным окружением.
Изначально для поддержки виртуализации предполагалось применять технологию OpenStack/KVM, однако выбор был сделан в пользу пакета Fanlight, предназначенного для организации на базе виртуальных рабочих мест в модели DaaS единой веб-лаборатории поддержки междисциплинарных коллективов, совместно работающих над экспериментами с использованием прикладных пакетов, требующих высокопроизводительных компьютеров. Выбор Fanlight был обусловлен следующими причинами:
- удобная работа с ПО, требующим поддержки аппаратного ускорения 3D-графики, а также полноэкранного и мультидисплейного режимов работы;
- поддержка CUDA;
- масштабируемость за счет гибкого управления запуском контейнеризированных приложений на распределенной аппаратной инфраструктуре средствами Docker Swarm;
- низкий порог вхождения в проект при развертывании на площадке пользователя собственной веб-лаборатории за счет возможности выбора аппаратных средств, обеспечивающих ее функционирование с дальнейшим расширением вычислительных возможностей по принципу оплаты по мере расширения (pay as you grow);
- тиражируемость и простая инсталляция за счет автоматического развертывания веб-лабораторий средствами Docker Compose.
Установка и настройка «Виртуальной Web-лаборатории» на удаленном кластере производится в частном виртуальном облаке, доступном различным подразделениям организации, ее подрядчикам и клиентам. Такая инфраструктура включает развертывание на кластере мастер-узла для обеспечения взаимодействия с пользователем, вычислительных узлов для проведения расчетов и системы хранения. Пользователь самостоятельно через графический интерфейс управляет вычислениями с мастер-узла и удаленно запускает виртуальные docker-контейнеры на сервере управления. Такие контейнеры могут содержать расчетные программы, запускаемые на любом доступном вычислительном кластере с помощью менеджера управления ресурсами Slurm. Это позволяет снять нагрузку с виртуального узла управления и перенести ее на внешний кластер, максимально полно используя его вычислительные мощности. Только использование прямых вычислений позволяет экономить до 5% производительности системы. Напротив, например, в KVM/OpenStack, запуск вычислений происходит в виртуальных машинах поверх физической операционной системы, что замедляет вычисления. Минимизация затрат при достижении максимальной производительности обеспечивается за счет динамического конфигурирования «СКИФ-ГЕО-ЦОД» для выполнения конкретной задачи и масштабирования путем добавления унифицированных вычислительных узлов с возможностью «горячей» замены и резервирования.
Вместе с тем docker-контейнеры могут содержать программы визуализации, не предполагающие распределения вычислительных мощностей на сторонние вычислители, и тогда основная нагрузка ложится на узел управления, поэтому на нем желательно использовать специализированные видеокарты Nvidia или AMD/ATI с возможностью трансляции запросов CUDA и OpenCL непосредственно на GPU-ядра.
Лицензионное ПО, используемое в рамках программы «СКИФ-НЕДРА», принадлежит компаниям, находящимся в российской юрисдикции. За работу прикладного ПО отвечает системное программное обеспечение на платформе Linux с лицензиями GNU General Public License. Основу системы хранения для ПО «СКИФ-НЕДРА» образует СУБД PostgreSQL, распространяемая с открытым кодом по лицензии PostgreSQL License.
Выполнение производственных задач на платформе «СКИФ-НЕДРА» по оказанию сервисных услуг (геолого-технологические исследования, ГИС, моделирование) невозможно без интеграции различных программно-аппаратных решений, разработанных разными поставщиками. «Виртуальная Web-лаборатория» организует только доступ к набору приложений, их совместную работу на общих вычислительных ресурсах, а также позволяет оптимизировать использование этих ресурсов. Взаимодействие отдельных программных компонентов внутри комплекса программ «СКИФ-НЕДРА» и со сторонними решениями обеспечивает платформа «Унофактор» [1], построенная на базе открытых международных стандартов консорциума Energistics, работающего в интересах основных игроков энергетической отрасли. Платформа включена в реестр инновационной продукции для внедрения в «Газпроме», функционирует на базе системы «СКИФ-ГЕО-ЦОД» и разработана с использованием отечественного и свободно распространяемого ПО.
.jpg) |
| Рис. 2. Стек технологий платформы «Унофактор» |
В основе архитектуры «Унофактора» (рис. 2) лежит микросервисный подход, что позволяет на конкурентной основе использовать отдельные программные модули из состава монолитного отраслевого ПО, комбинировать модули для создания кросс-вендорных решений прикладных задач, а также через шину данных в рамках одной платформы обеспечивать взаимодействие модулей (сервисов/микросервисов) от различных производителей.
«Унофактор» использует шину данных на базе протоколов Интернета вещей и брокеров сообщений (Mosquitto, Kafka и др.), за счет чего достигается ориентированная на события бесшовная интеграция устройств, систем и приложений. Ориентация на события означает, что платформа оперирует в первую очередь событиями, а не данными. При этом применяются алгоритмы обработки событий — от простой и поточной обработки до обработки сложных событий (Complex Event Processing, CEP) и нейросетевых методов (рис. 3).
.jpg) |
| Рис. 3. Событийно-ориентированная архитектура |
Для того чтобы избежать нецелесообразных затрат на разработку повторяющихся микросервисов, в платформе предусмотрен магазин приложений для получения готовых к использованию специализированных коллекций или отдельных микропрограмм.
***
Платформа на базе цифровой микросервисной шины данных, открытых протоколов обмена данными между устройствами и специализированного прикладного программного обеспечения «СКИФ-НЕДРА», развернутая на высокопроизводительной системе «СКИФ-ГЕО-ЦОД», обеспечивает интеграцию различных участников производственного процесса нефтегазодобычи, включающего управление данными, обеспечение их качества и анализа. Отсутствие лицензионных обременений на системное программное обеспечение открывает дополнительные возможности по применению платформы в ключевых областях производства и сервисных услуг, имеющих ограничения на использование зарубежного ПО.
Литература
1. Сергей Косенков, Владислав Балашов. Платформа роботизации нефтегазовых месторождений // Открытые системы. СУБД. —2020. — № 3. — С. 13–15. URL: https://www.osp.ru/os/2020/03/13055598 (дата обращения: 21.05.2021).
Владимир Турчанинов (turchaninov@nposngs.ru) — заместитель генерального директора по системной интеграции, Сергей Косенков (kosenkov@nposngs.ru) — руководитель ИТ-проектов, НПО «СНГС»; Александр Московский (moskov@rsc-tech.ru) — генеральный директор, группа компаний «РСК» (Москва).
