Грид-технологии приобретают все большую популярность в научно-исследовательских и образовательных центрах мира, работающих по таким направлениям, как физика высоких энергий, физика твердого тела, энергетика, астрофизика, биология, науки о Земле и медицина. Результатом сотрудничества ЛИТ ОИЯИ и Института физики НАН Азербайджана стало создание информационно-вычислительной облачной и грид-среды для проведения научных исследований, требующих высокопроизводительных комплексов, которые позволяют выполнять распределенные, параллельные расчеты над большими данными.

Основу аппаратной структуры проекта составляют многофункциональный информационно-вычислительный комплекс (МИВК) ОИЯИ [1] и ЦОД Института физики [2]. К ресурсам МИВК относятся облачный сервис, гетерогенная платформа, грид-инфраструктура, а также центральный информационно-вычислительный комплекс для всех пользователей. Грид-сайты МИВК входят в состав Российской грид-инфраструктуры (РДИГ) и предназначены для обработки больших объемов данных, поступающих с Большого адронного коллайдера. Сейчас в МИВК функционируют два грид-сайта: ресурсный центр первого уровня (T1_RU_JINR), используемый для сопровождения эксперимента CMS, и ресурсный центр второго уровня (JINR-LCG2) для выполнения задач экспериментов ATLAS, ALICE, CMS, LHCb, STAR, BES, COMPASS и др. (см. home.cern/about/experiments). Сайты интегрированы в глобальную грид-инфраструктуру WLCG (wlcg.web.cern.ch).

В число направлений развития инфраструктуры работы с данными ОИЯИ [3] входит интеграция облачных ресурсов организаций, находящихся в различных странах (см. рисунок), в общий распределенный пул ресурсов. Одним из первых в такой пул был интегрирован облачный сегмент Института физики НАН Азербайджана, построенный на базе многофункционального информационно-вычислительного ресурсного центра, включающего облачный и грид-сегмент, вычислительный кластер для работы с задачами физики твердого тела и геофизики. Все сервисы грид-сегмента работают под управлением единой системы, которая позволяет использовать грид-ресурсы для решения задач виртуальных организаций международных экспериментов — таких, например, как ATLAS на БАК.

 

Рисунок. Организации, участвующие в интеграции своих облачных ресурсов

Облачный сегмент и вычислительный кластер ориентированы на пользователей академической сети НАН. Основная операционная система всех узлов ЦОД — ОС Linux.

Для интеграции в вычислительную грид-инфраструктуру Европейской федерации (EGI) на вычислительных узлах и основных серверах грид-сегмента установлено связующее ПО EMI (European Middleware Initiative). Основной системой хранения больших объемов данных грид-сегмента служит программный комплекс на базе StoRM (STOrage Resource Manager).

Грид-сегмент Института физики прошел длительный этап сертификации, по окончании которого все сервисы в 2017 году были полностью интегрированы в инфраструктуру EGI как грид-сайт под именем AZ-IFAN, выполняющий в инфраструктуре EGI роль ресурсного центра уровня Tier-3 (wlcg-public.web.cern.ch/tier-centres).

На данный момент грид-сайт AZ-IFAN поддерживает такие виртуальные организации, как ATLAS, SEE, DTEAM и OPS.

Сертификация грид-сайта со стороны EGI и ATLAS заключается в проверке соответствия заявленных аппаратных параметров ресурсного центра фактическим и оценке работоспособности установленного связующего ПО. Процесс проверки включал мониторинг выполнения тестовых задач, запускаемых системами мониторинга EGI и ATLAS. Сертификации предшествовал этап подготовки специалистов на тестовом грид-сайте AZ-IP с минимальным набором сервисов, на котором сотрудники Института физики выполняли практические занятия по установке, настройке и проверке работоспособности грид-сайтов на базе ПО EMI.

В состав грид-сегмента AZ-IFAN входит следующий набор сервисов: UI — интерфейс пользователя; CREAM–CE — вычислительный элемент; site-BDII — информационный сервис о ресурсах грид-сайта; DPM SE (SRM) — хранилище данных; WN — вычислительные узлы; Local Lfc — файловый каталог; glite-APEL — сервис учета выполненных задач; LB — сервис сбора и хранения информации о задачах и их статусе.

Облачный сегмент Института физики построен на базе платформы OpenNebula и сначала посредством драйвера [4], разработанного в ЛИТ для этой платформы, был интегрирован по пиринговой модели (cloud bursting) с облачной инфраструктурой ОИЯИ, а затем включен в общую распределенную вычислительную среду на базе связующего программного обеспечения DIRAC, созданную вместо платформы на базе пиринговой модели. Облачные ресурсы ЦОД достаточно универсальны и предназначены как для тестирования различных математических пакетов и систем информационной безопасности [5], так и для выполнения других задач в режиме промышленного счета.

Управление вычислительным кластером осуществляется с помощью системы пакетной обработки задач на базе Torque с интегрированным планировщиком заданий Maui и поддержкой OpenMPI. На кластере установлены сетевые файловые системы NFS4 и CVMFS. Первая предоставляет общее дисковое пространства на всех узлах кластера, а вторая позволяет эффективно организовать распространение программ и доступ к ним, включая приложения экспериментов на БАК.

Прикладное программное обеспечение вычислительного кластера ориентировано на решение задач в области физики твердого тела: Abinit — свободное ПО для расчетов полной энергии, электронной плотности и т. д.; Wien2k — пакет программ для расчетов электронных структур в твердом веществе, использующий теорию функционала плотности; Quantum Espresso — свободное ПО для вычислений электронной структуры кристаллов. Все пакеты собраны с поддержкой OpenMPI.

Для управления ресурсами ЦОД используется централизованная система мониторинга, в реальном времени осуществляющая:

  • мониторинг всех развернутых грид-сервисов;
  • получение данных о состоянии и использовании вычислительных ресурсов;
  • мониторинг сетевой активности;
  • проверку доступности и производительности всех узлов ЦОД;
  • проверку выполнения вычислительных задач;
  • отправку оповещений.

Мониторинг грид-сервисов AZ-IFAN осуществляется посредством веб-портала EGI, а остальные перечисленные задачи решаются путем локального мониторинга на платформе ZABBIX, позволяющей в режиме реального времени отслеживать состояние локальной сети, интернет-соединений на всех узлах ЦОД и пр.

На веб-портале EGI собираются данные по общему количеству заданий, выполненных на грид-сайте AZ-IFAN, сгруппированные по виртуальным организациям, которым предоставляются ресурсы, и по календарной дате. Грид-сайт AZ-IFAN, в соответствии со своим уровнем Tier-3, предоставляет вычислительные ресурсы для эксперимента ATLAS на БАК, расчеты которого для данного грид-сайта включают статистическое моделирование и анализ данных. Запуск и мониторинг состояния счета и результатов выполнения таких задач осуществляются из ЦЕРН. Эти данные в реальном времени публикуются на веб-портале экспериментов. Обычно инфраструктура ЦОД Института физики используется для выполнения ресурсоемких вычислительных задач — серверное оборудование должно быть доступно в режиме 24х7, а статус Tier-3 обязывает соблюдать высокий уровень надежности оборудования.

***

Результатом совместных работ ЛИТ ОИЯИ и Института физики НАН Азербайджана в области грид- и облачных технологии стало создание грид-сайта AZ-IFAN и облачной инфраструктуры ЦОД Института физики. Была выполнена интеграция облачной инфраструктуры ЦОД в распределенную общую вычислительную среду на базе платформы DIRAC, а грид-сайт был сертифицирован на Tier-3 в инфраструктуре EGI. В рамках участия в решении задач физики высоких энергий грид-сайт AZ-IFAN был также интегрирован в глобальную инфраструктуру эксперимента ATLAS (ЦЕРН).

Литература

  1. A. Baginyan et al. Multi-level monitoring system for multifunctional information and computing complex at JINR // CEUR Workshop Proceedings (CEUR-WS.org), ISSN: 1613–0073, Publ: RWTH Aachen University, vol. 2023, pp. 226–233.
  2.  Bondyakov A.S. CEUR Workshop Proceedings, Vol-1787, urn: nbn: de:0074–1787–5, Инфраструктура и основные задачи дата-центра института физики НАН Азербайджана, 2016, P. 150–155.
  3. Владимир Кореньков, Александр Ужинский. Архитектура сервиса передачи данных в grid // Открытые системы.СУБД.— 2008.— № 2. — С. 52–56 URL: www.osp.ru/os/2008/02/4926522 (дата обращения: 21.09.2018).
  4. А. В. Баранов и др. Подходы к интеграции облачных инфраструктур // Компьютерные исследования и моделирование, ISSN:2076–7633, eISSN:2077–6853, 2016. Т. 8, № 3. с. 583–590.
  5. Бондяков А.С. Основные режимы работы системы предотвращения вторжений (IDS/IPS Suricata) для вычислительного кластера. Современные информационные технологии и ИТ-образование. 2017, Том 13, № 3, c. 31–37.

Владимир Кореньков (korenkov@jinr.ru) — директор, Николай Кутовский (Nikolay.Kutovskiy@jinr.ru) — научный сотрудник, Лаборатория информационных технологий ОИЯИ (Дубна); Алексей Бондяков (aleksey@jinr.ru) — инженер-программист, Институт физики НАН (Баку), ОИЯИ (Дубна).