CERN УЖЕ ПРЕДПРИНИМАЕТ первые попытки интеграции облачных сервисов Источник: cern.ch
CERN УЖЕ ПРЕДПРИНИМАЕТ первые попытки интеграции облачных сервисов
Источник: cern.ch

Как удалось европейским исследователям, занимающимся поисками бозона Хиггса, совершить одно из самых революционных за последние десятилетия физических открытий? С точки зрения ИТ они сделали ставку на старую, проверенную инфраструктуру грид-сетей, но в недалеком будущем их ждет перемещение в облако.

Одним из результатов экстенсивного использования построенной еще десять лет назад компьютерной инфраструктуры Европейской организации по ядерным исследованиям (CERN) стало обнаружение бозона Хиггса, или так называемой «частицы Бога».

В отличие от общедоступного облака, где данные и вычислительные ресурсы обычно хранятся в одном или нескольких централизованно управляемых ЦОД, а пользователи имеют непосредственный доступ к ресурсам, грид-сеть CERN объединяет более 150 вычислительных центров, которые развернуты в разных странах и ведут обмен информацией друг с другом.

В первые два года существования грид-инфраструктуры в ней ежегодно накапливалось 15-20 петабайт данных. Ожидается, что в этом году в CERN будет сгенерировано уже 30 Пбайт. «Обработать такой объем информации своими силами мы не в состоянии, — предупредил руководитель проекта грид-сети CERN Йен Берд. — Сегодня в моду входят вычисления в облаке, а когда-то все внимание уделялось грид-технологиям. И в какой-то степени все, что происходит сейчас, мы уже проходили».

Большой адронный коллайдер, где и ведется изучение бозона Хиггса, образует нулевой уровень грид-сети. Здесь собираются научные данные, которые описывают характер столкновения частиц в кольцевом туннеле протяженностью около 27 км. Экспериментальные данные пересылаются в 11 центров первого уровня, которые размещены в крупнейших лабораториях с крупномасштабными ЦОД и обрабатывают большие объемы научных данных. В этих центрах формируются наборы данных, которые затем рассылаются в 120 академических институтов, разбросанных по всему миру. Там проводятся дальнейшие исследования и выполняются необходимые тесты.

Вся грид-сеть объединяет 200 петабайт дисковой емкости и 300 тыс. процессорных ядер. Компьютеры установлены в 150 вычислительных центрах, связанных друг с другом каналами с пропускной способностью 10 Гбит/с. Центры связаны в единую систему с помощью грид-сети. Компьютеры работают под управлением операционной системы Red Hat Linux. Описание данных, хранящихся в каждом из узлов сети, предоставляется информационными сервисами.

Исследования, которые приводят к выдающимся открытиям (как это было в случае с бозоном Хиггса), не всегда ведутся централизованно. Это достаточно хаотичный процесс, что затрудняет планирование точного количества вычислительных ресурсов, выделяемых отдельными центрами. После столкновения частиц в Большом адронном коллайдере детектор регистрирует их следы. На первом этапе анализа осуществляется реконструкция столкновения и прослеживаются пути частиц. Обычно это происходит на нулевом уровне и в узлах первого уровня. На следующих этапах анализа формируются небольшие наборы данных, распределяемые между академическими институтами. Здесь производится статистический анализ, строятся гистограммы и выполняется извлечение информации. В случае какого-либо открытия анализ уточняется и запускается очередной тест. Спрогнозировать технологические потоки при таком подходе практически невозможно.

Вот почему потенциал облачных сервисов привлекает сегодня особое внимание. «Нас интересует, в частности, во что выльется использование сервисов хранения данных в облаке, — отметил Берд. — Пока неясно, с какими затратами это будет связано и какое воздействие окажет на нашу базовую структуру». CERN получает деньги от нескольких академических институтов, которым предоставляется доступ к данным CERN для проведения анализа. Многие партнерские академические группы располагают необходимыми вычислительными ресурсами и хотят получать данные CERN для проведения собственных экспериментов. Ресурсы предоставляются также соответствующим академическим сообществам.

CERN уже предпринимает первые попытки интеграции облачных сервисов. Здесь построено свое частное облако, созданное на основе программного обеспечения с открытым кодом OpenStack. Многие организации-партнеры также развернули на своей территории частные облака.

CERN вместе с другими европейскими исследовательскими организациями приступил к созданию общедоступного облачного ресурса Helix Nebula — научного облака. Предполагается, что проект будет реализован совместными усилиями исследовательских организаций, поставщиков облачных сервисов и служб поддержки, вносящих свой посильный вклад в создание и развитие облака научно-исследовательского сообщества. Экспериментальная программа начнется с построения в облаке Helix Nebula имитационной модели на основе данных, поступающих от Большого адронного коллайдера.