Информационно-вычислительные системы и инфраструктура ИТ

Одним из них можно по праву считать реализованный компанией «Т-Платформы» проект модернизации мощного вычислительного кластера в МГУ им. М. В. Ломоносова, знаменующий начало нового этапа развития отечественной суперкомпьютерной отрасли.

Строительство первой части вычислительного комплекса «Ломоносов» в Московском государственном университете было завершено в 2009 году, однако растущее число и сложность выполняемых задач потребовали увеличения мощности суперкомпьютера. Руководство университета приняло решение о его модернизации, причем сделать это нужно было без прерывания работы и максимально прозрачно для пользователей.

Проект, по завершении которого производительность мощнейшего суперкомпьютера России и СНГ возросла до 1373 Тфлопс, был выполнен компанией «Т-Платформы» на базе ее собственных разработок в области аппаратного и программного обеспечения, причем все вычислительные узлы удалось разместить в машинном зале площадью всего 252 м2. Как заявляют исполнители, это мировой рекорд плотности размещения вычислительного комплекса. Кроме того, при максимальном энергопотреблении в 2,8 МВт достигнута уникальная для России энергоэффективность — 490,36 Тфлопс/МВт.

Данный кластер является лидером рейтинга самых мощных вычислительных комплексов России и СНГ (Top50), а кроме того, он занимает 18-ю строчку последней редакции (ноябрь 2011 года) рейтинга суперкомпьютеров мира (Top500) и второе место в рейтинге систем с графическими процессорами Graph500.

В суперкомпьютере используются четыре вида вычислительных узлов (все они разработаны компанией «Т-Платформы») и процессоры с различной архитектурой для достижения высокой производительности при работе с широким спектром приложений. Трехуровневая система хранения данных, включающая ленточную библиотеку, обеспечивает раздельное хранение данных пользователей системы и расчетных данных решаемых задач. Емкость хранилища увеличена на 100 Тбайт.

Изначально основу суперкомпьютера составляли вычислительные узлы TB2-XN на базе четырехъядерных и шестиядерных процессоров Intel Xeon X5570 Nehalem и X5670 Westmere. Сейчас в системе также используются вычислительная платформа TB 1.1 с увеличенным объемом оперативной памяти и встроенными дисками для выполнения специфических задач, требовательных к этим параметрам системы, и гибридные узлы TB2-TL на базе процессоров Intel Xeon и NVIDIA Tesla. Все вычислительные узлы и СХД связывает сеть InfiniBand QDR на 40 Гбит/сек. В качестве дополнительных сетей применяются 10G Ethernet и Gigabit Ethernet, а выделенные сети барьерной синхронизации и глобальных прерываний позволяют за минимальное время синхронизировать вычислительные процессы на отдельных узлах и ускорить обмен данными между процессорами.

В ходе модернизации вычислительного комплекса «Ломоносов» в его состав были включены дополнительные гибридные модульные системы TB2-TL с графическими ускорителями NVIDIA Tesla X 2070, сконструированные инженерами компании «Т-Платформы». Для таких систем характерна более высокая масштабируемость приложений по сравнению с традиционными кластерами, а число процессоров в них может составлять десятки тысяч.

Высокая вычислительная плотность TB2 достигается прежде всего за счет разработанного инженерами «Т-Платформ» оригинального дизайна 14-слойной системной платы, на которой расположены четыре процессора Intel Xeon серии 55xx или 56xx, четыре трехканальных модуля памяти DDR3 (разработка «Т-Платформ») и интегрированные контроллеры системной сети InfiniBand. Каждая микросхема памяти интегрирует функционал трех модулей DIMM и размещается на системной плате горизонтально, экономя место. Композитный алюминиевый радиатор с медными вставками полностью закрывает системную плату и обеспечивает эффективное воздушное охлаждение. Такая конструкция позволила уменьшить вес шасси до 153 кг. Компактный дизайн шасси предусматривает возможность развертывания решения в ЦОД с традиционной инфраструктурой.

Коммутаторы системной сети в ТB2 созданы на основе эталонного дизайна Mellanox InfiniScale IV. Два коммутатора в задней секции шасси обеспечивают неблокируемую пропускную способность 1,6 Тбит/сек. Они имеют 32 внутренних порта для подключения всех вычислительных узлов и 40 внешних портов, 6 из которых используются для соединения с СХД по InfiniBand. Модуль управления отвечает за мониторинг системы и управление ею, обеспечивает интеграцию управляющей и вспомогательной сетей Ethernet, специализированных сетей барьерной синхронизации и глобальных прерываний, а также сети внешней частотной синхронизации вычислительных узлов. Управление этими сетями осуществляется посредством специально запрограммированной микросхемы FPGA.

В результате реализации проекта достигнуто более чем трехкратное увеличение первоначальной мощности суперкомпьютера «Ломоносов», создана надежная технологическая база для решения глобальных научных задач ближайшего будущего.

После третьей по счету модернизации суперкомпьютера «Ломоносов» МГУ приступает к проектированию нового кластера мощностью 10 Пфлопс. Разработка его технического проекта поручена компании «Т-Платформы». Новая система будет размещена в НИВЦ МГУ. Она позволит выполнять более сложные исследования в аэрокосмической, биомедицинской, атомной, нефтегазовой отраслях и многих других областях.

Среди крупных инфраструктурных проектов мы отметили работу компании «Астерос», успешно решившей сложную задачу построения надежной ИТ-инфраструктуры нового офиса ТНКВР общей площадью 37 000 м² (он размещается на 20 этажах бизнес-центра «Нордстар Тауэр»). Проект стартовал в сентябре 2010 года, и за семь месяцев специалисты «Астерос» совместно с сотрудниками ТНК-ВР внедрили свыше 20 различных инженерных и ИТ-систем, от которых зависит деятельность нефтяной компании. Ранее «Астерос» уже выполняла масштабные проекты по созданию офисов для финансовой группы ВТБ, международного аэропорта Сочи и «Аэрофлота».

Новый проект характеризуют две особенности: крупнейшая в России и Восточной Европе СКС на оборудовании Panduit, которая насчитывает 14 600 портов и поддерживает работу 3500 сотрудников, а также мультимедийный комплекс, предусматривающий наличие центра визуального моделирования и контакт-центра. Как отмечают в компании «Астерос», почти на каждом этапе проекта использованы инновационные решения.

Мониторинг и интеллектуальное управление структурированной кабельной системой обеспечиваются решением Panduit PanView IQ. Эта система управления физическим уровнем сети позволяет контролировать все изменения ее конфигурации в режиме реального времени, что помогает укрепить надежность системы и увеличить время ее бесперебойной работы. Кроме того, повышается уровень защиты сети за счет постоянного мониторинга и оповещения системного администратора о любых изменениях в коммутационном поле, улучшается общая эффективность системы благодаря упрощению процедур планирования, внедрения, документирования изменений конфигурации сетевого оборудования, контроля за размещением сетевых компонентов, экономятся время и ресурсы в результате параллельного выполнения задач с разным приоритетом.

Для исследования геологических, геофизических и гидродинамических моделей нефтяных месторождений был построен центр визуального моделирования. Информация, поступающая от филиалов и предприятий нефтяной группы, отображается в формате 3D. Для этого, помимо современной проекционной техники, использован уникальный сплошной экран размером более 6×2 м, специально произведенный для задач ТНК-ВР. Кроме того, специалисты «Астерос» создали систему корпоративной IP-телефонии и систему видеоконференц-связи.

Интегрированный с ними комплекс мультимедийных систем объединил переговорные комнаты, конференц-залы, зоны открытого офиса, приемные и актовые залы. Одно из помещений при необходимости можно разделять на несколько независимых переговорных с сохранением полного функционала каждого зала в отдельности и большого зала в целом. Управлять системами любой из комнат можно с помощью iPad.

Список достойных внимания проектов не ограничивается двумя уже названными. Стоит отметить по крайней мере еще пару проектов, в частности, развертывание программноаппаратного комплекса Oracle Exadata Database Machine для банка «Санкт-Петербург» с новейшей версией АБС ЦФТ на Oracle Database 11g. Инсталляция и настройка Oracle Exadata осуществлялась специалистами Oracle при участии CSBI Group.

Команда из CSBI Group провела предпроектные обследования и выполнила работы по миграции данных в АБС компании «ЦФТ». В подразделениях банка установлены два комплекса Oracle Exadata Database Machine — основной и резервный.

Это первый проект в России такого рода: новейшая версия АБС компании «ЦФТ», российского разработчика банковского ПО, на базе последней версии Oracle Database 11g, мирового лидера в области СУБД, работает на Oracle Exadata Database Machine — самой быстрой в мире машине баз данных Oracle. Такая комбинация обеспечивает высокую производительность ИТ-инфраструктуры банка, мощную поддержку его текущей деятельности и создает надежную основу для активного развития розничного бизнеса.

Основной задачей проекта «Цифровой район» было подключение более 120 многоквартирных домов к единой мультисервисной сети жилищного фонда (МСЖФ) на основе волоконнооптических линий связи и коммутаторов Allied Telesis. При его реализации компания Allied Telesis решила задачу построения консолидированной сети для смежных систем внутриквартальных технологических систем связи, включающих в себя видеонаблюдение и экстренную связь (систему обеспечения безопасности города), систему диспетчеризации лифтового и инженерного оборудования, подъемных платформ для инвалидов, а также автоматизированную систему учета потребления ресурсов (домовые и индивидуальные приборы учета потребления тепла, воды, электроэнергии, газа). Для сбора и передачи данных используются различные технологии и протоколы: Ethernet, CAN, RS-485, DSL, WiFi и др. Внутриквартальные технологические системы связи построены с использованием топологии Metro Ethernet. Проект реализован в нескольких микрорайонах Москвы (в ЮВАО и СВАО).

Внедрение системы автоматического сбора данных позволяет не только получать достоверные данные, но и экономить. Как показывает опыт, после внедрения системы жители платят за энергопотребление на 20–30% меньше. Кроме того, консолидированная сеть сокращает затраты на обслуживание инфраструктуры. Используемые технологии помогают решать задачи, стоящие как перед городскими хозяйственными службами, так и перед местными органами управления, предлагающими населению социальные и коммерческие услуги.