МАСШТАБИРУЕМЫЕ ЦОД сегодня состоят из параллельных инфраструктур, как аппаратных, так и программных, и требуют самой масштабируемой, энергоэффективной и высокоскоростной системы межсоединений — InfiniBand Источник: Voltaire
МАСШТАБИРУЕМЫЕ ЦОД сегодня состоят из параллельных инфраструктур, как аппаратных, так и программных, и требуют самой масштабируемой, энергоэффективной и высокоскоростной системы межсоединений — InfiniBand
Источник: Voltaire

С увеличением числа пользователей, приложений и платформ объемы данных растут уже не в арифметической, а в геометрической прогрессии. В связи с этим неизбежно приходится наращивать мощность центров обработки данных для ускорения доступа к ним и их анализа.

Масштабируемые ЦОД сегодня состоят из параллельных инфраструктур, как аппаратных (кластеры вычислительных систем и хранения), так и программных (пример — Hadoop), и требуют самой масштабируемой, энергоэффективной и высокоскоростной системы межсоединений — InfiniBand.

Хотя Ethernet широко применяется в ЦОД, этой технологии требуется обратная совместимость с оборудованием, созданным десятилетия тому назад, и ее архитектура является многоуровневой, включая в свой составTop-of-Rack, ядро и уровень агрегации. Это подходит для выделенного ЦОД, но при попытке применения в быстрорастущих масштабируемых вычислительных архитектурах возникают сложности.

InfiniBand первоначально применялась в средах высокопроизводительных вычислений благодаря своей высокой пропускной способности и потенциалу масштабирования. Но не только крайне малое время задержки, высочайшая пропускная способность и эффективный транспорт (малозатратный с точки зрения ресурсов центрального процессора) сделали эту технологию очевидным выбором для масштабируемых ЦОД. Более важными факторам стали возможность строить на базе InfiniBand сети без маршрутизаторов неограниченных размеров на основе идентичных коммутирующих элементов, надежная и лишенная потерь доставка данных, средства предотвращения перегрузок сети и поддержка мелкого буфера.

Основным строительным блоком сети InfiniBand являются коммутаторы (имеющие от 36 до 648 портов в расчете на корпус) и шлюзы InfiniBand-Ethernet (10G или 40G). Коммутирующая матрица InfiniBand работает с пропускной способностью 56 Гбит/с, благодаря чему можно гибко варьировать конфигурацию и назначать порту гарантированную пропускную способность, превышающую его физическую в случаях, когда пропускная способность к серверу может быть ниже. Матрица InfiniBand и приложения, работающие поверх адаптеров InfiniBand, управляются так же, как матрица Ethernet и приложения, действующие поверх соответствующих сетевых адаптеров.

InfiniBand — это матрица, передающая данные без потерь и не нуждающаяся в протоколе STP для защиты от циклов пакетов. Масштабирование реализовано очень просто за счет возможности добавления коммутирующих элементов. Каждая подсеть может иметь до 40 тыс. конечных точек — серверов и систем хранения, а матрица в целом может содержать до 2128 конечных точек. Адаптеры InfiniBand потребляют крайне малую мощность — меньше 0,1 Вт на гигабит, а коммутаторы InfiniBand — меньше 0,03 Вт на гигабит.

Так как InfiniBand соперничает с Ethernet в том числе и по расценкам, то в первом случае за более высокую пропускную способность вы платите самую низкую цену в расчете на конечную точку.

Скорость на порядок выше, затраты на 50% ниже

Благодаря тому что InfiniBand обеспечивает время задержки менее 1 мкс, пропускную способность 56 Гбит/с, поддержку удаленного прямого доступа к памяти, малозатратный транспорт, передачу без потерь и заторов, а также имеет другие качества, пользователи могут кардинально повысить скорость работы своих приложений и снизить капитальные и операционные расходы.

Oracle, например, взяла на вооружение InfiniBand несколько лет тому назад, и с тех пор на основе этой технологии создала СУБД-комплексы, а также решения для облачных сервисов, обработки данных в оперативной памяти и хранения. Применение InfiniBand позволило увеличить быстродействие таких решений десятикратно или больше.

Переход на InfiniBand в ЦОД Microsoft, обслуживающий сервис Bing Maps, обеспечил увеличение производительности и 50-процентное снижение капитальных затрат по сравнению с 10 Gigabit Ethernet. А в EMC/GreenPlum построили крупномасштабную систему Hadoop на основе InfiniBand, чтобы максимально задействовать потенциал появившихся в Hadoop средств ускорения обработки, рассчитанных специально на применение этой технологии межсоединений.

В области высокопроизводительных вычислений InfiniBand стала фактическим стандартом предпочтительной технологии межсоединений. В сегменте хранения InfiniBand применяется во все большем числе решений для связи между самими массивами и частично — с серверами. IBM, EMC, DataDirect и Xyratex — лишь несколько примеров производителей, предлагающих подобные решения.

Что впереди?

InfiniBand — одна из самых быстроразвивающихся технологий на рынке. Если средний разрыв между поколениями Ethernet составляет около 10 лет, то новое поколение InfiniBand появляется каждые два-три года.

В 2002 году это были системы с пропускной способностью 10 Гбит/с, в 2005-м — 20, в 2008-м — 40, в 2011-м — 56 Гбит/с. В ближайшие два-три года ожидается появление 100-гигабитной InfiniBand, готовой к крупномасштабным внедрениям. Каждое поколение отличается от предыдущего новыми и улучшенными функциями, которые позволяют приложениям работать быстрее, а вычислительным инфраструктурам — стать эффективнее с точки зрения быстродействия, расхода потребляемой мощности и отказоустойчивости.

В ближайшие несколько лет ЦОД (виртуализованные, облачные и т. д.) будут обрабатывать и переносить данные в невиданных ранее объемах. Через 10 лет в центры обработки будет поступать информация от сотен миллионов элементов — датчиков окружающей среды, спутниковых камер, навигационных систем наведения и медицинских приборов. У InfiniBand есть все шансы стать предпочтительной технологией для таких ЦОД, учитывая важность эффективности межсоединений для их работы.