MPP-системы Cray T3E/CrayT3D

на сегодняшний день сложной обстановке на рынке суперкомпьютеров неизбежно встает вопрос о перспективах этих вычислительных систем. Векторные компьютеры испытывают усиливающееся давление со стороны систем, использующих RISC-процессоры. После слияния Cray Research и Silicon Graphics у объединенной компании окажется сразу два SMP-сервера на RISC-процессорах, CS6400 и POWER CHALLENGE. Вполне естественная в будущем ориентация на микропроцессоры MIPS/SGI означает, на взгляд автора, и неопределенность судьбы серверов CS6400, базирующихся на процессорах фирмы Sun. Памятуя о том, что прогнозы - вещь неблагодарная, рискну все же предположить, что линия компьютеров с архитектурой CrayT3E имеет достаточно надежные перспективы.

Одна из самых важных характеристик суперкомпьютеров MPP-архитектуры, имеющих физически распределенную память, - так называемый диаметр системы. Это понятие означает максимальную длину, которая может понадобиться посланному сообщению, при прохождении из одного узла MPP-компьютера в другой. Длина измеряется, грубо говоря, количеством промежуточных узлов, которые надо миновать на пути к конечному узлу. Если в MPP-системах Intel Paragon, являющихся сегодня мировыми лидерами производительности, применяется топология двухмерной решетки, то в компьютерах Cray T3D, а затем и Cray T3E, использована более сложная топология трехмерного тора. Это позволяет уменьшить диаметр системы.

Передача данных по тору может происходить в обоих направлениях. Скорость обмена полезными данными (за вычетом управляющей информации) равна 160 Мбайт/с. Для оценки пропускной способности всей системы может использоваться "половинная" пропускная способность. Это максимальная скорость, с которой одна половина (узлов) компьютера может обмениваться с другой половиной. В Cray T3D она составляет 78,6 Гбайт/с для 2048 процессорных элементов, а в Cray T3E - свыше 122 Гбит/с для 512 процессорных элементов при скорости передачи полезных данных от узла к узлу 480 Мбайт/с (в 3 раза выше, чем в Cray T3E). Для сравнения, максимальная скорость передачи данных между двумя узлами системы в Intel Paragon равна 175 Мбайт/с.

Сеть, соединяющая узлы (interconnect network, в дальнейшем IN), включает в себя также и маршрутизаторы. В отличие от Cray T3D, в Cray T3E появилась адаптивная маршрутизация, позволяющая перемаршрутизировать сообщения с тем, чтобы обходить интенсивно используемые "узкие места". С точки зрения производительности, IN Cray T3E существенно превосходит как Intel Paragon, так и своего предшественника Cray T3D.

На рис. 1 представлена общая архитектурная схема компьютеров, содержащих Cray T3D. Дело в том, чтоCray T3D представляет собой не отдельный компьютер, а может работать только в системе, содержащей векторно-конвейерную машину от Cray Research, например Cray С90. Это серьезный недостаток, поэтому Cray T3E был разработан уже как полностью автономная система.

Процессорные элементы в Cray T3D основаны на микропроцессорах DEC Alpha 21064 c пиковой производительностью 150 MFLOPS. В состав процессорного элемента в Cray T3D входит также локальная память размером 16 или 64 Мбайт. Пара процессорных элементов образует узел системы, в котором они совместно используют аппаратуру подсоединения к IN, включая маршрутизатор. Поскольку в Cray T3D может быть включено до 2048 элементов, диапазоны возможных конфигураций следующие: от 32 до 2048 процессоров, пиковая производительность от 4,8 до 307,2 GFLOPS, оперативная память от 0,5 до 128 Гбайт. Очень важно то, что, хотя оперативная память физически распределена и каждый процессорный элемент имеет свою локальную память, вся память системы является глобально адресуемой и доступна из любого процессорного элемента, для любого микропроцессора.

Системы CrayT3E являются уже полностью автономными компьютерами, имеющими собственные средства ввода/вывода вместо каналов IOC векторных систем. В процессорных элементах Cray T3E применяются микропроцессоры DEC Alpha 21164 c с тактовой частотой 300 МГц и пиковой производительностью 600 MFLOPS.

Локальная оперативная память в Cray T3E может иметь емкость от 64 Мбайт до 2 Гбайт. Пропускная способность локальной памяти Cray T3E составляет 1,2 Гбайт/с. Каждый процессорный элемент Cray T3E снабжен собственным маршрутизатором и является узлом IN.

Конструктивно в Cray T3E процессорные элементы вместе с их маршрутизаторами объединяются в модули (по четыре процессорных элемента на модуль в системах с воздушным охлаждением и по восемь - с жидкостным охлаждением). Модуль является минимальной единицей наращивания конфигурации.

В системах Cray T3E появилась также новая архитектура ввода/вывода GigaRing. Обмен данными с устройствами ввода/вывода в Cray T3E, в отличие от Cray T3D, осуществляется не через каналы IOC векторных компьютеров, а через собственные каналы Cray T3E, называемые GigaRing. Каждый канал GigaRing состоит из двух 32-разрядных колец, по которым данные передаются в противоположных направлениях. Скорость передачи по такому каналу, как видно из названия, составляет 1 Гбайт/с.

Канал передает данные между узлами GigaRing (не следует путать с их узлами IN!). Выделяют три класса узлов GigaRing: сетевые (подключенные посредством HIPPI/FDDI/ATM/Ethernet), подсистемы хранения данных (дисковые и ленточные) и системные.

В настоящее время в качестве системных может выступать процессорная часть Cray T3E вместе с IN. В планы компании Cray Research также входит обеспечение возможности работы векторных компьютеров Cray T90 и J90 в качестве системных узлов GigaRing.

Существует несколько типов узлов ввода/вывода. Узлы Fibre Channel поддерживают протокол Fibre Channel Arbitration Loop, обеспечивающий канал передачи данных с пиковой скоростью 100 Мбайт/с. Один узел обслуживает пять таких каналов, к каждому из которых можно подсоединить до 80 устройств.

Узлы ESCON и узлы блок-мультиплексных каналов позволяют подключать к Cray T3E ленточные накопители, работающие через каналы мэйнфреймов IBM соответствующих типов. Узел HIPPI обеспечивает поддержку этого сетевого стандарта на скоростях 100 и 200 Мбайт/с. Наконец, многоцелевой узел включает 2 шины SBus (традиционно используемые в компьютерах Sun Microsystems), к каждой из которых подключается до 4 контроллеров. Эти контроллеры осуществляют поддержку сетевых технологий АТМ, Ethernet (10BaseT), FDDI (одиночное и двойное подключение), а также интерфейса Fast&Wide SCSI-2 в дифференциальном варианте.

Системы Cray T3E с воздушным охлаждением занимают от 1 до 6 шкафов. Наращивание конфигурации происходит модулями, включающими 4 процессорных элемента и 1 интерфейс GigaRing. Компьютеры с жидкостным охлаждением имеют до 8 шкафов. Их конфигурации наращиваются модулями, имеющими 8 процессорных элементов и 1 интерфейс GigaRing. Характеристики различных конфигураций Cray T3E приведены в таблице 1, где AC означает воздушное охлаждение, а LC - жидкостное.

Таблица 1.
Конфигурации Cray T3E.

Масштабируемость производительности, IN, системы ввода/вывода операционной системы - все это позволило руководителю компании Дж. Самперу сделать заявление, что Cray T3E - первый в мире реально масштабируемый суперкомпьютер. Суперкомпьютеры такого класса - это штучный товар. Крупнейшие суперкомпьютерные центры США оснащены компьютерами Cray T3D. Компания получила уже несколько заказов на системы Cray T3E, ориентированные на научно-технические применения. А один из спонсируемых NSF суперкомпьютерных центров в Питтсбурге ее уже инсталлировал. Стартовая цена меньше 1 млн. долл.