Новые стандарты RAID

Любой компьютер независимо от архитектуры и вычислительной мощности центрального процессора использует в своей работе периферийные устройства, которые часто оказываются наиболее медленным звеном в общей цепи, определяющей производительность компьютера любого класса. Именно поэтому организации работы периферийных устройств уделяется сегодня так много внимания. Потребителей уже не устраивают существующие способы работы периферии, особенно таких ее быстрых компонентов как жесткие диски или дисковые массивы. Все это вызвало к жизни множество дополнительных и альтернативных вариантов архитектур конфигурации внешних устройств. Одним из последних таких вариантов является группа стандартов, условно объеденных в архитектуру под названием SCSI-3 [1], которая в ближайшие году будет играть основополагающую роль при построении сложных серверных систем.

Достоинства и недостатки стандарта SCSI

До недавнего времени существовал практически только один интерфейс работы с внешними устройствами для любых типов компьютеров - SCSI (Small Computer System Interface), который сегодня является стандартным вариантом организации внешних устройств серверов и многопользовательских машин. Накопители на ленте или CD-ROM, одиночные диски, а также RAID матрицы, многочисленные дополнительные внешние приспособления подключаются к системной плате через этот интерфейс. Практически все современные внешние устройства обладают возможностью подключения к SCSI интерфейсу.

Стандарт SCSI-2 имеет ряд особенностей, которые сделали его столь популярным уже при появлении на свет и обеспечивают ему достаточное долголетие:

• использование параллельного кабеля, позволяющего осуществлять одновременный обмен по разным сигнальным каналам;
• общий набор стандартных команд обеспечивающий возможность подключения к единому кабелю совершенно разнотипной периферии: диски, ленты, сканеры и т.д.;
• установка идентификационного номера на каждом устройстве, гарантирующего отсутствие конфликтов при совместной работе;
• арбитражный способ организации обмена, инициатором которого является контроллер, позволяющий четко распределять время передачи данных;
• возможность подключения большого числа устройств (до 7 или до 15);
• общая длина кабеля около 15 метров, а также активное и пассивное терминирование дает возможность подключать внешние устройства, например, внешнюю RAID матрицу;
• высокая скорость обмена 10 или 20 Мбайт/с по 8 или 16 битовой шине данных обеспечивающая удовлетворительную скорость работы.

В процессе развития SCSI претерпевал много изменений, направленных на преодоление узких мест, связанных с развитием периферии. Сегодня существует уже несколько вариантов этого стандарта, отличающихся скоростью передачи данных. Разные SCSI используют разные физические стандарты подключения разъемов и кабелей. Наиболее известны на сегодняшний момент FAST SCSI-2 и WIDE SCSI-2 - 8 и 16 бит на шине данных соответственно.

И хотя SCSI-2 является сейчас самым популярным и наиболее распространенным интерфейсом, его возможности уже не удовлетворяют сегодняшним запросам. В первую очередь это обусловлено стремительным развитием технологии производства жестких дисков, которые способны развивать скорость записи/считывания до 5-6 Мбайт/с, а при их организации в массив, теоретическая скорость становится равной сумме скоростей отдельных дисков. Такие системы уже завоевали свое право на жизнь, а возможностей интерфейса SCSI-2 как способа их объединения оказывается уже недостаточно. К тому же арбитражный способ организации не всегда удобен. При перезаписи с одного устройства на другое данные проходят через контроллер, в той или иной степени загружающий центральный процессор. Возможность подключения максимум 15 устройств, тоже не может быть сегодня расценена как достаточная.

Все это привело к необходимости модернизации SCSI-2 и вызвало потребность в новом стандарте.

Любой разработчик при раздумывании над новыми задачами решает для себя вопрос: усовершенствовать уже имеющиеся системы или создать нечто принципиально новое? Последнее безусловно предпочтительнее, однако как же быть с совместимостью. Развитие SCSI-2 пошло по одновременно двум путям: дальнейшая разработка параллельного арбитражного интерфейса Ultra SCSI и создание принципиально новых архитектур.

На путь разработки новых стандартов толкали некоторые ограничения, заложенные в физической организации SCSI-2, отказ от которой позволил значительно увеличить скорость передачи данных (до 200 Мбайт/c), повысить количество дисков (до 126) и перераспределить потоки данных, часть которых теперь минует контроллер. Совместимость в новой архитектуре достигается на уровне SCSI команд. И хотя эти решения явно по всем параметрам, включая и стоимость лучше чем SCSI его рано еще рассматривать в качестве кандидата на выброс в мусорный ящик.

Ultra SCSI, что нового?

Стандарт Ultra SCSI появился на свет совершенно недавно, как один из вариантов дальнейшего развития периферийной архитектуры. Свое развитие он получил целиком из ныне существующих стандартов SCSI-2. Потребность в более скоростной шине при одновременном обеспечении максимальной совместимости с предыдущими стандартами, а также низкая стоимость обновления аппаратуры стали основными причинами появления стандарта.

Основной отличительной особенностью Ultra SCSI является увеличенная в два раза частота электрических сигналов. Одновременно, для сохранения совместимости со своими "родителями" были разработаны два вида интерфейса: FAST-20 Narrow и FAST-20 Wide. Первый, как и FAST SCSI-2 использует 8 битовую шину данных и имеет максимальную скорость передачи 20 Мбайт/с, второй, как и WIDE SCSI-2 - 16 битную и, соответственно скорость 40 Мбайт/с.

Замечательным свойством нового SCSI стандарта является полная совместимость по физическому подключению и протоколу работы при взаимодействии со "старыми" устройствами FAST или WIDE. Естественно связка контроллер-устройство будет работать по "старому" протоколу. Это позволяет минимизировать затраты на оборудование при последовательном переходе к новому интерфейсу.

В связи с новыми возможностями Ultra SCSI накладывает дополнительные незначительные ограничения. Во-первых, повышенная частота передачи предъявляет более жесткие условия к коммутирующим кабелям и разъемам. Во-вторых, Ultra SCSI использует только активное терминирование. В-третьих максимально допустимая длина шлейфа кабеля теоретически сокращается в два раза, а практические руководства не рекомендуют превышать 6 метровый предел. И хотя эта норма близка к критической, для серьезных дисковых систем, эти ограничения не должны быть принципиальной задержкой для продвижения этого стандарта на компьютерный рынок.

Уже сегодня Ultra SCSI контроллеры и диски доступны как во всем мире, так и в России. К сожалению, еще не накоплено достаточно опыта работы с этой архитектурой, но, учитывая полную совместимость и эквивалентные цены, можно утверждать, что в ближайший год она станет стандартом де факто для серверных систем.

Стандарт Ultra SCSI часто путают с SCSI-3. На самом деле Ultra SCSI является только подмножеством SCSI-3, максимально совместимым с предыдущими версиями SCSI. Он не является чем-то принципиально новым и служит только для безболезненного перехода на более высокую производительность. Другие варианты организации периферии несут ряд принципиально новых идей и дополнительных возможностей.

Архитектура SSA

Стандарт SSA [2-5] впервые был предложен фирмой IBM в августе 1995 года. Эта технология в первую очередь предназначалась для дисковых систем, но также может эффективно сочетаться с другими периферийными устройствами: CD ROM, ленты, магнитооптические дисководы, принтеры - технология достаточно проста и доступна для разработчиков.

Всего лишь несколько лет назад объем дискового пространства в 1 Гбайт считался достаточно большим - сейчас этим никого не удивишь. Прогресс в устройствах записи информации на магнитные диски привел к тому, что значительно снизилась стоимость хранения информации. Удобство хранения информации именно на жестких дисках очевидно - это наиболее быстрый доступ ко всему объему информации при высокой надежности и невысокой стоимости. Сейчас крупные организации могут позволить себе иметь объем дисковой памяти на серверах до 100 Гбайт и выше. Проблема состоит в том, как организовать такое большое количество жестких дисков в одном или нескольких компьютерах, обеспечить быстрое и надежное их взаимодействие, отказоустойчивость и совместимость.

Использовать большое количество маленьких по объему дисков гораздо выгодней, чем малое число больших устройств - это оказалось оправданным как с точки зрения быстродействия и отказоустойчивости, так и легкости обслуживания. Все это и явилось причиной появления архитектуры SSA.

У архитектуры SSA имеется ряд отличительных особенностей. Последовательный интерфейс позволяет подключать до 126 устройств с возможностью горячей замены. Скорость передачи между устройствами составляет 20 Мбайт/с, а поддержка двунаправленной передачи увеличивает максимальную пропускную способность до 40 Мбайт/c. SSA стандарт - это архитектура "от узла к узлу". Каждый SSA узел имеет два порта для связи с другими устройствами. Таким образом, последовательно соединяя хосты через сегменты кабеля можно легко наращивать или изменять дисковую систему (рис. 1).

Одним из коренных отличий стандарта SSA является независимость работы каждого устройства, самостоятельно передающее и принимающее информацию. В результате, любое количество узлов способно общаться друг с другом одновременно по одному кабелю. Для шины SCSI в каждый момент времени взаимодействовать могут только два устройства, одно из которых, как правило, - контроллер. Таким образом, если к серверу подключены, например, накопитель на ленте и дисковая матрица, то для того, чтобы передать информацию с одного устройства на другой необходимо пропустить все данные через контроллер. Учитывая, что в один момент времени со SCSI адаптером общается только одно устройство, пересылка информации происходит в два раза дольше. Кроме того, в момент выполнения транзакций другие SCSI-узлы не способны как-либо взаимодействовать. На архитектуре SSA такая схема проще и работает значительно быстрее. Ленточный накопитель активизирует запрос и напрямую связывается с дисками, SSA-контроллер в этот период может обмениваться информацией с другими узлами домена.

Последовательный интерфейс является основным принципиальным отличием архитектуры SSA. Разработчики предусмотрели ряд особенностей организации SSA, позволяющих использовать эту архитектуру в основе нового принципа конфигурации периферии для мощных серверов:

• минимизация высокочастотных проводников и коммутирующих соединений - один проводник в наилучшем случае;
• простая процедура увеличения числа устройств в цепи - особенно в случае многокластерной конфигурации;
• увеличение расстояния между хостами - устройствами;
• легкая реализация технологии горячей замены.

Дополнительным преимуществом является необходимость прокладки только двух тонких проводов при организации выносного дискового массива или другой внешней системы вместо толстого параллельного кабеля, причем на не 2-4 метра, а если понадобиться, и до 20.

Несмотря на то, что каждое SSA-устройство работает независимо, с контроллером они соединяются всего через два порта, а контроллер является таким же равноправным устройством как диск или CD-ROM в пределах одного кольца. Поскольку основная нагрузка распределяется между контроллером и остальными устройствами целесообразно сделать несколько таких независимых колец или доменов с контроллером в качестве общего устройства. Такое решение реализовано на практике в виде 2-х доменного SSA контроллера, рис. 2.

Двухдоменная организация позволяет повысить максимальную скорость до 160 Мбайт/с: два домена управляются двумя инициаторами, каждый из которых содержит по два SSA порта, а каждый порт способен в дуплексном режиме пропускать до 40 Мбайт/с.

Многодоменная организация SSA контроллеров во многом аналогична многоканальным адаптерам SCSI. Удобно организовывать в один домен устройства, которым надо общаться между собой минуя инициатор. Когда информация поступает только через контроллер на независимые устройства, например, RAID матрицы при нулевом алгоритме, возможно их размещение на нескольких доменах.

Архитектура FC-AL

Архитектура FC-AL (Fibre Channel Arbitrate Loop) определяет стандарт на организацию последовательного доступа к периферийным устройствам с помощью оптического кабеля. Работы по его практической реализации начались в 1996 году и можно утверждать, что FC-AL представляет собой вариант последовательного SCSI но только с очень высокой пропускной способностью и большими расстояниями между узлами.

FC-AL по своим принципам организации похож на SSA, но имеет ряд принципиальных отличий. Как и в SSA все устройства объединены в кольцо, которое замыкается в двух портах контроллера (рис 3).

Основные особенности FC-AL заключаются в следующем:

• использование оптического кабеля позволяет повысить пропускную способность порта FC-AL до 100 Мбайт/с;
• применение однонаправленного режима передачи в пределах каждого кольца;
• использование арбитражного алгоритма работы интерфейса, согласно которому в каждый конкретный момент времени только один узел способен передавать информацию;
• в момент передачи данных все кольцо от порта до порта "занято" передающим устройством;
• для передачи блока 64 Кбайт можно использовать два типа блоков транзакций: 64 и 8 Кбайт;
• режим арбитража (количество запросов) зависит от предварительных настроек и режима работы. Например, если программа передает информацию блоками по 64 Кбайт, а FC-AL-контроллер настроен на передачу 8 Кбайт, то необходимо инициировать восемь запросов/транзакций для завершения операции;
• двухкольцевая организация контроллера обеспечивает повышенную надежность передачи данных;
• максимальное расстояние между портами может достигать 2 км за счет использования оптического кабеля.

К основным недостаткам FC-AL можно отнести необходимость арбитража и потерю связи всех устройств при разрыве канала. В случае обеспечения большой надежности используют два кольца для дублирования. Этот шаг не приводит к увеличению производительности и служит лишь для обеспечения надежности системы. Таким образом, стоимость каналов увеличивается при той же пропускной способности. Однако, все эти недостатки компенсируются высокой пропускной способностью и большими расстояниями подключения. Вполне возможно, что по соображениям безопасности в скором будущем диски стандарта FC-AL будут храниться в труднодоступном месте на значительном расстоянии от сервера.

FC-AL - интересный стандарт, потребность в котором появится в самое ближайшее время, но сегодня пока нет еще реализованных систем на базе этой архитектуры.

Выбор архитектуры для дискового массива

Всего один-два года назад мало кто задумывался над этим вопросом - существовал стандарт SCSI, который был удобен, понятен и полностью удовлетворял конструкторов своими характеристиками. Сейчас, при организации работы больших серверов имеется уже ряд альтернативных способов. Стандарты SCSI, SSA и FC-AL являются не конкурентами, а компаньонами -каждый из них удобен для решения своего круга задач. Поскольку не существует достаточного практического опыта организации дисковых систем на новых стандартах то сегодня можно сформулировать только приблизительные рекомендации.

Стандарт Ultra SCSI будет полезен для организации работа небольшого файлового сервера, основными требованиями к функционированию которого являются надежность и экономичность. Его удобно будет использовать для обеспечения работы мощных графических станций с быстрой дисковой системой, рассчитанной на 3-6 дисков.

Стандарт SSA будет идеальным выбором для огромных дисковых массивов из 50-100 устройств и разнородной периферии: ленты, диски, интеллектуальные устройства и принтеры. SSA позволяет легко реализовывать кластерную технологию. Возможно применение SSA будет оправдано при объединении в единую систему различных устройств на расстояния, превышающие размеры корпуса, например в пределах офиса.

Архитектура FC AL будет удобна для скоростных магистральных передач данных и для устройств, разнесенных на расстояния, измеряемые в километрах. Возможно FC AL внесет с собой новую стратегию разработки систем масштаба предприятия, например, компьютер в одной комнате, дисковая система в сейфе в подвале, у двери телекамера, система архивирования в соседнем здании и все это на одном контроллере FC AL.

RAID контроллер стандарта SSA

Сегодня уже существуют практические реализации для стандартов SSA и SCSI, наиболее интересными из которых являются контроллеры, реализующие алгоритмы RAID [6].

На сегодняшний день SSA стандарт пока не получил широкого распространения среди производителей компьютеров. Медленный переход связан еще с тем, что эта архитектура предназначена именно для большого количества периферийных устройств, а значит для серверов масштаба предприятия. Пока контроллеры и дисковые массивы на шину SSA выпускаются только компанией IBM в составе линии серверов RS/6000.

Существуют две разновидности дисковых систем, поставляемых в комплекте RS/6000 - это системы 7131 и 7133. Структура организации дисковой системы 7133 похожа на представленную на рис. 2. Используемые жесткие диски Ultrastar обеспечивают емкости дискового пространства до 72 Гбайт на устройство и 432 Гбайт для хост - адаптера. В данный момент фирма IBM выпускает хост-адаптер стандарта SSA - PNS4-20. Это полноразмерная плата слота расширения на шину PCI. Контроллер имеет четыре порта и поддерживает два SSA кольца. Каждый порт обеспечивает пропускную способность 40 Мбайт/с в дуплексном режиме. Тем самым общая производительность PNS4-20 составляет 160 Мбайт/с. Контроллер совместим по SCSI командам и способен выполнять до 3 тыс. запросов в секунду, поддерживая до 96 различных SSA - устройств.

Вариант RAID PNS4-20 способен реализовать алгоритм RAID уровней 0,1,3 и 5. При организации наиболее интересного, с точки зрения пользователя, алгоритма RAID 5 этот контроллер способен выполнять более 1000 запросов ввода-вывода в секунду. RAID алгоритмы можно организовывать на любых дисках, независимо от их местоположения.

Фирма IBM анонсировала выпуск OEM варианта PNS4-20 в начале 1996 года. Вместе с этим планируется выпуск драйверов для основных ОС: IBM OS/2, Netware, AIX, Windows NT и SCO UNIX.

RAID контроллер стандарта Ultra SCSI

Контроллеры Ultra SCSI являются новой модификацией устройств SCSI-2 - они спроектированны по той же схеме, но используют микросхемы, поддерживающие более высокую частоту передачи. Одним из основных производителей RAID SCSI контроллеров является фирма Mylex, выпускающая модель стандарта Ultra SCSI - DAC960PDU. Эта модель представляет собой полноразмерную плату на шину PCI и имеет 1 - 3 Ultra Wide SCSI канала в зависимости от модификации. Каждый канал работает независимо и имеет максимальную скорость передачи 40 Мбайт/с. При использовании 3-х канального контроллера DAC960PDU-3 можно получить суммарную пропускную способность до 120 Мбайт/c. Плата выполнена на RISC процессоре Intel i960, использует стандартные 72 pin модули памяти с реальной четностью или специализированные модули Ramtron EDRAM c эквивалентным временем доступа 15 нс. Она имеет возможность установки дополнительного аккумулятора на кэш память, который способен удерживать данные в кэше при пропаже питания на плате.

К каждому каналу можно подключать до 7-15 устройств стандарта Ultra SCSI или Wide SCSI-2 и, независимо от расположения дисков на каналах, объединять их в матрицы с различными уровнями RAID. Контроллер DAC969PDU поддерживает алгоритмы RAID 0, 1, 5 (а также 6, 7 стандартов Mylex). Модель работает на ПК и совместима практически со всеми, существующими серверами известных фирм производителей, поддерживая все основные операционные системы: DOS, Netware, Windows NT, SCO UNIX и Solaris.

фирма "Медианн", Москва (095) 200-6020

Литература

[1]. "SCSI-3: the next stop on the I/O bus." UNIX Review март 1996 г.

[2]. "Дисковые накопители с SSA ", Вестник RS/6000", материалы фирмы IBM. ноябрь 1995 г.

[3]. IBM offers OEMs chance to develop products using SSA, The Token Perspectives Newsletter, июль 1995 г.

[4]. "IBM support SSA as open standart...", Work_Group Computing Report, февраль 1995 г.

[5]. "Shift from parallel to serial links afoot: IBM's SSA leads the charge toward higher-perfomance...", Electronic Engineering Times, июнь 1995 г. www.ssaia.org

[6]. С.Романчиков. Современные RAID контроллеры. Открытые системы, #2, 1996. с. 14-19.

[7]. Dave Vellante, Edward Gershenson. "The Case for Serial Interfaces", IDC. Ноябрь 1995.