Наиболее критичные проблемы, с которыми сталкивается сегодня ИТ-сообщество — обеспечение надежного, бесперебойного, постоянного и полнофункционального доступа к актуальным данным. Единственным разумным на сегодняшний день способом справиться с нарастающим информационным потоком является организация сетевого способа обработки и хранения данных.
Современная сетевая обработка данных немыслима без комплекса средств, предоставляющих высокоуровневый доступ к сетевым данным, обеспечивающий их постоянную готовность, защиту от сбоев, автоматическое архивирование и эффективное восстановление, автоматизацию мониторинга использования сетевых ресурсов.
Клиенты получают доступ к серверам приложений, Web-службам и ресурсам консолидированного хранения (SAN) в гетерогенной сети как к виртуально централизованному пулу служб. Процессы, клиенты и их запросы транслируются в сеть, где посредством маршрутизации назначаются на обработку пулу приложений, по необходимости требующих доступа к сетевому консолидированному ресурсу хранения.
Наверное, единственным разумным способом справиться сегодня с нарастающим информационным потоком является организация сетевого способа обработки и хранения данных. Применительно к компании Sun Microsystems такой подход служит с одной стороны логическим развитием ее идеологии — «Сеть — это компьютер», а с другой — продуктивной альтернативой экстенсивному «традиционному» способу хранения информации, предполагающему использование локального дискового пространства каждой конкретной машины.
Несколько слов о системах хранения
Самый простой и «естественный» способ хранения информации — носитель, локально подключенный к машине пользователя. Этот способ, DAS (Direct Attached Storage), действительно прост — если компьютер включен, то все внутреннее дисковое пространство доступно без ограничений. Однако на этом преимущества заканчиваются. Далее следует длинный список недостатков: необходимость обеспечения достоверности данных ложится на пользователя, который должен обеспечивать актуальность данных, их подгрузку на локальный носитель, именно пользователь обязан заботиться о проведении профилактики локальных носителей и обеспечивать необходимую степень готовности данных. Кроме того, для особо важных данных необходимо обеспечивать работу в защищённом режиме. Использование DAS не на машине пользователя, а в сети в составе сетевого файл-сервера не уменьшает важность перечисленных проблем, а только позволяет сосредоточить их решение в руках администраторов.Следующим «эволюционным» шагом в развитии понятия «системы хранения» стали системы класса NAS (Network Attached Storage) — сетевые системы хранения данных. Эти системы используют стандартные IP-сети и сетевые файловые системы. Именно NAS-системы пришли на смену DAS-структурам, подключаемым к сети, при организации общедоступных многотомных архивов. Подход NAS включает в себя файловую систему, используемую на базе соответствующей настраиваемой сетевой операционной системы и файл-сервер, подключённый в сеть. В отличие от DAS, технология NAS поддерживает доступ на уровне файлов, а не блоков данных. Следствие этого отличия — «бесшовная» методика совместного использования различными сетевыми приложениями файлов. Именно NAS берет на себя задачу трансляции обращения к конкретному файлу на запрос на уровне блоков данных и «экранирует» сетевые пользовательские процессы от проблем, связанных с обеспечением актуальности.
Системы, построенные на базе технологии NAS, легко конфигурируются и администрируются, поскольку для этого требуется лишь одно сетевое соединение, обеспечивающее включение файлового сервера в сегмент локальной сети. Однако такой подход срабатывает только там, где в рамках локальной, а не глобальной сети осуществляется обслуживание множества пользователей одновременно, причем так, чтобы объем обслуживания по каждому из запросов был невысоким. Технология NAS более эффективна, по сравнению с DAS, тем не менее, в рамках сетевой концепции обработки данных всё же не может быть признана «решением», поскольку во-первых, из нескольких NAS-устройств нельзя создать единый пул ресурсов хранения (вот почему головной болью администраторов является решение задач управления наращиваемым числом NAS-устройств в сети), и, во-вторых, скорость доступа к данным жестко лимитирована базовой коммуникационной технологией — Ethernet.
Если говорить о сетевом хранении информации, то речь сегодня надо вести о технологии SAN (storage area networking), предоставляющей для сетевой совокупности серверов консолидированный сетевой ресурс внешней памяти без нагрузки на локальную сеть. SAN [1] ориентирована на высокоскоростную технологию Fibre Channel с расстояниями подключения до сотни километров. При реализации SAN используются различные среды передачи: «медь», оптоволокно, а топологии соединений также могут быть различны: прямое подключение к дисковому массиву, арбитрируемая магистраль (FC-AL), коммутируемое подсоединение (FC-Switched). Сохраняя преимущества NAS-технологии по трансляции обращения к файлам, SAN обеспечивает поддержку блочного ввода-вывода. Все это позволяет позиционировать технологию SAN для использования в качестве систем хранения сетевых баз данных корпоративного уровня, сетевых хранилищ, ресурсов систем ERP и т.д.
SAN с точки зрения Sun
Рассматривая сеть как среду обработки информации, которая должна иметь свою «память» — систему хранения востребованной всей сетью информации — в Sun Microsystems предлагают уточненный подход к организации сетевых сред хранения на основе технологии Sun StorEdge Open SAN, отвечающей следующим основным требованиям:- консолидации ресурсов хранения данных;
- единой точки управления ресурсами хранения;
- консолидированному централизованному резервному копированию;
- реализации систем высокой готовности;
- поддержке высокопроизводительных вычислений;
- совместному использованию устройств и данных в кластерных системах.
Консолидация
Консолидация строится в идеологии SAN на основе создания общего пула ресурсов, представляющих сетевую структуру с едиными принципами доступа. По версии Sun, консолидация ресурсов хранения должна быть реализована в виде виртуальной консолидированной памяти - Virtual Consolidated Store (VCS). Такая память реализуется прежде всего техническими средствами — масштабируемыми RAID-структурами, где администрируемой единицей хранения выступает не диск (физический или логический), а LUN — виртуальная единица логического разбиения пространства дискового массива. Мощность и возможность размещения требуемых для информационных процессов данных определяется только техническими характеристиками сети и устройств хранения; консолидация в терминах VCS в этом случае «очищена» от технических ограничений DAS-решений и не привязана к лимитам каждого конкретного сервера.
Кроме массивов хранения, элементами VCS становятся также сетевые коммутаторы организации процессов ввода-вывода информации и ленточные библиотеки для обеспечения снижения потерь от аварий. Кроме того, сам виртуальный пул данных с точки зрения администрирования и выполнения операций доступа к данным может быть представлен как «централизованный» ресурс хранения. Для администрирования этого пула предлагается программное обеспечение Sun StorEdge Resource Management, а также системы сторонних разработчиков, например, Legato. Основная задача данного ПО — достичь независимости процедур собственно администрирования от масштаба пула. На уровне единого виртуально-централизованного пула консолидированные данные предоставляются теперь в ответ на любой запрос от любого хоста или любого сетевого процесса в объеме и с приоритетом, диктуемыми политикой предоставления ресурсов.
Высокая готовность
Администрирование систем хранения данных класса SAN должно быть направлено на классификацию критичности приложений и данных по отношению к основным задачам информационной обработки и выстраиванию на основе, определенных таким образом, приоритетов политики защиты данных. Программное обеспечение систем высокой готовности должно в любой момент выявлять критические ресурсы, определять их состояние, предоставлять механизм для своевременного и оптимального управления распределением ресурсов. Этим целям служат специализированные программные средства: Sun StorEdge Availability Suite и StorEdge Resource Management Suite.HPC-решения
Решения для высокопроизводительных вычислений (HPC, High Performance Computing) невозможны сегодня без надлежащим образом реализованной сети. В классе вычислений HPC наиболее значимыми являются требования высокой доступности данных, большой скорости их перемещения, высокой управляемости и консолидации. С точки зрения обеспечения архитектуры среды для HPC наиболее важными являются требования масштабируемости и совместного использования.Интеллектуальные дисковые массивы
Линейку интеллектуальных дисковых массивов для организации дисковой подсистемы консолидированного хранения данных в идеологии StorEdge Open SAN открывает массив Sun StorEdge 3310. Он может содержать от 5 до 12 Ultra 160 SCSI-дисков, 512 Мбайт кэш-памяти на каждый контроллер, совместим со всей линейкой серверов Sun Enterprise, Sun Fire, Netra, Sun LX50 и с рабочими станциями верхнего уровня Sun Blade и работает с ОС Solaris, Sun Linux 5.0, Windows NT/2000, Red Hat Linux. Надежность хранения консолидированных данных, постоянная готовность их к работе по запросам хостов и сетевых процессов, а также высокая степень работоспособности обеспечивается реализацией RAID-массива уровней 1, 0, 0+1, 3, 5, 3+0, 5+0; применением SSCS, исполнением в виде устройств «горячей замены» RAID-контроллеров, дисков, источников питания, модулей охлаждения.Основой масштабируемой линейки массивов хранения FC-AL следует считать систему хранения данных Sun StorEdge T3. Она содержит двухпортовые FC-SCA-2 диски (каждый модуль T3 вмещает 9 дисководов) емкостью 18, 36, 72 или 142 Гбайт каждый, 256 Мбайт кэш-памяти на контроллер, совместима с широким спектром серверов Sun. Надежность хранения консолидированных данных, а также высокая степень работоспособности обеспечивается реализацией RAID-массива уровней 0+1 и 5; применением Sun StorEdge Component Manager и StorEdge Management Console, исполнением дисков, источников питания в виде устройств горячей замены.
Следующим шагом в масштабировании массива T3 являются системы на основе этого же «кирпичика» — системы хранения корпоративного класса StorEdge T3ES, StorEdge 3900, StorEdge 6900, StorEdge 9900.
T3ES — дисковый массив, состоящий из модулей StorEdge T3, реализующий потребности системы хранения корпоративного класса, где модули StorEdge T3 дисковых массивов уже сведены в монтажную стойку, а сами стойки могут сводиться в сеть хоанения. Монтажная стойка содержит два, четыре или восемь модулей StorEdge T3, а система может включать до 32 монтажных стоек. Общий объём системы хранения Sun StorEdge T3ES достигает 168 Тбайт. Реализуется RAID уровней 0, 1, 1(1+0) и 5 с питаемой от батареи зеркалируемой кэш-памятью. Возможно применение Sun StorEdge Component Manager и StorEdge Management Console и исполнением дисков, источников питания, устройств охлаждения в виде устройств горячей замены.
StorEdge 3900 — система хранения корпоративного класса, подключаемая к хост-машинам семейств Sun Enterprise и Fire. Здесь используются двухпортовые диски FC-AL емкостью 36, 73 или 181 Гбайт каждый с возможностью горячей замены. В StorEdge 3910 максимальная емкость одного устройства составляет (181 х 18 х 4) 13 Тбайт, а в исполнении Sun StorEdge 3960 — (181 х 18 х 7) 29,3 Тбайт. Реализуется RAID уровней 0, 1, 1(1+0) и 5.
StorEdge 6900 — система корпоративного класса, оптимизированная для работы по консолидации систем хранения данных и содержащая в каждом базовом блоке 54 дисков, подключенных через FC-AL с двумя портами. В StorEdge 6910 максимальная емкость одного устройства составляет (54 диска) 9,8 Тбайт (до 256 LUN), а в StorEdge 6960 — (144 диска) 26 Тбайт (до 512 LUN). Надёжность хранения консолидированных данных, постоянная готовность их к работе по запросам хостов и сетевых процессов, а также высокая степень работоспособности обеспечивается стандартным образом.
StorEdge 9900 — система корпоративного класса для работы в гетерогенных средах. Используются двухпортовые диски FC-AL емкостью 18, 73 или 181 Гбайт с возможностью горячей замены. В данном типе устройств применено сочетание архитектуры неблокирующего коммутатора Fibre Channel с реализацией высокого уровня надежности хранения консолидированных данных, постоянной готовности их к работе по запросам хостов и сетевых процессов, а также высокой степени работоспособности. В исполнении StorEdge 9910 ёмкость одного устройства составляет от 5 до 48 дисков (4 запасных, допускающих «горячую» замену), максимальная емкость — 8,7 Тбайт (при использовании RAID 5 — 5,6 Тбайт, при использовании RAID 1+ — 3,6 Тбайт). В исполнении StorEdge 9960 емкость одного устройства составляет от 5 до 512 дисков (16 запасных, допускающих «горячую» замену), максимальная емкость — 92,7 Тбайт (при использовании RAID 5 — 64,3 Тбайт, при использовании RAID 1+ — 41,3 Тбайт).
Для защиты логической целостности хранящихся консолидированных данных массивы RAID должны быть аппаратно и программно поддержаны системами резервного копирования. В идеологии Sun StorEdge Open SAN поддержка такого типа реализуется за счет применения библиотек магнитных лент. Архивация и резервное копирование консолидированных данных на магнитную ленту предусмотрено в технологиях Sun с применением широкого спектра устройств: от библиотек начального уровня — StorEdge L7, StorEdge L25/L100, библиотек среднего класса: StorEdge L180 и StorEdge L700, до библиотек магнитных лент корпоративного класса большой и сверхбольшой емкости: StorEdge L5500 и StorEdge L6000.
Совместное использование дисковых массивов, сведенных в интеллектуальные сетевые системы консолидированного хранения данных с применением подсистем резервного копирования и восстановления, позволяет решать задачи построения SAN на самом высоком концептуальном уровне. Пример такого решения схематически представлен на рис. 1.
|
| Рис. 1. Пример реализации сетевой консолидированной структуры хранения данных |
Программное обеспечение управления
StorEdge Resource Management Suite
StorEdge Resource Management Suite (SERMS) — специализированное программное обеспечение для выполнения всего комплекса работ администратора ресурсов систем хранения SAN: централизованный мониторинг систем хранения в целом и отдельных их элементов; централизованное ведение отчетов; полнофункциональный анализ загруженности и применимости элементов систем сетевого консолидированного хранения данных; оценка достаточности необходимой мощности и емкости для хранения консолидированных данных в SAN; подсчет стоимостных и ресурсных затрат в виде оценочного среднего и пикового значений.SERMS включает модули Capacity Reporter, File Reporter и Global Reporter. Первый предназначен для автоматизации исследования, анализа, мониторинга и вывода статистики использования основных ресурсов консолидированного хранения. Модуль позволяет определять и локализовать критические точки функционирования сети хранения, обеспечивает с помощью графического интерфейса сетевой взгляд на систему управляемых ресурсов и структуры SAN, вывод результатов анализа функционирования SAN в виде рекомендаций и предсказаний появления возможных точек отказа, предоставляет администратору SAN вывод результатов отслеживания функционирования SAN в виде стандартизованных отчетных форм.
File Reporter предназначен для автоматизации работы по управлению использования консолидированного ресурса хранения. Данная функциональность разработана в дополнение к базовой функциональности Capacity Reporter, в рамках которой администратор не в состоянии отслеживать особенности функционирования SAN применительно к понятию «файл».
Global Reporter предназначен для автоматизации работы по управлению использования консолидированного ресурса хранения в том случае, если администратору систем хранения потребуется расширить базовую функциональность Capacity Reporter на гетерогенную систему и иерархическую инфраструктуру, включающую в себя как разнотипные серверы и неоднородные подсети, так и различные компоненты сети хранения.
StorEdge Utilization Suite
StorEdge Utilization Suite — специализированное программное обеспечение для автоматизации централизованного выполнения функциональности, связанной с ведением архивов, сохранением и аварийным восстановлением консолидированной информации в сетях хранения, предназначенное для решения следующих задач:- локального и удаленного архивирования "диск - в диск";
- предоставления библиотек на лентах как распределяемого консолидированного сетевого ресурса;
- ведения списков управляемого доступа для определения лимитов объёмов хранения для файлов и групп;
- ведения и предоставления квот на допустимое пространство архивирования и использование ресурсов архивирования;
- использования интегрированного механизма управления ресурсами хранения;
- осуществления "прозрачного" унифицированного режима доступа к архивным файлам независимо от среды архивирования.
Ядром StorEdge Utilization Suite является управляющий унифицированный модуль (рис. 2) «Архиватор» (Archiver). В соответствии с той или иной политикой архивации и восстановления данных, предоставляемой из StorEdge Resource Management Suite, ядро организует выполнение последовательности регулярно исполняемых работ по сохранению и восстановлению данных. Archiver имеет набор методик быстрого параллельного поиска консолидированных данных, критичных по отношению к задачам хранения-восстановления. Доступ к реализациям этих методик базового модуля осуществляется с помощью агентов (arfind). Также Archiver имеет набор методик быстрого параллельного архивирования консолидированных данных, критичных по отношению к задачам хранения-восстановления. Доступ к реализациям этих методик базового модуля осуществляется с помощью агентов (arсору).
StorEdge Utilization Suite в текущей версии требует для развертывания 30 Мбайт дискового пространства на сервере и совместим по базовой функциональности с системами архивации-восстановления из Oracle 9i, Veritas VxVM, Veritas NetBackup, Legato Networker, Tivoli SANergy Tivoli File Sharing API.
StorEdge Availability Suite
StorEdge Availability Suite — специализированное программное обеспечение для автоматизации управления консолидированным хранением данных в случаях, связанных с возможной потерей целостности инфраструктуры хранения. Система использует в качестве базовой политики механизм point-in-time копии данных и службу «удаленного зеркалирования» (remote mirror). Применение этих технологий для массивов SAN, построенных с применением RAID, позволяет снизить вероятность полной потери данных, что особенно важно для практического применения идеологии SAN в крупных информационных системах. Технология point-in-time позволяет регулярно получать полный моментальный «снимок» (snapshot) текущей структуры и актуального содержимого консолидированного банка данных сети хранения. Применение StorEdge Availability Suite позволяет выполнять копирование структуры и содержимого без прерывания обслуживания актуализированных процессов сетью хранения.StorEdge Availability Suite в режиме реального времени выполняет получение копий point-in-time и производит репликацию данных между физически разнесенными серверами консолидированных систем хранения (рис. 3). Объемы данных и расстояния между физическими серверами могут достигать значений в сотни терабайт и десятки тысяч километров, что позволяет вплотную приблизиться к абсолютному решению задач класса disaster recovery.
StorEdge Availability Suite в текущей версии допускает интеграцию с программными средами внешних производителей: Veritas File System; Veritas Volume Manager; Veritas Net BackUp и Legato NetWorker.
StorEdge Performance Suite
StorEdge Performance Suite — специализированное программное обеспечение для достижения максимальной производительности консолидированного хранения данных SAN. «Производительность», означает произведение мощности систем хранения на количество одновременно установленных на этих системах хранения каналов доступа. HPC предполагает построение модульных сетевых систем предоставления ресурсов и приоритет сетевой инфраструктуры сети хранения. Подход HPC предусматривает полную интеграцию конкретных данных в рамках сетевых консолидированных SAN-структур, что приводит к необходимости работы в понятиях разделяемых форматов файловых систем с одной стороны, и использования высокопроизводительных линий оптоволоконной передачи консолидированных данных с широкой пропускной способностью — с другой.
В данных рамках специализированное программное обеспечение Sun StorEdge Performance Suite предназначено в первую очередь для управления процессами оптимального распределения консолидированных данных, балансировки загруженности каналов ввода-вывода подсистем SAN, автоматизации определения приоритетности поставки данных в зависимости от важности тех или иных сетевых приложений. При такой организации снимается вопрос о размещении данных в нескольких разнородных разнесенных консолидированных системах хранения и устраняется источник потерь производительности — необходимость увязки данных, управляемых в рамках разнотипных файловых систем. Переход к разделяемым форматам файловых систем упрощает интеграцию и консолидацию данных, снижает накладные расходы на их применение, однако повышает требования к программному инструментарию управления — StorEdge Performance Suite (рис. 4).
|
| Рис. 4. Схема работы StorEdge Performance Suite |
Система StorEdge Performance Suite в текущей версии требует для развертывания 30 Мбайт дискового пространства на сервере и совместима по базовой функциональности с системами архивации-восстановления из Oracle 9i, Veritas VxV, Veritas NetBackup, Legato Networker, Tivoli SANergy, Tivoli File Sharing API.
Заключение
Разработанная Sun Microsystems линейка решений категории SAN закрывает спектр систем от рабочей группы до крупных корпоративных систем. При этом использование того или иного технического компонента не накладывает ограничений на масштабирование — системы уровня «рабочей группы» могут быть без замены оборудования, программного обеспечения и сетевой архитектуры преобразованы в системы более высоких уровней. Для универсальной системы администрирования консолидированного сетевого ресурса хранения вне зависимости от особенностей физического устройства, реализующего тот или иной компонент этого ресурса, компанией предложен масштабируемый набор сетевых пакетов StorEdge для управления системами хранения.Литература
- Наталья Дубова, SAN и NAS на пути к сближению. // "Открытые Системы", 2002, № 4
Владимир Краюшкин (vkr@royint.com) — сотрудник компании Roy International Consultancy (Москва).
