Консолидация данных — один из наиболее перспективных путей повышения производительности, надежности и управляемости информационной системы предприятия. Решением задачи создания единого защищенного хранилища, позволяющего централизованно управлять информационными ресурсами, озабочены сегодня многие ИТ-менеджеры.

Первым этапом консолидации данных является их перенос с внутренних дисков серверов на внешнюю систему хранения, позволяющую решить две важные задачи. Во-первых, данные и серверы попадают в разные домены, обеспечивающие возможность доступа к информации при отказах отдельных компонентов. Во-вторых, данные становятся физически доступными сразу нескольким серверам, что позволяет реализовывать различные схемы повышения производительности и отказоустойчивости.

Однако применение внешних систем хранения имеет свои ограничения. Прежде всего, это ограничение по количеству подключений, которое преодолевается сегодня посредством построения сети хранения (SAN — storage area network). В определении, данном ассоциацией Storage Networking Industry Association, говорится: «SAN представляет собой высокоскоростную сеть, предоставляющую возможность системам хранения обмениваться данными с компьютерными системами и между собой».

Данное определение не накладывает никаких ограничений на используемые технологии и протоколы передачи данных, но в настоящее время под сетью хранения обычно понимается сеть, построенная на основе Fibre Channel. Использование сетей хранения на основе Fibre Channel предпочтительно для центров обработки информации, в которых установлены высокопроизводительные серверы приложений и баз данных. В таких условиях SAN позволяет обеспечить оптимальные условия хранения информации с точки зрения как готовности и скорости доступа, так и стоимости хранения. Построение подобной сети требует относительно высоких первоначальных затрат (они идут на закупку и установку оборудования, приобретение и настройку специализированных программных средств управления, обучение персонала) и поэтому не всегда оправданно для организаций малых размеров.

Для небольших и средних центров обработки и хранения информации хорошей альтернативой сетям хранения является использование систем хранения, подключаемых непосредственно к локальной сети (NAS — network attached storage). Словосочетание «небольшая организация» в данном контексте относится не к количеству пользователей; хорошо спроектированная система NAS может обслужить несколько тысяч обычных «офисных» пользователей без заметного увеличения задержек. Ограничения скорее накладывают серверы баз данных и приложений, требования которых к пропускной способности системы хранения в моменты пиковой нагрузки не должны превышать 150-200 Мбайт/c. Устройства категории NAS, рассчитанные на использование корпоративными заказчиками, обеспечивают примерно тот же уровень надежности, что и традиционные системы хранения, но при этом значительно проще в установке и эксплуатации благодаря использованию стандартных сетевых протоколов.

Подключение NAS-устройств к сети осуществляется с использованием стандартных интерфейсов Fast Ethernet/Gigabit Ethernet, ATM и т.п. К преимуществам такого подключения следует отнести простоту установки и поддержки, гибкость размещения, возможность создания систем из большого числа подобных устройств, оптимизированных под задачи заказчика.

Системы NAS в основном предназначены для создания хранилищ данных, в которых необходимо обеспечить доступ к одним и тем же данным большому числу разнородных серверов и рабочих станций. В отличие от традиционных систем хранения, такие системы поддерживают собственную файловую систему и оперируют информацией на уровне файлов, а не отдельных блоков. Это дает ряд преимуществ при работе с приложениями, ориентированными на файлы:

  • высокая скорость чтения/записи с минимальными задержками;
  • возможность одновременного доступа к данным с различных платформ;
  • возможность одновременного доступа к данным большого количества пользователей.

Таким образом, NAS-серверы — эффективное решение для хранения электронных документов, презентаций, графики, видеоинформации, содержимого Web-сайтов и т.п. С развитием технологий сетевого хранения NAS-серверы стали применяться и для создания корпоративных хранилищ, ранее использовавших только традиционные системы хранения, подключаемые посредством Fibre Channel.

Решения Network Appliance

Компания Network Appliance, занимающая сегодня ведущие позиции в области сетевого хранения данных, одной из первых освоила выпуск специализированных устройств, обеспечивающих предоставление только одного вида услуг (например, хранение данных или кэширование передаваемой информации). Network Appliance ориентируется на корпоративный рынок, предлагая высокопроизводительные продукты с развитым программным обеспечением, обладающие высокими характеристиками по масштабированию, отказоустойчивости и управляемости. Компания производит три линии устройств: NAS-серверы Filer, специализированные NAS-серверы резервного копирования и архивирования NearStore и системы кэширования и доставки контента NetCache.

Семейство серверов NetApp Filer состоит из корпоративных систем серии F800 и младшей модели F87, предназначенной для использования в небольших организациях (таблица 1). Серверы F800 могут использоваться как для создания центрального хранилища, так и для хранения данных в удаленных филиалах компаний или точках присутствия Internet-провайдеров.

Рис. 1. Линейка NAS-серверов Network Appliance

Серверы семейства F800 могут объединяться в кластеры (рис. 1), работающие по схеме «активный/активный», когда производительность кластера из двух серверов примерно равна удвоенной производительности одного; в случае выхода из строя одного из серверов — другой автоматически берет на себя его функции. С выходом версии Data ONTAP 6.2 серверы начали поддерживать протокол DAFS (Direct Access File System) over IP, что позволило добиться повышения производительности при работе с СУБД ORACLE, DB/2 и Sybase.

Архитектура систем хранения

Все серверы NetApp Filer, за исключением младшей модели F87, конструктивно состоят из управляющего модуля и дисковых полок, подключаемых к управляющему модулю по одной или нескольким петлям Fibre Channel. Управляющий модуль обеспечивает взаимодействие с локальной сетью и поддерживает подключение к внешней ленточной библиотеке. В управляющем модуле работает специализированная операционная система Data ONTAP, в задачи которой входит управление дисковым пространством, организацией томов, поддержкой прав доступа и т.д.

Серверы NetApp обладают рядом особенностей, призванных повысить производительность операций чтения/записи и обеспечить надежность хранения данных. Прежде всего, это большие (до 3 Гбайт) объемы оперативной и энергонезависимой памяти. Около 75% всей памяти используется в качестве кэша при операциях чтения. ОС сохраняет в кэш-памяти данные, полученные при «опережающем» (read-ahead) считывании, что позволяет достичь максимальной скорости при операциях чтения и минимизировать задержки.

В серверах Network Appliance установлено по 64-128 Мбайт энергонезависимой памяти NVRAM, где изначально сохраняются все запросы на запись, а затем асинхронно выполняется запись на диск. Такая схема обеспечивает сохранность данных при отключенном электропитании в течение длительного времени (около недели) и гарантирует, что вся информация, переданная серверу, в конечном итоге будет сохранена на диске. Основное отличие этой схемы от используемой в традиционных системах хранения состоит в том, что работа ведется на уровне файловой структуры и файловых запросов (NFS, CIFS), а не на уровне дисковых блоков данных. При этом повышается как производительность, так и эффективность использования оперативной памяти; по существу, в памяти ведется транзакционный журнал файловых операций, которые в определенный момент времени фиксируются на диске.

Рис. 2. Зависимость времени реакции от нагрузки

Приведенный на рис. 2 график поведения сервера F880 при увеличении нагрузки демонстрирует устойчивость к перегрузкам; время реакции сервера на запрос слабо зависит от нагрузки, что позволяет использовать NAS-серверы для организации хранилищ данных, способных выдержать резкий рост трафика, например, для обслуживания Internet-порталов в момент пиковой нагрузки.

Обеспечение непрерывного доступа к данным — ключевая задача, которую решает централизованная система хранения. Для повышения надежности серверов F800 используются стандартные средства: массивы RAID; «горячая» замена дисков; поддержка дисков «горячего» резерва; дублированные источники питания; подключение к двум независимым линиям электропитания.

NetApp Filer поддерживают все распространенные сетевые технологии: Fast Ethernet/Gigabit Ethernet, ATM, FDDI. Возможно использование транковых и резервированных подключений к локальной сети, обеспечивающих балансировку нагрузки между интерфейсами и создание отказоустойчивых конфигураций.

Надежность NAS-сервера Network Appliance составляет около 99,99%, что эквивалентно одному часу простоя в год. Для достижения более высокой степени надежности следует использовать кластерную конфигурацию.

Data ONTAP

Особенностью серверов NetApp является тесная интеграция аппаратуры и программного обеспечения. Операционная система Data ONTAP реализована на основе микроядра и оптимизирована для выполнения функций работы с файлами: доступ к файлам, защита информации, управление правами доступа и т.д. Перечислим наиболее интересные особенности Data ONTAP, обеспечивающие надежность хранения данных и простоту управления устройствами.

  • WAFL (Write Anywhere File Layout) - cпециализированная журналируемая файловая система. Она обеспечивает поддержку RAID-4, позволяет динамически расширять размеры томов, добавлять новые диски и т.д. Использование RAID-4 объясняется тем, что именно этот тип организации дисковых массивов позволяет "прозрачно" расширять размеры логических томов. При этом за счет оптимизации аппаратной архитектуры и программного обеспечения сводится к минимуму падение производительности на операциях записи, характерное для RAID уровней 3-5.
  • Snapshot - получение мгновенного снимка данных выбранного тома для последующего архивирования или отработки внештатных ситуаций. Эта технология, основанная на возможностях WAFL, позволяет за доли секунды создать копию файловой системы. При этом реального перемещения данных не происходит, вместо этого фиксируется образ файловой системы, и все последующие изменения записываются в другую область диска. Таким образом, возможно создание и поддержка нескольких десятков таких копий при существенной экономии дискового пространства.
  • SnapRestore - мгновенный возврат к сохраненному с помощью Snapshot снимку тома. Данная технология дает возможность кардинально уменьшить время восстановления данных в случае их повреждений, связанных с ошибками пользователей или программными ошибками.
  • SnapMirror - создание удаленных копий данных и их дальнейшая поддержка. Удаленная копия поддерживается в асинхронном режиме, что позволяет использовать для репликации пакетные среды передачи с невысоким гарантированным качеством обслуживания.
  • FilerView - система удаленного конфигурирования устройства по протоколу HTTP с помощью любого браузера. Все операции по настройке и мониторингу оборудования можно выполнять через Web.

Data ONTAP поддерживает сетевые файловые системы NFS для Unix и CIFS для Windows NT; при этом обеспечивается пофайловый контроль доступа и контроль блокировок.

Работая в домене Windows, сервер Network Appliance может функционировать как входящий в домен сервер, обращаясь к контроллерам домена за подтверждением авторизации пользователей. В среде Unix сервер может получать информацию для авторизации пользователей по протоколу NIS.

Для минимизации кода в систему Data ONTAP не включены функции поддержки ленточных или магнитооптических библиотек; предлагается использовать стандартный способ управления ими из любого программного обеспечения резервного копирования, например, Legato Networker, Veritas NetBackup, HP OmniBack и т.п. Для того чтобы не передавать архивируемые данные по сети, серверы Network Appliance поддерживают отдельное подключение архивных устройств посредством SCSI (прямое подключение) или Fibre Channel (возможно подключение к сети хранения).

Рис. 3. Резервное копирование с использованием протокола NDMP

Для того чтобы ПО резервного копирования могло управлять библиотекой, подключенной к NAS-серверу напрямую или через сеть хранения, используется стандартный протокол NDMP (Network Data Management Protocol), разработанный совместно с Legato Systems. Он позволяет (см. рис. 3) серверу резервного копирования управлять как NAS-сервером, так и подключенной к нему библиотекой. При этом по локальной сети осуществляется только управление, а данные передаются по выделенному каналу или по сети хранения данных. Выпущена уже четвертая версия протокола NDMP, о поддержке которой объявили уже более 25 компаний, в том числе Legato, Tivoli Systems и Veritas.

Развитие систем хранения

Одна из наиболее перспективных технологий, позволяющих резко повысить привлекательность систем NAS, — DAFS (www.dafscollaborative.org), облегченный протокол доступа к данным. Его применение позволяет избавиться от основного недостатка NAS — высокой загрузки серверов приложений обработкой стека TCP/IP, а также увеличить скорость передачи данных и минимизировать задержки.

Для интерфейса к приложениям DAFS применяет семантику NFS v.4, а в качестве транспорта используется технология Virtual Interface (VI). Прямой доступ к памяти позволяет пересылать данные, не используя центральный процессор. Теоретически VI может передавать данные поверх любого транспортного протокола; на сегодняшний день существуют реализации VI по TCP/IP, VI по Fibre Channel и InfiniBand (VIPL 2.0).

С выходом Data ONTAP 6.2 начались поставки первого коммерческого продукта на основе DAFS. В состав DAFS Database Accelerator (DDA) входит стандартный NAS-сервер семейства F800, соответствующее программное обеспечение клиента и набор сетевых плат Gigabit Ethernet, поддерживающих VI/IP. Решение поддерживает работу с базами данных Oracle, IBM DB2 UDB и Sybase. Использование DDA рекомендовано для систем обработки данных, в которых требуется высокая скорость доступа. DDA обеспечивает производительность, сравнимую с производительностью традиционных блочных методов доступа к системам хранения на основе Fibre Channel при этом сохраняются достоинства NAS-серверов — гибкость, простота управления, возможность прозрачного наращивания емкости и мгновенное создание резервных копий данных.

Еще одним новым продуктом в начале 2002 года стал NearStore R100 — представитель класса дисковых систем хранения, занимающих промежуточное место между NAS-серверами и ленточными или магнитооптическими библиотеками. NearStore R100 представляет собой NAS-сервер, поставляемый в фиксированной конфигурации («сырая» емкость — 12 Тбайт) и отличающийся от систем серии F800 использованием IDE-дисков. Естественно, что производительность серверов NearStore существенно ниже, чем у обычных устройств Network Appliance; поэтому они не могут служить заменой NAS-серверам, обеспечивающим постоянный доступ пользователей. С другой стороны, скоростные характеристики NearStore R100, особенно время доступа, гораздо лучше, чем у магнитооптических, а тем более у ленточных библиотек. Обладая низкой стоимостью (около 2 центов за мегабайт), системы NearStore могут служить хорошей альтернативой традиционным библиотекам при построении архивных систем и высокоскоростных систем резервного копирования.

Выводы

Опыт реализации в Центральной и Восточной Европе более 40 проектов с использованием оборудования Network Appliance, показывает, что было бы неверно рассматривать системы NAS только как замену традиционным файловым серверам. Постоянный рост количественных характеристик производительности, надежности и емкости NAS-серверов корпоративного уровня и внедрение новых технологий управления данными позволяет говорить о перехода NAS-решений на качественно новый уровень. Современные системы NAS могут стать ядром информационной системы даже для небольшого предприятия с ограниченным ИТ-бюджетом, позволяя ему перейти к централизованному хранению данных и оптимизировать информационные потоки.

Несомненными плюсами консолидации данных является повышение надежности, производительности и предсказуемости поведения системы в целом, возможность прозрачного наращивания емкости системы хранения, упрощение процедур резервного копирования и восстановления, уменьшение влияния ошибок администратора на сохранность данных и т.п. В то же время и крупные организации с повышенными требованиями к производительности систем хранения и развитой сетью филиалов активно используют сегодня возможности DAFS Database Accelerator и NearStore R100 для репликации данных, генерации отчетов о состоянии системы и управления сотнями устройств с одной консоли.

Павел Карнаух (pavel.karnaukh@snt.com.ru) — менеджер компании S&T International (Москва).

Два примера

МСЦ РАН

Решения на базе NetApp Filer работают в составе системы хранения данных системы МВС 1000М, установленной в Межведомственном суперкомпьютерном центре РАН. При построении систем распределенных вычислений одной из ключевых задач является обеспечение равноправного доступа всех вычислительных модулей к общим данным. В случае МВС 1000М, для 384 высокопроизводительных компьютеров было необходимо предоставить возможность одновременно работать с одними и теми же данными без снижения производительности. Это требование накладывало жесткие ограничения на выбор и конфигурацию системы хранения.

Использование в качестве файлового сервера универсального компьютера выявило ряд проблем. При запуске на большом числе процессоров реальной программы выяснилось, что интенсивные обмены нескольких сотен процессоров с файловым сервером могут породить коллапс быстродействия как клиента, так и сервера: недопустимое возрастание загрузки процессора, увеличение времени реакции на запросы управляющей машины до почти полного отказа.

Естественным решением этой проблемы было использование специализированного файлового NAS-сервера, который обеспечивал бы доступ к данным по локальной сети. При проектировании системы хранения для суперкомпьютера МВС 1000М был выбран сервер NetApp Filer 840.

Каналы Fast Ethernet, используемые для обмена информацией между вычислительными модулями и внешними подсистемами, агрегируются в коммутаторах и далее информация, уже по Gigabit Ethernet, поступает в локальную сеть. Сервер NetApp F840 подключается непосредственно к ядру локальной сети по каналу Gigabit EtherChannel, состоящему из двух полнодуплексных каналов Gigabit Ethernet. Ленточная библиотека, используемая для хранения архивной информации, подключается к NAS-серверу через отдельный канал Fibre Channel, что позволяет не загружать сеть передачей архивируемых данных.

Доступ к данным осуществляется по протоколу NFS. Обеспечивается защита от несанкционированного доступа и авторизации пользователей, реализуемая с использованием протокола NIS, который позволяет обеспечить единую систему авторизации для всех Unix-систем Центра.

Производительность NAS-сервера F840 позволяет передавать и принимать данные на полной скорости двойного канала Gigabit EtherChannel. Файловая система Data ONTAP обеспечивает необходимый уровень надежности и производительности. При этом простой интерфейс управления на основе Web-технологий позволяет гибко изменять конфигурацию системы хранения, используя любой браузер.

Союз пивоваров

Хорошим примером использования NAS-серверов для консолидации данных может служить решение для Союза пивоваров Словении. Сервер NetApp F740 (модель предыдущего поколения, по производительности находится между F87 и F810) подключен к двум серверам приложений. Первый — HP K370, работает под управлением операционной системы HP-UX, использует NFS v.3 для обмена данными c NAS-сервером и обслуживает 100 пользователей ERP-системы Baan. Данные хранятся в базе данных Oracle, объем которой составляет около 350 Гбайт. Так как все тома Oracle размещены на сервере NetApp, для резервного копирования используются возможности F740 по созданию мгновенных снимков данных; полное копирование базы данных на ленту производится один раз в неделю. Второй сервер, работающий под управлением Windows NT 4.0, обслуживает 180 пользователей почтовой системы Microsoft Exchange. Размер почтовой базы превышает 50 Гбайт, а для обмена данными между почтовым сервером и системой Network Appliance используется стандартный протокол CIFS.

Кроме этого, F740 служит файловым сервером для всех пользователей локальной вычислительной сети. Общий объем файлов составляет 100 Гбайт. Применение механизма мгновенных снимков позволяет пользователям не задумываться о резервном копировании своих данных и в случае необходимости быстро восстановить испорченный файл.

Система находится в промышленной эксплуатации на протяжении года и по словам ее системных администраторов, после переноса данных с локальных дисков серверов на NAS-сервер общая производительность системы увеличилась примерно втрое.