На пути к большим облакам

Популярность облачного хранения и модели SaaS привела к новому витку в развитии технологий хранения, однако оказалось, что облака в их существующем виде обеспечивают лишь статичное хранение данных и их доставку приложениям, а сегодня требуется обеспечить мобильность данных, гарантировать их доступность и катастрофоустойчивость поддерживающих инфраструктур. Данные на протяжении всего своего жизненного цикла должны храниться динамически в единой изменяемой среде, предоставляющей необходимые механизмы управления, — современные облачные инфраструктуры требуют трансформации. Одно из возможных решений — разделение хранения информации по определенным хранилищам в зависимости от типов данных, что, однако, сразу вызывает целый ряд проблем: данные внутри систем обычно обособлены, каждая система масштабируется и управляется отдельно от других, а о принятии решений по стратегии хранения в зависимости от их типа вообще до недавнего времени речи не шло.

Первый шаг к повышению эффективности облачного хранилища — его интеграция в рамках единой виртуальной платформы, позволяющей, абстрагируясь от конкретных методов хранения, совершенствовать платформу целиком, предоставляя ресурсы в нужное время нужным приложениям. Платформа хранения данных корпоративного уровня Hitachi Virtual Storage Platform (VSP) предоставляет возможности масштабирования с целью достижения необходимой производительности и емкости, а также построения виртуальных сред хранения из систем различных производителей. Функционал VSP позволяет решать широкий круг задач, связанных с надежным хранением и предоставлением доступа к данным. Система основана на коммутируемой архитектуре, позволяющей всем ее компонентам взаимодействовать и обмениваться информацией через специализированные матричные коммутаторы и каналы обмена данными.

Платформа VSP может состоять из двух управляющих узлов (CU), каждый из которых способен включать до четырех матричных коммутаторов, соединяющих между собой основные компоненты массива: VSD (Virtual Storage Director), FED (Front End Director), BED (Back End Director) и Cache. Для надежности все компоненты устанавливаются попарно. В минимальной конфигурации (в качестве виртуализатора систем хранения других производителей) система поставляется в следующей конфигурации: пара внешних подключений (FED); пара плат кэш-памяти (Cache), в которую можно установить минимум 32 Гбайт памяти, из которых 16 будут выделены под данные, а оставшиеся зарезервированы под служебные нужды (аналог управляющей памяти в массивах предыдущих поколений); пара VSD-плат, содержащих четырехъядерный процессор Intel Xeon и выполняющих функции арбитража системы, управляя потоками данных.

Если традиционно вся нагрузка по адресации данных в системах хранения ложилась непосредственно на процессоры ввода/вывода (на FED — управление данными между системой и серверами и BED — подключение жестких дисков и флэш-накопителей), то в VSP для адресации используются специально выделенные процессоры, а процессоры ввода/вывода выполняют свою прямую задачу. При этом каждый процессор имеет собственную энергонезависимую память, в которой хранится служебная информация, например карта монтирования томов. В кэш-памяти резервируется пространство, в котором сохраняются служебные данные со всех процессоров ввода/вывода. В случае необходимости подключения внутренних дисков добавляется пара плат BED, а для повышения вычислительной производительности все внутренние мощности CU могут быть удвоены. При использовании двух контрольных модулей четыре матричных коммутатора одного из них соединяются с четырьмя коммутаторами другого модуля по принципу «каждый с каждым». Коммутаторные подключения осуществляются по интерфейсу PCI-Express 1 Гбайт/с с полным дуплексом. Каждый коммутатор состоит из 24 портов, соответственно, общая пропускная способность всех коммутаторов будет составлять 192 Гбайт/с.

Используя функционал виртуализации систем хранения данных, платформа позволяет консолидировать хранилища, организуя единое пространство хранения независимо от степени структурирования данных.

Платформа VSP призвана обеспечить необходимый баланс между большой емкостью хранения, высокой производительностью и высоким уровнем надежности с возможностью использовать твердотельные накопители (Solid State Drive, SSD) для хранения часто востребованных данных. Однако у SSD низкая плотность хранения данных, поэтому требуется решение, которое будет максимально эффективно как с точки зрения производительности, так и с точки зрения приемлемой емкости и стоимости. В результате было выпущено решение корпоративного класса — Flash Module Drive (FMD), совмещающее в себе чипы флэш-памяти и специализированный контроллер Hitachi. Контроллер позволил реализовать ряд функций, не находивших до сих пор практической реализации в задачах дискового хранения данных, — например, был разработан и внедрен метод компрессии при записи данных в реальном времени, позволяющий эффективно хранить записанные блоки. Интересен также механизм коррекции ошибок на уровне контроллера (ECC), ранее применявшийся в модулях оперативной памяти серверов.

На текущий момент емкость модулей FMD составляет 1,6 Тбайт, а в ближайшем будущем станут доступны модули размером в 3,2 Тбайт. В VSP возможно размещение до 192 таких модулей в четырех дисковых шасси, что составит до 600 Тбайт совокупной емкости. По сравнению с обычными твердотельными накопителями, модули FMD обеспечивают вдвое большую плотность и вчетверо большую емкость хранения. Если говорить о пропускной способности, то группа из 32 модулей FMD обладает практически тем же быстродействием, что и 128 SSD. Cовокупная производительность VSP для максимального количества модулей FMD составляет примерно 1 млн операций ввода/вывода в секунду (IOPS).

Платформа VSP с FMD предназначена для решения задач, требовательных к ресурсам: высоконагруженные базы данных, системы аналитики Больших Данных, облачные конфигурации. При этом по производительности и надежности работы конфигурация с FMD эквивалентна системе на обычных дисковых накопителях аналогичной емкости.

Совместное использование VSP и специализированного решения для хранения файловых данных Hitachi Network Attached Storage (HNAS) позволяет реализовать концепцию «одна платформа для всех типов данных», делая возможным хранение структурированных и неструктурированных данных, блочных, файловых и объектных данных в рамках единой платформы. Использование механизмов репликации и решений для обеспечения высокой доступности, таких как High Availability Manager для VSP, позволяет создать систему геораспределенных ЦОД, в совокупности обеспечивающих требуемую доступность и защиту данных в облаках. Используя функционал репликации, можно организовать миграцию задач между ЦОД, например при достижении на каком-либо из них предела по электропотреблению.

Второй шаг трансформации облачного хранилища связан с повышением эффективности работы с данными и их мобильности. Средства платформы хранения должны разобраться в востребованности данных, степени активности их использования и применяемых механизмах обращения к ним, а это означает смещение восприятия облачной инфраструктуры как совокупности программно-аппаратных решений в сторону восприятия всей хранимой информации как облака содержимого, для эффективного существования которого необходимо многоуровневое хранение и управление жизненным циклом информации.

Механизмы динамической миграции в системах хранения от Hitachi могут позволить данным, независимо от их типа, перемещаться между дисковыми ресурсами с разной стоимостью хранения единицы информации и разной производительностью доступа к данным. Наиболее востребованная информация размещается на самых быстрых из доступных устройств, а наименее важные или неактуальные данные перемещаются на более медленные или в архив. При этом решение о переносе данных может принимать как сама система хранения данных на основе сконфигурированных правил с указанием условий миграции данных (например, по типу данных или по времени доступа к документу), так и пользователь, данные которого, например после завершения проекта, могут быть перенесены на медленные носители или в архив. Функционал динамической миграции реализован как для блочных, так и для файловых данных. Преимущество многоуровневого хранения — снижение стоимости хранения данных.

Для хранения неструктурированных данных применяется система архивного хранения Hitachi Content Platform (HCP). Сжатие данных и дедупликация позволяют эффективно хранить большие объемы информации. Контрольные суммы у каждого хранимого объекта, цифровая подпись и наличие нескольких копий объекта гарантируют сохранность и целостность данных. Применение пользовательских метаданных при хранении объектов позволяет быстро найти требуемую информацию, что при больших объемах хранения крайне важно — невозможность оперативно найти нужные данные равносильна их потере. Для соответствия государственным и внутрикорпоративным требованиям HCP поддерживает режим WORM и политики, определяющие длительность хранения данных и их надежное удаление (shredding). Основой для хранилища данных при большой емкости хранения может выступать Virtual Storage Platform, что в сочетании с широким программным функционалом HCP дает возможность организовать многоузловое хранилище данных с требуемым уровнем производительности и надежности.

Третий шаг трансформации облачного хранилища состоит в решении задачи эффективного поиска информации, ее максимально быстрого извлечения и визуализации пользователю или приложению. Для хранилищ структурированных данных эта задача решается с помощью интегрированных методов самих приложений и СУБД, а при работе с неструктурированными данными это становится проблемой. Например, как можно быстро найти нужный файл в огромном количестве однотипных файлов на десятках различных ресурсов хранения?

Задача поиска в рамках единой виртуальной платформы, организованной на базе VSP, решается с помощью специализированного программно-аппаратного решения Hitachi Data Discovery Suite, способного функционировать в гетерогенных средах хранения и обеспечивающего возможность индексирования, поиска и извлечения информации из любых файловых хранилищ. При этом нет разницы, на базе каких систем хранения и ОС построено облако. Этот программный продукт позволяет представить облако как единую информационную среду с логическим распределением данных по типу, степени востребованности и доступности, независимо от их расположения.

Hitachi Data Discovery Suite представляет собой многоузловой кластер (рис.1), состоящий из серверов х86, которые, взаимодействуя с файловыми серверами и файловыми системами хранения, строят индекс данных, хранимых на файловых ресурсах. В случае больших конфигураций для хранения индексных данных серверы подключаются к системе хранения данных. В качестве индексируемого хранилища могут выступать системы хранения HNAS, HCP и любые другие, использующие распространенные файловые протоколы CIFS и NFS. Продукт Hitachi Data Discovery Suite различает 370 форматов различных документов и «понимает» 81 язык, включая китайский, корейский и японский.

Рис. 1. Архитектура Hitachi Data Discovery Suite

***

Сегодня в ИТ-индустрии происходит трансформация инфраструктурных облаков в облака информационные, в первую очередь ориентированные на поддержку всего жизненного цикла данных. Функции и механизмы, реализованные в платформе VSP, предоставляют необходимые инструменты для эффективной работы с информацией в современных облачных средах.

Ирина Яхина (irina.yakhina@hds.com ) — руководитель подразделения технологических решений Hitachi Data Systems (Москва).