Системы хранения данных берут свое начало от мэйнфреймов, представляющих, как сейчас принято называть, сегмент корпоративных решений, что наложило свой отпечаток на их архитектурные особенности — для систем старшего уровня на первом месте всегда были непрерывность доступа к данным, надежность хранения и производительность. Сами мэйнфреймы обладали большинством этих характеристик, и такие же требования предъявлялись к дисковым массивам. Кроме того, немаловажной особенностью систем хранения была возможность масштабирования конфигурации, причем не только за счет добавления дисковых ресурсов, но и путем расширения вычислительной мощности, увеличения количества портов ввода-вывода. С учетом этих требований ведущими игроками рынка, выпускающими системы хранения данных старшего уровня, была выбрана монолитная архитектура дисковых массивов, позволяющая в максимальной степени соответствовать предъявляемым требованиям. Основой монолитной архитектуры является высокопроизводительная внутренняя коммутируемая сеть, связывающая между собой все компоненты системы хранения — несмотря на множество компонентов, доступ к любому ресурсу системы хранения производится с минимальными задержками, а дисковый массив работает как единая система. Еще одной особенностью такой архитектуры является возможность, не прерывая работы приложений, наращивать производительность дискового массива, увеличивая количество вычислительных контроллеров, контроллеров ввода-вывода и кэш-памяти (рис. 1).
.png "Рис. 1. Пример архитектуры одной из первых систем хранения от Hitachi") |
| Рис. 1. Пример архитектуры одной из первых систем хранения от Hitachi |
Со временем потребность в централизованном хранении данных появилась и у предприятий среднего сегмента, где основой архитектуры стала двухконтроллерная конфигурация с дублированием всех компонентов дискового массива. Эта архитектура обеспечивала достаточную для систем среднего уровня непрерывность доступа, надежность хранения и производительность. Однако единственным вариантом повышения производительности систем хранения данных среднего уровня было увеличение количества дисков.
Постепенно в системах хранения среднего уровня появилась возможность без остановки работы приложений увеличивать объем кэш-памяти и устанавливать дополнительные контроллеры ввода-вывода (рис. 2), но прирост производительности дискового массива по-прежнему можно было обеспечить только за счет перехода на более старшую модель в той же продуктовой линейке, причем с неизбежной остановкой работы приложений.
.png "Рис. 2. Пример архитектуры системы хранения среднего уровня") |
| Рис. 2. Пример архитектуры системы хранения среднего уровня |
В последнее десятилетие произошли серьезные изменения в архитектуре систем хранения. Прежде всего значительно эволюционировали процессоры специализированного и общего назначения. В первых поколениях систем хранения основными вычислительными компонентами контроллеров были специализированные процессоры (Application-Specific Integrated Circuit, ASIC) и RISC-процессоры. Первые эффективно и с минимальными задержками выполняли пересылку данных между контроллерами ввода-вывода, вычислительными контроллерами и кэш-памятью. Кроме того, ASIC отвечали за расчет четности групп RAID, освобождая ресурсы основных процессоров для выполнения более интеллектуальных задач. RISC-процессоры контролировали сам процесс пересылки данных между компонентами системы хранения, выполняя роль арбитра и обеспечивая остальной высокоуровневый функционал системы хранения данных. И ASIC, и RISC, такие как Intel i960 (использовавшиеся, например, в Hitachi Lightning Storage 9900) или NEC RISC (использовавшиеся в Hitachi USP V), по надежности и производительности на начало 2000-х годов не имели аналогов, и их применение в высоконадежных системах хранения данных выглядело более чем разумно. Но по мере взросления процессоров x86, они стали использоваться все чаще и вслед за серверами постепенно заняли нишу основных процессоров в системах хранения данных. Некоторые производители систем хранения полностью перешли на эти процессоры и отказались от использования различных ASIC. В Hitachi Data Systems сохранили специализированные процессоры, которые эффективно справляются с различными вычислительными задачами и пересылкой данных. RISC-процессоры применяются все реже и сегодня используются только корпорацией IBM в системах хранения старшего уровня DS8870.
Следующий важный шаг развития непосредственно коснулся архитектуры систем хранения данных. Изначально все такие системы имели архитектуру типа ScaleUp — масштабирование достигалось путем наращивания количества компонентов одного массива (например, за счет добавления дисков, кэш-памяти, контроллеров ввода-вывода, вычислительных контроллеров). После модернизации производительность системы хранения данных возрастала, но, как правило, нелинейно. Более того, по достижении определенного предела масштабирования каждое последующее увеличение количества компонентов давало все меньший прирост производительности. Увеличение производительности отдельного компонента тоже имеет свои пределы, связанные с мощностью процессоров, тепловыделением, энергопотреблением и т. д.
Другим стимулом для увеличения производительности стала необходимость за минимальное время обрабатывать все больше данных, что в конечном итоге привело к появлению флэш-дисков, сразу поднявших планку быстродействия систем хранения данных на новый уровень. Если раньше пользователи сетовали на то, что рост производительности механических дисков практически прекратился, то теперь не хватает мощности контроллеров дисковых массивов для загрузки работой всего лишь пары сотен твердотельных дисков. Это легко увидеть на примере популярного теста производительности дисковых массивов SPC-1: система, являющаяся лидером в рейтинге по этому тесту, смогла нагрузить лишь 224 твердотельных накопителя, тогда как в современные системы уже давно можно ставить более 2000 механических дисков.
Таким образом, помимо традиционного увеличения производительности отдельных компонентов дискового массива, производителями на вооружение взят подход ScaleOut, при котором несколько независимых систем хранения объединяются в кластер с общим управлением, единым пулом вычислительных и дисковых ресурсов. Это позволило повысить производительность хранения данных без существенного усложнения управления хранением и без изменений принципа доступа к данным.
Для создания современного дискового массива архитектуры ScaleOut все производители сегодня используют кластер из контроллеров систем хранения среднего уровня, причем такой подход применяется и для построения некоторых систем хранения старшего уровня. Недостатком такого подхода является необходимость в случае масштабирования таких ресурсов, как порты ввода-вывода и процессоры, добавлять в кластер контроллерную пару со всеми установленными в ней компонентами, что не всегда требуется и обходится недешево.
В решениях HDS, начиная с системы хранения старшего уровня Hitachi VSP G1000 (рис. 3), предоставляется возможность масштабирования как по принципу ScaleUp, так и по ScaleOut. В первом случае для наращивания вычислительных или дисковых ресурсов хранилища данных можно добавлять необходимые компоненты в существующую систему хранения вплоть до момента достижения пределов масштабируемости, причем если требуется увеличить количество портов ввода-вывода, то добавляются только они. Если планируется долгосрочное хранение данных, то, не дожидаясь исчерпания ресурсов одного дискового массива, можно перейти на масштабирование по принципу ScaleOut, устанавливая еще одну или несколько систем класса VSP G1000 и объединяя их в кластер. При этом в каждом дисковом массиве кластера остается возможность независимо наращивать его ресурсы. Таким образом можно построить хранилище с практически неограниченными ресурсами.
.png "Рис. 3. Архитектура системы Hitachi VSP G1000") |
| Рис. 3. Архитектура системы Hitachi VSP G1000 |
Однако использование кластера ScaleOut предъявляет новые требования к характеристикам доступа и управления хранением — любое расширение кластера должно происходить прозрачно для приложений, которые не должны замечать никаких изменений, кроме увеличения производительности доступа к данным и увеличения полезного дискового пространства. Такое решение возможно в рамках использования функционала виртуализации, реализованного в дисковых массивах VSP G1000, который напоминает серверную виртуализацию на платформах VMware, Microsoft или Citrix.
Что позволяет серверам видеть кластер систем хранения данных как единое целое? Основу кластера составляют дисковые массивы VSP G1000, расположенные на одной площадке и взаимодействующие между собой через Fibre Channel SAN. Внутри одной или нескольких физических систем хранения создается несколько виртуальных систем хранения, каждая из которых контролирует свои логические тома (LUN). Каждый отдельный LUN расположен на одном из физических дисковых массивов, но любая виртуальная система хранения может быть создана на одном или нескольких дисковых массивах кластера. Все виртуальные системы хранения имеют свой собственный серийный номер, отличный от серийного номера физической системы, и свой набор атрибутов SCSI, позволяющий хостам идентифицировать принадлежность логических томов к одной виртуальной системе хранения и реализовать к ней доступ по нескольким путям (multipassing). Таким образом, неважно, на каком физическом дисковом массиве расположен логический том, — все серверы взаимодействуют с виртуальным дисковым массивом. Поскольку каждый логический том в рамках виртуальной системы хранения расположен на одной из физических систем, то для автоматической балансировки нагрузки между дисковыми массивами кластера ScaleOut можно использовать менеджер Hitachi Tiered Storage Manager (HTSM) из состава Hitachi Command Suite. HTSM контролирует множество различных параметров каждого из дисковых массивов (среди них утилизация различных компонентов системы хранения, время отклика операций ввода-вывода, количество IOPS и т. п.) и по достижении определенных пороговых значений переносит логические тома на другие дисковые ресурсы. Причем это может быть и другой дисковый пул того же дискового массива, и дисковый пул на другом массиве, входящем в кластер. Таким образом достигается равномерная загрузка на дисковые ресурсы одной системы хранения и всего кластера.
Кроме создания масштабируемого кластера ScaleOut виртуализация хранения на дисковых массивах VSP G1000 позволит создавать логические тома, которые будут растянуты между двумя дисковыми массивами, расположенными на двух разных площадках. По сути, это зеркало (RAID1), состоящее из двух логических томов, каждый из которых расположен на своей системе хранения. При этом каждая половинка зеркала будет доступна на любой площадке как для чтения, так и для записи. Растянутый на две площадки, логический том Global Active Device (GAD) для обмена данными между системами хранения данных использует синхронную репликацию через территориально распределенную сеть SAN. Оптимальное расстояние между площадками составляет не более 80–100 км и определяется параметрами задержки ввода-вывода, вносимыми синхронной репликацией. В свою очередь, каждое приложение имеет свои требования к параметрам задержки ввода-вывода, что и определяет максимальное расстояние между площадками. Территориально распределенная конфигурация из двух систем хранения с GAD обладает двумя очень важными особенностями. Во-первых, данные логического тома GAD доступны любым приложениям на обеих площадках, причем каждое приложение будет преимущественно общаться со своей локальной половинкой зеркала. Во-вторых, для такой конфигурации не страшен выход из строя любой из площадок — идентичные копии данных имеются на обеих площадках. Наиболее часто используемое программное решение, которому требуются конфигурации типа GAD, — это VMware vSphere Metro Storage Cluster (vMSC), территориально распределенный кластер. Он позволяет в полной мере получить такие преимущества от использования логических томов GAD, как практически мгновенный перенос виртуальных машин между площадками без копирования данных, создание катастрофоустойчивых решений и др.
***
Появление на рынке систем хранения данных таких решений, как VSP G1000, лишний раз подтверждает, что виртуализация в современном цифровом мире будет играть одну из ключевых ролей как при создании новых решений, так и при модернизации уже существующих. Сегодня на российском рынке наблюдается повышенный интерес к распределенным ЦОД и высокопроизводительным решениям для хранения данных, обеспечивающим максимально возможный уровень отказоустойчивости и масштабируемости, поэтому будут востребованы системы хранения нового поколения, поддерживающие как подход ScaleUp, так и ScaleOut.
Алексей Силин (alexey.silin@hds.com) — консультант-эксперт, компания Hitachi Data Systems (Москва).
