Напомним, что термин «третья платформа» предложили аналитики IDC для обозначения нового поколения вычислительных систем, формирующегося под влиянием облачных и мобильных технологий, социальных сетей и Больших Данных.

«Классический подход с применением традиционных RAID-технологий становится малоэффективным на петабайтном рубеже из-за значительного роста затрат на достижение высокой надежности, из-за сложности в управлении и ряда других проблем», — пояснил Александр Яковлев, эксперт по системам хранения российского представительства Fujitsu.

К таким проблемам относятся, в частности, масштабирование и увеличение быстродействия. Наращивая емкость широко распространенных двухконтроллерных систем, теоретически можно неограниченно увеличивать число дисковых полок, однако тогда контроллеры не смогут справляться с растущим потоком операций ввода-вывода.

В свою очередь, использование только флеш-накопителей для увеличения быстродействия сделает петабайтные системы непомерно дорогими, что заставляет искать иные пути, включая увеличение числа контроллеров и распределение нагрузки между ними.

Для решения возникающих проблем в новой системе хранения Fujitsu используется программно-конфигурируемая платформа с открытым кодом Ceph. В разработке ее ядра, по словам Яковлева, участвовали специалисты компании.

Распределенная высокопроизводительная файловая система Ceph, которая сегодня применяется для организации хранения данных в проекте OpenStack, разработана в Калифорнийском университете Санта-Круз. Профессиональные услуги по ее применению и техподдержку изначально оказывала компания Inktank, которую весной 2014 году приобрела Red Hat вместе с ее главным продуктом Ceph Enterprise, корпоративной системой хранения.

Ceph может применяться в системах хранения с тысячами узлов; высокий уровень готовности обеспечивается дублированной репликацией данных, исключающей влияние отказов отдельных узлов. В отличие от таких файловых систем, как GFS, OCFS2 и GPFS, в Ceph обработка данных и метаданных разделена и проводится в различных группах узлов кластера. Ceph поддерживает три технологии доступа – файловую, блочную и объектную. Благодаря алгоритму CRUSH (Controlled Replication Under Scalable Hashing), при записи осуществляется псевдослучайное взвешенное распределение данных, равномерно размещающее их между узлами и дисками. Хранение на основе Ceph не имеет единой точки отказа, значительно упрощается процедура добавления новых узлов или дисков, в качестве которых используются доступные на рынке устройства.

На основе такого открытого программного обеспечения Ceph, стандартных серверов и дисковых полок, ИТ-персонал предприятий может самостоятельно создавать системы хранения огромной емкости; однако это под силу отнюдь не всем, так как требует весьма высокой квалификации.

Один из примеров успешного самостоятельного внедрения Ceph – европейский центр ядерных исследований ЦЕРН, где исторически стремятся максимально повысить эффективность ИТ-систем и существенно ограничить необходимые инвестиции (см. «Там, где данные всегда большие», Computerworld Россия, № 09, 2014).

В Fujitsu, со своей стороны, вывели на рынок интегрированное решение — Eternus CD10000, объединив программное обеспечение Inktank Ceph Enterprise и собственные аппаратные платформы, а также добавив ко всему этому техническую поддержку.

В настоящее время новая система содержит от 4 до 224 узлов (именно такое их количество протестировано в кластере на соответствие всем заявленным функциям). Узлы размещаются в стандартных 19-дюймовых стойках, в их состав входят серверы стандартной архитектуры Primergy, а также накопители SAS, NearLine SAS и SSD. Твердотельные накопители также используются для ускорения доступа к журналам, метаданным и для кеширования. Не применяются RAID-массивы, но используется репликация данных. Не поддерживается дедупликация; как сообщают в Fujitsu, этой технологии нет и в ближайших планах.

Компоненты Eternus CD10000 — узлы управления и узлы хранения различной производительности, начальная «сырая» емкость которых составляет 12, 34 и 252 Тбайт. Параметры функционирования, включая число реплик и количество копий данных, определяющие полезную емкость, а также типы используемых дисков задаются на этапе начального программного конфигурирования.

Связь между узами в CD10000 осуществляется по двум 40-гигабитным шинам Infiniband, а для взаимодействия с внешним миром используется 10-Gigabit Ethernet. Предусмотрены конфигурации с повышенным уровнем готовности, допускающие разнесение частей системы на расстояние до 80 км.

Новая система хранения рассчитана на работу с Большими Данными, реализацию сервисов, создание высокопроизводительных систем бизнес-аналитики и ряд других ресурсоемких задач. В настоящее время заключены первые контракты на ее поставку в Европе; в нашей стране ведутся переговоры с телекоммуникационными компаниями.