В современных центрах обработки данных наиболее важные бизнес-приложения используют сети хранения данных Fibre Channel. Эта технология доказала свою способность обеспечивать отличную производительность и высокий коэффициент готовности приложений, а также возможность применения оптимальных методов резервного копирования данных и их восстановления после сбоев. Однако не все бизнес-приложения требуют такой широкой полосы пропускания, которую гарантирует скорость 4 Гбит/c от Fibre Channel, а кроме того, в крупных центрах обработки данных могут эксплуатироваться сотни монтируемых в стойки серверов второго уровня с непосредственно подключаемыми к ним устройствами хранения данных. Некоторые администраторы сомневаются в целесообразности использования адаптера host bus adapter (HBA) Fibre Channel стоимостью в 1000 долларов, при том что стоимость самого сервера не достигает 3000 долл. С другой стороны, в случае использования автономных серверов возрастают административные накладные расходы в расчете на один сервер, особенно при выполнении операций резервного копирования.
До появления технологии iSCSI администраторы располагали довольно ограниченным набором вариантов экономичной интеграции всех приложений, Web-хостинга и файловых серверов в сеть хранения данных центра обработки данных. Теперь же iSCSI, а также шлюзы iSCSI позволяют упростить операции управления серверами второго уровня и резервного копирования их содержимого, а также интеграции этих серверов в сети хранения данных Fibre Channel. Такая интеграция позволяет распространить передовую практику центра обработки данных на все серверные ресурсы и амортизировать капиталовложения в сети хранения данных центра обработки данных с использованием значительно более широкого пула подключенных устройств.
Выпускаемое корпорацией Microsoft новое программное обеспечение на основе технологии iSCSI дает возможность с малыми затратами развертывать серверы Windows в центрах обработки данных. Давайте рассмотрим этапы указанного процесса, а также факторы, которые при этом необходимо принимать во внимание. Но прежде — небольшой экскурс в технологию iSCSI.
Основы iSCSI
Так же, как и традиционный параллельный интерфейс SCSI, протокол iSCSI позволяет выполнять операции чтения и записи данных в обеспечивающем высокую скорость обработки блоковом формате. Однако стандарт iSCSI, преобразуя команды SCSI, состояние и данные из параллельной формы в последовательную, снимает ограничения на расстояние, характерные для кабельной подводки при использовании параллельного SCSI, а также упрощает развертывание и обслуживание. Трафик iSCSI передается по протоколам TCP/IP, поэтому его можно пересылать по традиционным сетям Gigabit Ethernet и распределенным сетям IP. На рис. 1 показано, как традиционный протокол SCSI инкапсулируется в TCP/IP для последующей транспортировки.
За счет использования экономичных интерфейсных плат Gigabit Ethernet и коммутаторов Gigabit Ethernet можно избежать высоких затрат на подсоединение iSCSI в расчете на сервер; этот метод вполне оправдывает себя во многих случаях. Некоторые изготовители поставляют хост-адаптеры iSCSI, которые оптимизируют обработку iSCSI с помощью механизмов TCP Offload engine (TOE) и встроенных логических схем iSCSI для обработки информации. Эти адаптеры необходимы для загрузки приложений с SAN, и подходят для приложений, требующих широкой полосы пропускания, но их применение приводит к повышению издержек на подключение в расчете на сервер. В этой статье я предполагаю, что используются стандартные сетевые интерфейсные платы Gigabit Ethernet. При использовании более высокопроизводительных плат 10 Gigabit Ethernet почти вся достигнутая за счет отказа от стандарта Fibre Channel экономия теряется.
С точки зрения средств управления памятью Windows целевой ресурс iSCSI представляется обычным ресурсом устройств хранения. Этому ресурсу можно присвоить буквенное обозначение, его можно отформатировать и использовать для приложений и данных. Однако ресурс устройств хранения iSCSI располагается не внутри сервера и не подключен к нему с помощью параллельного кабеля. Он может находиться в любом месте внутри сети с протоколом маршрутизации IP. iSCSI — блочный протокол устройств хранения, поэтому задержки, возникающие при установлении междугородных соединений по региональным сетям, могут существенно снижать быстродействие или вызывать перерывы в работе. Как правило, средства iSCSI лучше всего развертывать внутри центра обработки данных, в одном квартале или в пределах большого города.
Поддержка корпорацией Microsoft технологии iSCSI
Выпустив программные продукты iSCSI initiator и Internet Storage Name Service (iSNS), компания Microsoft предоставила потребителям экономичный способ включения даже недорогих серверов и рабочих станций Windows в SAN-инфраструктуру центров обработки данных. Microsoft iSCSI Software Initiator обеспечивает подключение главного компьютера Windows к внешнему массиву устройств хранения iSCSI. Microsoft iSNS Server обнаруживает целевые объекты в сети iSCSI.
Сейчас продукт iSCSI Software Initiator 2.04 распространяется бесплатно на сайте Microsoft Download Center. Он может функционировать в средах Windows Server 2003 или более поздних версий, Windows XP Professional SP1 или более поздних версий, а также в Windows 2000 SP3 или более поздних версий. Данное решение можно загрузить по адресу http://www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585b385-befd1319f825&displaylang=en . Код сервера Microsoft iSNS тоже распространяется бесплатно. Этот продукт функционирует под управлением Windows Server 2003 или Windows 2000 SP4. Его можно загрузить по адресу http://www.microsoft.com/downloads/details.aspx?familyid=0dbc4af5-9410-4080a545-f90b45650e20&displaylang=en .
Специалисты Microsoft реализовали в iSCSI Software Initiator ряд интересных возможностей, включая функции выполнения множественных соединений с одной и той же сетью, средства безопасности и средства кластеризации серверов на целевых объектах iSCSI. Разветвление каналов с помощью драйвера Multipath I/O (MPIO), входящего в комплект поставки iSCSI Software Initiator, обеспечивает более высокий коэффициент отказоустойчивости за счет аварийных переключений и более высокую производительность за счет балансировки нагрузки. Защищенные соединения между инициаторами iSCSI и целевыми ресурсами устройств хранения поддерживаются с помощью протоколов CHAP (Challenge Handshake Authentication Protocol) и Ipsec для шифрования вложенных данных. Потребность в аутентификации и шифровании может возникать в тех случаях, когда хранимые данные проходят по ненадежному сегменту сети. Средства кластеризации обеспечивают использование ресурсов устройств хранения iSCSI кластерами Microsoft Exchange Server или Microsoft SQL Server. При использовании рассматриваемых ниже конфигураций данными Exchange или SQL Server тоже можно управлять централизованно и защищать их в сетях хранения данных, а средства кластеризации обеспечивают высокий коэффициент готовности приложений для конечных пользователей.
Использовать iSNS Server необязательно, но это изделие облегчает развертывание iSCSI, поскольку обеспечивает автоматическое обнаружение целевых ресурсов iSCSI. Оно может выполняться на выделенном сервере или сосуществовать с другими серверными приложениями. В сущности, iSNS Server сочетает в себе средства DNS и традиционные службы обнаружения, реализованные в сервере Simple Name Server (SNS) сети Fibre Channel. К примеру, в коммутаторах и маршрутизаторах Fibre Channel SNS содержит сведения обо всех ресурсах устройств хранения в сети хранения данных. Когда к сети SAN подключается массив устройств хранения или запоминающее устройство на магнитной ленте, этот массив или устройство регистрируется на сервере SNS. Когда инициаторы Fibre Channel подключаются к сети, они обращаются к SNS с запросом об имеющихся ресурсах устройств хранения. Список ресурсов, передаваемый тому или иному инициатору, может быть подвергнут фильтрации с помощью технологий зонирования и масок LUN. Таким образом блокируется доступ инициаторов к несанкционированным ресурсам устройств хранения (к примеру, пресекается попытка сервера Windows привязаться к массиву устройств хранения UNIX).
Шлюз iSCSI
Шлюз iSCSI обеспечивает конверсию протоколов между инициаторами iSCSI и целевыми ресурсами устройств хранения, присоединенными к Fibre Channel. Шлюз iSCSI, по сути дела, играет роль посредника для каждой стороны: он представляет виртуальный инициатор Fibre Channel реальному целевому объекту Fibre Channel и виртуальный целевой объект iSCSI — реальному инициатору iSCSI, как показано на рис. 2. Следовательно, при установке шлюза iSCSI необходимо следовать соответствующим правилам обоих протоколов.
Скорость передачи данных по соединениям Fibre Channel на сегодня составляет 2 или 4 Гбит/с, а по соединениям iSCSI — 1 Гбит/с, поэтому на каждом порту устройств хранения Fibre Channel можно агрегировать больше серверов iSCSI, чем серверов Fibre Channel. В типичных средах бизнес-приложений, выполняемых от начала до конца со скоростью передачи данных 1 Гбит/с, обычное соотношение серверов к портам устройств хранения (известное как fan-in ratio) может составлять 7:1. Шлюз iSCSI, осуществляющий соединения портов на скорости 1 Гбит/с для инициаторов iSCSI и соединения на 4 Гбит/с для портов устройств хранения, может обеспечить гораздо более высокое соотношение — 18:1 или даже выше. Для инициаторов iSCSI можно реализовать более высокое соотношение серверов к портам устройств хранения, присоединив несколько серверов iSCSI к коммутатору Gigabit Ethernet, который, в свою очередь, обеспечивает соединение на скорости 1Гбит/с со шлюзом iSCSI для каждой группы объединенных серверов. Шлюз iSCSI, оснащенный четырьмя портами Ethernet на 1 Гбит/с и несколькими портами Fibre Channel на 4 Гбит/с, может одновременно взаимодействовать с 70 или большим числом инициаторов iSCSI.
При исследовании соотношения «серверы — порты устройств хранения» нужно учитывать еще один фактор: указанное поставщиком устройства хранения максимальное число одновременных сеансов iSCSI, приходящихся на каждый порт шлюза. Возможно, шлюз iSCSI поддерживает до 50 сеансов iSCSI на один порт Gigabit Ethernet, но изготовитель устройства хранения может указать и меньшее число — скажем, 20 сеансов на один порт. Каждый поставщик устройств хранения сам осуществляет сертификацию и тестирование шлюзов iSCSI и указывает максимальное число сеансов для своего продукта.
Включение в сети SAN серверов iSCSI
При планировании интеграции в сеть SAN подключенных по технологии iSCSI серверов Windows нужно указать общую емкость устройств хранения, необходимую для вновь присоединяемых серверов iSCSI, средний объем трафика, генерируемого выполняемыми на этих серверах приложениями второго уровня, и первоначальное соотношение «серверы — порты устройств хранения», наилучшим образом подходящее для совокупной нагрузки, с тем чтобы оценить требования к SAN и шлюзу iSCSI. Если определение емкости устройств хранения, необходимой для каждого сервера второго уровня, особых сложностей не представляет, то определить модели трафика устройств хранения и нагрузки, особенно для приложений, характеризующихся резкими всплесками объема передаваемых данных, как правило, не так просто. Поэтому лучше всего начинать с относительно скромного соотношения «серверы — порты устройств хранения» (например, 7:1 или ниже) и постепенно увеличивать число серверов iSCSI, приходящихся на один порт шлюза iSCSI, до тех пор, пока не будет достигнуто оптимальное для вашего случая соотношение.
Процедура развертывания серверов iSCSI второго уровня в существующей сети хранения данных Fibre Channel состоит из трех основных этапов: конфигурирование существующего массива устройств хранения для дополнительных хостов, настройка шлюза iSCSI для установления соединений как с виртуальным инициатором Fibre Channel, так и с виртуальными целевыми ресурсами iSCSI, установка программных средств инициатора Microsoft iSCSI и (при желании) iSNS для подключения хоста. Ни один из этих шагов не представляет особых сложностей, однако для осуществления всего процесса, возможно, потребуется наладить сотрудничество между администраторами серверов и SAN, если в вашей организации эти функции не объединены.
Шаг 1. Настройка устройств хранения данных SAN для новых хостов iSCSI. Поскольку вы используете шлюз iSCSI для интеграции дополнительных серверов, при настройке дополнительных устройств хранения можно обойтись без особого процесса. С точки зрения администратора SAN, новые номера логических устройств задаются для традиционных инициаторов Fibre Channel, которые фактически виртуально представлены внутри шлюза iSCSI. Следовательно, дополнительные номера логических устройств с необходимой емкостью создаются, как обычно, с помощью предоставляемой поставщиком устройств хранения утилиты настройки, а соответствующее число портов нового устройства хранения данных (определяемое соотношением серверов и портов устройств хранения) подключается к сети SAN.
Не исключено, что платформа шлюза iSCSI позволит напрямую соединить шлюз с устройствами хранения данных SAN, однако администраторы центра обработки данных могут предпочесть другое решение: выполнять все соединения с устройствами хранения через средства управления Fibre Channel или коммутаторы. В этом случае как порты устройств хранения, так и порты Fibre Channel шлюза iSCSI нужно соединять с сетью хранения и выполнять зонирование или маскирование номеров логических устройств на уровне сети хранения. Каждый новый порт устройств хранения представлен уникальным именем World Wide Name (WWN), которое администраторы используют для настройки зонирования и соединения со шлюзом iSCSI.
Все поставщики устройств хранения данных предлагают собственные утилиты управления для определения номеров логических устройств в рамках всего массива устройств хранения. Обычно эти утилиты имеют графический интерфейс и довольно легко настраиваются. Подобным же образом поставщики коммутаторов сети хранения предлагают утилиты для настройки портов коммутаторов, групп зон и маскирования номеров логических устройств. Важно помнить, что, хотя вы выполняете настройку ресурсов SAN для соединения с инициаторами iSCSI, массивы устройств хранения и сети видят только инициаторы Fibre Channel, представленные шлюзом iSCSI.
Шаг 2. Настройка шлюза iSCSI. Настройка шлюза iSCSI включает два базовых компонента. Требуется настроить и связать инициаторы iSCSI с соответствующими виртуальными целевыми ресурсами iSCSI. Подобным же образом необходимо настроить и связать реальные ресурсы Fibre Channel с соответствующими виртуальными инициаторами Fibre Channel. Как правило, поставляемая изготовителем шлюза iSCSI утилита настройки упрощает этот двусторонний процесс: когда вы настраиваете инициатор iSCSI, proxy-инициатор Fibre Channel создается автоматически.
Регистрация инициаторов iSCSI осуществляется по идентификаторам iSCSI, а регистрация ресурсов SAN — по именам WWN и по идентификаторам Fibre Channel (FCID) на шлюзе iSCSI. Чтобы должным образом настроить шлюз iSCSI, указанные выше идентификаторы необходимо определить заранее. На экране 1 утилита настройки для шлюза iSCSI (в нашем примере это Brocade M2640) показывает инициатор iSCSI, определяемый идентификатором и псевдонимом iSCSI, IP-адрес и представленные через посредника имена WWN.
В комплект поставки шлюза iSCSI могут входить дополнительные утилиты для реализации обеспечивающих защиту данных протоколов CHAP и IPsec. Все параметры CHAP- или IPsec-адресации необходимо определять заранее, это облегчает установку шлюза.
Все поставщики шлюзов iSCSI комплектуют свои изделия собственными уникальными утилитами настройки хостов iSCSI и целевых ресурсов SAN, поэтому я не могу предложить читателям пошаговые инструкции по настройке шлюза. Отмечу только некоторые общие требования: следует настроить свойства инициатора iSCSI, настроить представленные через посредника целевые ресурсы и определить параметры маскирования номеров логических устройств для целевых томов.
Шаг 3. Настройка хостов iSCSI. К своему бесплатно распространяемому продукту iSCSI Software Initiator корпорация Microsoft прилагает загружаемое руководство пользователя, содержащее подробные инструкции по его установке. По завершении установки iSCSI Software Initiator на сервере Windows необходимо выполнить следующие базовые шаги: назначить имя узла инициатора iSCSI для сервера, настроить все необходимые механизмы безопасности, обнаружить (с помощью iSNS) или определить целевые объекты, доступные для сервера, а также связать хост iSCSI с соответствующими целевыми ресурсами.
После задания параметров инициатора на вкладке General диалогового окна iSCSI Initiator Properties нужно перейти на вкладку Discovery, где предстоит либо обнаружить с помощью iSNS, либо вручную ввести IP-адрес нужных целевых объектов. Если iSNS установлен на сервере, подключенном к локальной сети, он будет периодически проверять сеть на наличие дополнительных целевых объектов iSCSI. В нашем примере эти объекты представлены шлюзом iSCSI. Но можно сделать и по-другому: нажать кнопку Add, расположенную в разделе Target Portals вкладки Discovery, и указать целевые объекты вручную.
Указав целевые объекты, перейдите на вкладку Targets, где требуется выбрать представленные с помощью посредника целевые объекты iSCSI и зарегистрироваться на них. Как показано на экране 2, в окне регистрации пользователь может указать, является ли целевой объект постоянным и применяется ли резервирование каналов данных для этого соединения. Нажмите расположенную в окне регистрации кнопку Advanced и настройте механизм контроля с использованием проверки целостности CRC, а также укажите настройки протоколов CHAP и IPsec для данного соединения.
Пока сеанс регистрации между инициатором iSCSI и представленным посредником целевым объектом iSCSI не завершен, можно с помощью утилиты Windows Disk Management настроить том устройств хранения, назначить ему буквенное обозначение и отформатировать этот том для дальнейшего его использования.
Выделенная сеть хранения данных IP
В отличие от локальной сети для передачи сообщений (т. е. локальной сети, по которой передается трафик приложений, а не трафик устройств хранения), сеть хранения данных Fibre Channel по определению является отдельной сетью, с собственной схемой расположения кабелей, своими протоколами и инфраструктурой сети. Если сеть хранения данных Fibre Channel спроектирована должным образом, перегрузки на ней должны быть минимальными, а коэффициент готовности данных повышается благодаря наличию резервных каналов связи между инициаторами и целевыми объектами.
Одно из чаще всего упоминаемых достоинств iSCSI состоит в том, что трафик iSCSI может передаваться по инфраструктурам обычных локальных сетей с использованием относительно недорогих коммутаторов Gigabit Ethernet. Это означает, что в одной и той же локальной сети могут сосуществовать трафик устройств хранения и трафик сообщений. Разумеется, нет каких-либо существенных технических барьеров, которые могли бы этому воспрепятствовать. Однако и Microsoft, и поставщики средств хранения данных, как правило, не рекомендуют сочетать в одной сети трафик устройств хранения и трафик сообщений. Дело в том, что трафик сообщений устойчив к колебаниям в широких пределах таких параметров, как задержки, перегрузки, а также потеря и восстановление пакетов — чего нельзя сказать о трафике устройств хранения. Следовательно, сеть Ethernet между шлюзом iSCSI и обслуживаемым им комплексом инициаторов iSCSI должна быть выделенной сетью хранения данных IP, как показано на рис. 3.
Проектирование выделенной сети хранения данных IP с самого начала позволяет использовать недорогие соединения в расчете на сервер, а также применять коммутаторы Gigabit Ethernet широкого назначения и дает возможность со временем масштабировать сеть хранения данных IP для подключения к ней дополнительных серверов, так чтобы при этом не оказывать значительного влияния на функционирование корпоративной локальной сети (и не испытывать влияния с ее стороны).
Технология iSCSI, являющаяся ныне зрелой технологией хранения данных, активно внедряется в небольших отделах и используется в приложениях центров обработки данных. Fibre Channel до сих пор остается предпочтительным транспортом для многих центров обработки данных, в которых к полосе пропускания и к коэффициенту отказоустойчивости оборудования предъявляются высокие требования. Объединив технологии iSCSI и Fibre Channel Storage Area Network (SAN), администраторы могут включать все серверные ресурсы в единую инфраструктуру устройств хранения и применять эффективные методы работы со всеми корпоративными данными.