Сегодняшние ЦОДы обеспечивают такие достоинства, как сервисно-ориентированный подход, адаптивность, самоуправление, виртуализация, предоставление ресурсов по требованию.
Можно классифицировать центры обработки данных как корпоративные (они предназначены преимущественно для поддержки собственных бизнес-процессов компании) и коммерческие (нацелены на получение прибыли от продажи услуг физическим и юридическим лицам). Конечно, такое деление — достаточно условное, ведь коммерческие ЦОДы могут предоставлять услуги внутренним потребителям, а корпоративные — внешним. Более того, корпоративные ЦОДы часто выделяются в отдельные юридические лица и становятся специализированными коммерческими дата-центрами, предназначенными для удовлетворения потребностей одного клиента. И хотя аутсорсинг услуг ЦОДов в России все более популярен, корпоративные дата-центры еще долго будут доминировать.
Архитектура ЦОДа
Архитектурную модель дата-центра можно представить в виде пяти уровней.
1. Уровень инженерной инфраструктуры (рис. 1). Включает в себя системы энергоснабжения и электропитания, микроклимата, СКС, безопасности и пожаротушения, мониторинга и управления, а также монтажные конструктивы для размещения оборудования. Этот уровень играет роль фундамента ЦОДа, обеспечивая оптимальные условия для функционирования всех систем и работы персонала.
2. Уровень технической архитектуры — ТА (рис. 2). Он обеспечивает платформу для функционирования служебных и бизнес-сервисов, в составе которой можно выделить подсистемы:
-
серверов — состоит из вычислительных ресурсов, поддерживающих высоконадежное функционирование служебных сервисов и бизнес-приложений;
-
хранения — обеспечивает надежное хранение данных и приложений, высокопроизводительный доступ к ним, соответствие нормативным требованиям к хранению архивных копий;
-
сетевого взаимодействия — отвечает за надежную транспортировку информационных потоков между компонентами ТА и доступ потребителей к ресурсам ЦОДа;
-
информационной безопасности.
3. Уровень служебных сервисов (рис. 3). Представлен набором специализированных технологий, которые оптимизируют работу ТА ЦОДа, обеспечивают эффективное функционирование и взаимодействие приложений. На этом уровне можно выделить сервисы информационной безопасности, унифицированных коммуникаций, хранения и управления данными, управления и мониторинга, идентификации и авторизации, виртуализации и ряд других.
4. Уровень бизнес-приложений (рис. 4). Состоит из бизнес-приложений, коммуникационных приложений и средств коллективной работы, которые в совокупности обеспечивают необходимый набор средств для эффективной работы организации.
5. Уровень организационной структуры. Включает в себя персонал, политики и процедуры, поддерживающие функционирование всех перечисленных уровней.
Во многих определениях ЦОДов уровень бизнес-приложений исключают из рассмотрения (что особенно характерно для коммерческих ЦОДов). Но приложения — инструмент решения бизнес-задач, и не совсем правильно отделять этот уровень как «надстройку» от других компонентов ЦОДа.
Требования к современным ЦОДам
Организационные и технические требования к ЦОДам, а точнее — к каждому из выделенных нами уровней, формируются на основе нормативов (законов, приказов, постановлений Правительства РФ, других законодательных и регулирующих органов) и запросов бизнеса. Нормативных документов довольно много, и ряд из них имеет отраслевую специфику. Например, это требования ЦБ к информационной безопасности финансовых институтов, требования Мининформсвязи к сертификации узлов связи, требования к диспетчерскому центру в энергетике. Некоторые из этих документов ссылаются на ГОСТы.
Отечественная нормативная база, связанная с ИТ, очень несовершенна. Многие стандарты и законы переписаны с западных аналогов без должной методологической проработки. Поэтому процедура соблюдение этих нормативов часто становится «проходной» и имеет формальный характер. Отдельного внимания заслуживает выход российских компаний на зарубежные фондовые рынки, с чем связана необходимость обеспечивать фактическое соответствие требованиям закона Сарбейнса–Оксли и другим подобным актам.
Перейдем к бизнес-требованиям, таким как непрерывность, безопасность, эффективность, производительность, конкурентоспособность, адаптивность, прозрачность и т.д. Эти требования можно «транслировать» в технические: готовность (доступность) информационных систем, защищенность и эффективное использование ресурсов, производительность, функциональность, масштабируемость, открытая архитектура, простота и управляемость. Соответствие требованиям должно обеспечиваться на каждом из уровней архитектурной модели. В целом бизнес-требования влияют на состав и структуру ЦОДа гораздо больше, чем нормативные документы.
Роль стандартов трудно переоценить. Они важны и производителям, и потребителям, и регуляторам. Но отечественная база стандартов пока не слишком полезна при построении дата-центров. Хотя разработка ИТ-проектов в соответствии с ГОСТами или отраслевыми стандартами считается хорошим тоном, большинство современных ИТ-стандартов — результаты деятельности международных организаций, в которые входят ведущие игроки мирового рынка.
Наиболее полным стандартом построения ЦОДов является EIA/TIA-942. Правда, он тоже охватывает не все аспекты, ограничиваясь преимущественно уровнем инженерной инфраструктуры и ТА. Однако систематизация практик построения дата-центров в рамках отраслевого стандарта — несомненный прогресс. В EIA/TIA-942 включена и классификация дата-центров по уровням готовности, предложенная Uptime Institute и давно используемая в мире.
Для каждого из уровней архитектурной модели имеются не только стандарты, исчисляемые сотнями, но и так называемые «лучшие практики» — общепринятые методики реализации подсистем ЦОДов. Важную роль в формировании новых концепций и стандартов построения центров данных играют ведущие производители ИТ-продуктов и услуг.
Теперь остановимся на специфике требований к коммерческим и корпоративным ЦОДам.
Коммерческие ЦОДы
Основные (и наиболее востребованные) сервисы, предоставляемые коммерческими дата-центрами, — это выделение инфраструктуры и места для размещения серверов, выделенный и виртуальный хостинг, сопутствующие услуги администрирования, защиты информации и резервного копирования. Очевидно, что прибыль владельца ЦОДа напрямую зависит от объема продаж таких услуг, числа клиентов и эффективности использования активов. На этом и основаны требования к коммерческим ЦОДам. Отметим, что большинство коммерческих дата-центров подпадают под специфичные для телекома нормативные требования лицензирования услуг передачи данных, предоставления в аренду каналов связи, применения сертифицированного серверного и сетевого оборудования.
Уровень инженерной инфраструктуры
К этому уровню коммерческих ЦОДов предъявляются жесткие требования, обусловленные необходимостью сверхвысокой плотности размещения серверов, критической важностью информационных ресурсов пользователей, ценностью основных активов для поставщика услуг и, как правило, достаточно большими рабочими площадями. Инженерную инфраструктуру коммерческого дата-центра чаще всего нужно строить «с нуля», ориентируясь на «лучшие практики». Это относится к строительной подготовке помещений, фальш-полам, гермозонам, резервируемому электроснабжению и кондиционированию, СКС, системам пожаротушения, автоматического управления, видеонаблюдения, контроля над доступом и т.д. Использование TIA-942, специализированных стандартов на компоненты, рекомендаций ведущих поставщиков решений для инженерной инфраструктуры и авторитетных организаций (например, Uptime Institute или CSIE) — очень верное решение.
Уровень технической инфраструктуры
Здесь все устроено гораздо проще и, в то же время, сложнее, чем в корпоративных ЦОДах. Проще потому, что:
-
набор предлагаемых сервисов ограничен, а соответственно, ограничены и унифицированы требования к компонентам ТА;
-
используется преимущественно стандартное, максимально унифицированное серверное оборудование начального уровня, подходящее для предоставления массовых услуг;
-
за исключением некоторых консолидированных телематических сервисов (типа почтового хостинга), реализация сложных технических решений, таких как кластеры, практически не требуется.
Сложность обусловлена следующим:
-
у провайдера услуг очень много оборудования, данных и пользователей;
-
оборудование и решения должны работать с максимальной нагрузкой;
-
способы оптимизации решений во многих случаях ищутся опытным путем — уже после запуска хотя бы части ТА в промышленную эксплуатацию.
Рассмотрим требования к основным подсистемам ТА.
Для серверного комплекса это — высокая плотность вычислительных мощностей, эффективное использование инфраструктуры, взаимозаменяемость компонентов. Важную роль играют стоимость, надежность, применение стандартного оборудования на платформе x86 (в основном, одно- или двухпроцессорных серверов начального уровня) и стандартных операционных систем (Linux и Windows). Все большую популярность получают blade-серверы.
Массовая консолидация данных в коммерческих ЦОДах с использованием SAN и больших систем хранения — не настолько популярное решение, как может показаться на первый взгляд. Это связано с его дороговизной из расчета на сервер, с избыточностью функционала для решения большинства задач, с ограниченной производительностью, необходимостью устранять возможные отказы системы и влияние «соседей».
Достаточно эффективным и разумным решением большинства задач хостинга остается локальное хранение. Однако с распространением недорогих решений на базе технологий SATA и SAS назревает тенденция частичной консолидации — одна небольшая система на группу серверов. Для защиты данных от катастроф, как правило, используются стандартные методы удаленного резервного копирования и базовая репликация по IP. Современные практики управления данными сегодня реализуются, в лучшем случае, для собственных нужд провайдера услуг ЦОДа. Но инфраструктура хранения данных коммерческих ЦОДов может быть очень большой, так что при проектировании сетей хранения данных следует изначально закладывать высокую масштабируемость.
Сеть — одна из наиболее критичных составляющих, так как гарантированный доступ пользователей к ресурсам ЦОДа крайне важен для обеспечения требований SLA. Поэтому необходимы многократное резервирование внешних каналов связи, резервирование сетевых соединений серверов, массовая консолидация сетевых портов, разделение клиентских и служебных сетей, развитый функционал управления адресацией, маршрутизацией и контролем над доступом, масштабируемость и модульность архитектуры. На этом же уровне реализуется базовый функционал информационной защиты.
Уровень служебных сервисов
В коммерческих ЦОДах на этом уровне формируются несколько стандартных сервисов.
Во-первых, это управление хостингом, представляющее собой специфичный сервис коммерческих ЦОДов и хостинг-центров. Он реализуется с помощью «контрольной панели», которая поддерживает автоматизированное централизованное управление серверами, ресурсами и пользователями. На этом же уровне обеспечиваются технические возможности телематических служб (DNS, LDAP, учет трафика и потребителей) и пользовательских сервисов (Web-сайты, FTP, почта и т.д.).
Во-вторых, это обеспечивающие сервисы, которые, в силу их критичности, требуют обязательного резервирования и организации комплексов защиты (например, многоуровневая система DNS).
В-третьих, сервисы информационной безопасности, функционал которых по сравнению с возможностями корпоративных ЦОДов достаточно ограничен. Обычно за эти сервисы отвечает набор систем межсетевого экранирования, обнаружения атак и антивирусной защиты.
В-четвертых, сервисы управления, которые реализуются как на базе контрольной панели, так и с помощью отдельной системы сетевого управления (NMS).
Уровень бизнес-приложений
На этом уровне в коммерческих дата-центрах действуют преимущественно пользовательские телематические сервисы (почта, Web- и файл-серверы). В зависимости от типа хостинга (размещение собственных серверов или аренда выделенного сервера) можно развертывать бизнес-приложения разной степени критичности. На этом же уровне функционируют собственные приложения провайдера, такие как биллинг и CRM.
Уровень оргструктуры
Организация обслуживания коммерческого ЦОДа — очень важный процесс, и применение практик ITIL/ITSM становится необходимым элементом поддержки его эффективности. Обязательно для коммерческих ЦОДов — наличие документированных, доведенных до персонала, протестированных планов и процедур аварийного восстановления, политик и регламентов. Типовые требования к коммерческому ЦОДу — круглосуточный режим работы службы поддержки (в несколько смен), доступность call-центра, организация служб HelpDesk/ServiceDesk. Жестко регламентируются зоны ответственности каждого сотрудника и каждой службы.
Корпоративные ЦОДы
Миссия корпоративных ЦОДов состоит в поддержке основного бизнеса компаний, что во многом определяет требования к разным уровням архитектуры. В большинстве случаев корпоративные ЦОДы выросли из унаследованной ИТ-инфраструктуры. Результат — большое количество унаследованных решений, политик и организационных аспектов.
Главная особенность нормативных требований к корпоративным ЦОДам — наличие отраслевых стандартов и требований к ИТ (будь то телеком, финансовый, энергетический или нефтегазовый сектор, стратегическое предприятие с государственным участием). Не следует забывать о сертификации систем качества и обеспечении соответствия зарубежным требованиям в случае предстоящего IPO.
Требования к уровню готовности сервисов корпоративного ЦОДа гораздо разнообразнее, чем в коммерческих ЦОДах. Они зависят от рода деятельности компании, режима ее работы и критичности самих сервисов.
Уровень инженерной инфраструктуры
На этом уровне требования варьируются от базовых до таких, которые аналогичны требованиям к коммерческим ЦОДам или даже превышают их (в тех случаях, когда даже кратковременный простой сервисов может повлечь за собой значительные финансовые потери). Принимаются во внимание стандарты, действительные для коммерческих ЦОДов, но с привязкой к конкретной ситуации. Например, наличие жесткой системы защиты объекта, на котором размещается ЦОД, может несколько снизить требования к обеспечению безопасности самого дата-центра. По понятным причинам в региональных ЦОДах требования к эффективному использованию площадей — менее жесткие, чем в столичных.
Уровень технической инфраструктуры
Уровень технической архитектуры может оказаться весьма сложным в связи с использованием множества специфических ресурсоемких сервисов.
В серверном комплексе одновременно применяются и горизонтально масштабируемые вычислительные системы (для инфраструктурных задач, Web-сервисов и приложений), и вертикально масштабируемые системы (для приложений типа ERP, BI, SCM). Для повышения эффективности последних рекомендуется задействовать средства виртуализации. Кроме того, серверы комплектуются так, чтобы можно было обеспечить большую степень отказоустойчивости и «горячего» обслуживания, чем при использовании серверов стандартной архитектуры. В целях обеспечения высокой готовности бизнес-критичных приложений применяются кластеры высокой готовности.
Массовая консолидация данных в корпоративных ЦОДах с использованием SAN и систем хранения высокого класса — эффективная и распространенная практика. Для снижения общей стоимости владения рекомендуется применять недорогие системы одного производителя. Для многих компаний очень полезна реализация концепции ILM.
Для подсистемы сетевого взаимодействия корпоративного ЦОДа основными задачами являются обеспечение доступа пользователей к приложениям из корпоративной сети и поддержка эффективного взаимодействия серверов и приложений. В большинстве случаев (за исключением центров данных операторов связи) требования к сетевой архитектуре не превышают требований к коммерческим ЦОДам. Довольно типичными становятся задачи поддержки корпоративных коммуникационных сервисов, таких как IP-телефония.
Уровень служебных сервисов
На этом уровне в корпоративных ЦОДах используются сервисы, специфичные для приложений, а также стандартные сервисы ИБ и системы управления. Сервисы информационной защиты могут быть очень развитыми, с полнофункциональными системами обнаружения и предотвращения вторжений (IDS/IPS), антивирусной защиты, контентной фильтрации, управления и мониторинга событий, средствами организации VPN и т.д. Сервисы Identity Management применяются в корпоративных ЦОДах для управления безопасным прозрачным доступом сотрудников к данным и приложениям. Система управления, обычно реализуемая в централизованном варианте, обеспечивает как функционал сетевого управления, так и возможность управления серверами и системами хранения.
Также следует упомянуть распространенные сервисы для организации «тонких» клиентов (на базе решений Citrix и др.), средств виртуализации, унифицированных коммуникаций, мобильного доступа персонала.
Уровень бизнес-приложений
На этом уровне действуют немногочисленные корпоративные телематические сервисы, средства обеспечения совместной работы и документооборота, бизнес-приложения с индивидуальными, но достаточно типовыми требованиями.
Уровень оргструктуры
Внедрение практик ITIL/ITSM считается действенным инструментом управления корпоративными ЦОДами, но это не всегда признает высшее бизнес-руководство. Иногда сложившиеся структуры и процедуры становятся незыблемыми основами деятельности.
Аутсорсинг обслуживания корпоративных ЦОДов — все более распространенная модель. В данном случае к планам аварийного восстановления систем, к политикам и регламентам можно смело предъявлять такие же требования, какие выдвигают по отношению к коммерческим ЦОДам. При этом должны быть детально проработаны вопросы восстановления бизнес-приложений. Особое внимание необходимо уделить политике ИБ и ее обеспечению на всех уровнях и структурах организации.
Итого
Резюмируя все вышесказанное, отметим следующее:
-
требования к центру обработки данных, будь он коммерческим или корпоративным, основаны на запросах бизнеса, но следует учитывать и требования регуляторов;
-
преимуществами использования корпоративного ЦОДа для поддержки бизнеса являются возможности достижения наиболее точного соответствия бизнес-задачам, обеспечения целостной контролируемой политики информационной безопасности;
-
преимущество использования коммерческих ЦОДов — это возможность существенного снижения затрат на ИТ и инфраструктуру при приемлемом уровне качества;
-
расширение спектра услуг коммерческих ЦОДов со временем станет привлекать к ним все больше клиентов.
Игорь Алешин (ialyoshin@ot.ru) — системный архитектор отдела ЦОДа компании «Открытые технологии»