Под присмотром DCIM

Такое многообразное хозяйство, каким является современный вычислительный центр, или, в современной терминологии, центр обработки данных, требует единообразного управления. Однако многочисленные подсистемы, из которых состоит его инфраструктура, традиционно контролировались при помощи отдельных специализированных систем управления. Cистемы управления инфраструктурой ЦОД призваны если не заменить, то объединить их все, чтобы владелец ЦОД мог иметь полное представление о том, что происходит на объекте.

В последние годы рынок систем управления инфраструктурой ЦОД (Data Center Infrastructure Management, DCIM) бурно развивается, а ближайшие перспективы выглядят еще более радужными. По оценкам Navigant Research, в 2013 году его объем составил 663 млн долларов (при этом учитывались продажи программного обеспечения и услуг). Согласно недавно опубликованному исследованию MarketsandMarkets, за период с 2011 по 2017 год рынок DCIM вырастет с 307 млн до 3,14 млрд долларов. Таким образом, его среднегодовой рост составит 47,33%. По мнению аналитиков этого агентства, основным драйвером роста является потребность в обеспечении высокой доступности и устойчивого развития центров обработки данных.

Вместе с тем системы DCIM пока не занимают в ЦОД того места, какого они, несомненно, заслуживают. Даже к 2017 году, отмечает Gartner, они будут применяться лишь в 60% крупных ЦОД в США (площадью свыше 300 м²). На то есть множество причин, но, пожалуй, главная из них — отсутствие единоначалия во многих ЦОД и взаимодействия между различными подразделениями, из-за чего зачастую каждая из подсистем работает нормально, а в целом функционирование ЦОД далеко от оптимального, потому что, как у А. Райкина, «за костюм никто не отвечает».

Что же дает использование DCIM? Данные, предоставляемые DCIM, позволяют оптимизировать питание, охлаждение и физическое пространство в машинном зале, что, в свою очередь, дает возможность отсрочить капитальные вложения в обустройство новых площадей. Имеющийся у многих систем инструментарий позволяет моделировать сценарии «что, если», то есть понять, как различные действия, например размещение дополнительных стоек или оборудования, повлияют на ситуацию в ЦОД. Согласно расчетам Gartner, за счет одной только экономии энергии внедрение DCIM окупается за три года.

Вместе с тем ни одна из представленных на рынке систем пока не обладает той функциональностью, которой должна обладать DCIM, да и сам вопрос о ее обязательных компонентах остается открытым. К тому же полномасштабная реализация этой системы требуется далеко не всегда. Продвигаемые под зонтиком DCIM продукты ведут свою родословную от самых разных решений. Соответственно, они могут быть сильны в одних областях (учет и инвентаризация, мониторинг энергоснабжения, контроль СКС) и слабее в других. Все это, наряду с отсутствием непосредственного бенефициара, затрудняет внедрение DCIM и усложняет выбор.

Составить собственное впечатление о предлагаемых решениях, преимуществах и недостатках DCIM потенциальные заказчики могли на форуме «МИР ЦОД – 2014», где, помимо нескольких пленарных докладов, этой теме была посвящена отдельная секция.

МОНИТОРИНГ МИКРОКЛИМАТА ЦОД

Чтобы добиться значительной экономии энергии, вовсе не обязательно внедрять полномасштабную дорогостоящую систему DCIM, для этой цели подойдет и система контроля микроклимата ЦОД, например Synapsense. Как свидетельствует опыт реализации проектов этой американской компании, внедренное решение может окупиться за очень короткое время, иногда буквально за месяц (см. Рисунок 1).

Рисунок 1. За счет экономии электроэнергии решение Synapsense для мониторинга ЦОД может окупиться в срок от трех лет до одного месяца — в зависимости от сложности и задач проекта.

Synapsense предназначена для постоянного контроля климатических параметров ЦОД в режиме реального времени. Ее основу составляют беспроводные датчики температуры, влажности и давления, которые подключаются к шлюзам по технологии 802.15. Хотя система работает в том же частотном диапазоне 2,4 ГГц, что и традиционный Wi-Fi, благодаря частотно-временному разделению каналов она не будет создавать помех для развернутой в ЦОД сети WLAN.

В небольших ЦОД (от 100 до 1000 м²) рекомендуется использовать два шлюза для резервирования. Поскольку сеть имеет ячеистую топологию, в случае выхода из строя обоих шлюзов датчики будут по цепочке передавать информацию один другому, и в конечном итоге она попадет в программное обеспечение, которое является ядром данной системы. Если датчик «видит», что канал занят Wi-Fi, он регулярно посылает запросы, ожидая свободного окна, и в случае его появления передает информацию на базовый шлюз. При отсутствии такой возможности данные перемещаются на соседний датчик, который аккумулирует их и передаст в тот момент, когда радиоканал освободится. Эта технология делает систему отказоустойчивой и помехозащищенной.

Для каждой стойки рекомендуется приобрести комплект из семи датчиков, которые устанавливаются на фронтальную и тыльную части стойки, вверху, в середине и внизу, а опорный датчик температуры располагают под фальшполом. На кондиционеры датчики температуры ставятся на входе и выходе воздушного потока. Каждое из этих устройств измеряет влажность. Систему можно расширить за счет датчиков контроля электропитания (датчики Холла). На основании полученных данных Synapsense рассчитывает PUE и множество других показателей, которые помогут оптимизировать электропотребление ЦОД, а также выявлять еще только зарождающиеся проблемы — например, когда при переключении кондиционеров на резервные мощности термодинамические процессы переходят из квазистационарных в переходные.

Температуру и влажность, да и другие параметры, измерить нетрудно. Основу Synapsense составляет программное обеспечение, которое эту информацию обрабатывает, отображая ее в реальном времени на картах температуры, давления и влажности. Сведения, сохраняемые в базе данных, в любой момент можно воспроизвести для восстановления событий, которые происходили и месяц, и год назад. Так, при возникновении каких-то проблем, можно посмотреть, откуда начался перегрев, — если «виноват» кондиционер, на плане сразу будут видны красные области и перепады давления в этих местах.

Как отмечает Илья Малтых, генеральный директор компании DCClean, продвигающей данное решение на российском рынке, по сравнению с использующимися в вычислительных центрах аналогами, система мониторинга Synapsense легко устанавливается в уже существующем или вновь строящемся ЦОД, поскольку ее беспроводные базовые станции не требуют внешних линий связи или внешнего питания (они способны работать от батареек до шести лет при частоте опроса раз в пять минут). Гибкость настройки интерфейса управляющего ПО позволит предоставить каждому пользователю только те данные, которые соответствуют его уровню доступа. Визуализация собираемых системой Synapsense данных позволяет оперативно отслеживать изменения температуры, влажности или давления на построенных для нескольких уровней картах с цветовой индикацией, а сигнал о превышении установленных порогов значения мгновенно поступит на пульт дежурной смены.

Как утверждается, система может работать не только с программными, но и с аппаратными протоколами (SNMP, Modbus, BUCnet). Это позволяет расширить ее практически до полнофунциональной системы DCIM.

ВСЕ ПОДКЛЮЧЕНИЯ НАПЕРЕЧЕТ

Как уже отмечалось, представленные на рынке решения DCIM имеют самые разные корни. В числе первых на перспективы этого рынка обратили внимание поставщики структурированных кабельных систем, поскольку у большинства из них уже имелись интеллектуальные полуавтоматизированные системы для управления кабельными соединениями.

При огромном количестве физических соединений в ЦОД наличие актуального кабельного журнала является серьезным подспорьем, если необходимо, например, определить, какие перекоммутации требуются для подключения новых серверов. Традиционный подход, когда системный администратор держит в памяти все произведенные коммутации или в лучшем случае ведет кабельный журнал в электронном виде, в современной виртуализированной среде чреват многочисленными ошибками. Избежать их помогают удобные инструменты, которые предоставляются системами управления кабельной инфраструктурой.

Специально разработанная программа, учитывающая необходимую последовательность операций на каждом этапе, поможет значительно упростить весь этот процесс, в том числе и при строительстве нового ЦОД. Компания TE Connectivity предлагает сразу две системы мониторинга кабельных соединений — AMPTRAC и Quareo, в которых используются разные принципы идентификации соединений. Если в AMPTRAC для детектирования соединений применяется традиционная технология девятого проводника, то в Quareo — технология Connection Point Identification. В последнем случае в вилку каждого коннектора встраивается микрочип, а в гнезде коммутационной панели располагаются дополнительные ламели, которые при подключении этой вилки считывают информацию и регистрируют ее в ПО.

На чипы заводским способом заносится следующая информация о коммутационном шнуре: категория, длина, цвет, полярность и т. д. Аналогичные сведения содержатся и в коммутационной панели. В системе не предусматривается использование центральных сканеров — каждая панель и каждый кросс имеют свой IP-адрес, так что к ним можно обратиться из Web-браузера, даже не используя специальное ПО. И в вилке, и в гнезде коммутационной панели имеется счетчик подключений, который по совершении заданного количества подключений подаст сигнал о необходимости проведения регламентных работ.

Как вспоминает Алексей Пахомов, инженер технической поддержки СКС из компании TE Connectivity / Broadband Networks Solutions, еще несколько лет назад одна известная российская компания стала использовать систему штрихкодов на всех этапах ввода в эксплуатацию типовых ЦОД — от закупки и установки оборудования до его настройки. Данный подход позволил минимизировать временные и трудовые затраты. Опираясь на схожие принципы, TE Connectivity разработала собственное ПО Infrastructure Configuration Manager (ICM), которое для всех элементов базы данных (не только пассивного и активного оборудования, но также комнат, кабинетов, этажей, зданий, лотков и т. д.) может генерировать QR-код.

Код может быть распечатан и наклеен на оборудование. Затем QR-коды считываются встроенной камерой мобильного устройства при помощи приложения ICM Mobile и распознаются, а информация с сервера ICM по данному объекту или оборудованию, полученная по каналам Wi-Fi, выводится на экран. Таким образом, все операции по администрированию можно отслеживать, изменения в конфигурации соединений — документировать, а нужная информация, например о текущем статусе любого конечного устройства, оперативно выводится на экран устройства.

ICM может применяться и как отдельное программное решение, и совместно с системами мониторинга кабельных соединений, которые компания TE Connectivity предлагает (в этом случае повышается степень автоматизации операций коммутации и гарантируется актуальность информации в базе данных). При помощи API оно может быть интегрировано в вышестоящие системы управления сетью (NMS) и инфраструктурой ЦОД (DCIM) (см. Рисунок 2).

Рисунок 2. При помощи API программный инструментарий ICM для управления соединениями может быть интегрирован в вышестоящие системы управления сетью (NMS) и инфраструктурой ЦОД (DCIM).

НА ПУТИ К ПОЛНОМАСШТАБНОЙ DCIM

Израильская компания RiT Technologies первой предложила систему интерактивного управления СКС еще в 2002 году. С тех пор она постоянно ее совершенствовала, и в результате появилась принципиально новая система PV+. Разработчикам удалось преодолеть традиционный недостаток СИУ для СКС, из-за которого они оказывались чрезмерно дорогими в реализации: как утверждает Дарюш Заенц, глава представительства RiT Technologies в России и СНГ, впервые подобная система позволяет обойтись без кросс-коннекта.

Из-за необходимости применения кросс-коннекта приходилось заботиться о выделении для него места в шкафу и приобретении дополнительных распределительных панелей, что, в свою очередь, вело к дополнительным прямым и косвенным расходам. RiT разработала специальную вставку с микрочипом и диодом для установки в порты активного оборудования. С помощью вставки идентифицируются порты активного оборудования и, если требуется выполнение операций подключения/кроссирования, осуществляется их индивидуальная подсветка. Интерконнект можно использовать как для оптики, так и меди.

На основе решения программной оболочки PV+ был разработан продукт CenterMind, который со временем компания намерена развить в полноценную систему DCIM. Пока же, помимо администрирования кабельной подсистемы, CenterMind позволяет контролировать еще две аппаратные подсистемы: P+ для мониторинга питания посредством интеллектуальных панелей питания (Power Distribution Unit, PDU) и G+ для контроля окружающей среды — температуры, влажности, протечек и т. д. (см. Рисунок 3).

Рисунок 3. Помимо четырех встроенных датчиков температуры, влажности, питания и индекса комфортности, CenterMind G+ 32  позволяет подключить еще 28 других, в том числе 8 аналоговых и 16 пороговых.

Помимо контроля пассивных соединений, CenterMind «умеет» автоматически обнаруживать оборудование, в том числе детектировать подключение авторизованных/неавторизованных устройств. Например, можно задать, что к конкретной розетке разрешено подключать только устройства с определенными адресами и именами. (По сути, в этой части она дублирует возможности системы управления активным сетевым оборудованием.) Модуль автоматического обнаружения Automated Discovery позволяет составить точную визуальную карту центра обработки данных со всеми стойками, шкафами, коммутаторами, серверами и другими устройствами. На карте отображается информация о физическом расположении устройств, соединениях между ними, об IP- и MAC-адресах, типе и имени хоста.

Инструментарий для планирования емкости, выделения ресурсов и управления жизненным циклом активов помогает оптимальным образом разместить новое устанавливаемое оборудование с учетом таких переменных, как место, питание, охлаждение, доступные порты и т. п. Например, при размещении сервера достаточно выбрать соответствующую модель из обширного списка поддерживаемого оборудования (если нужной модели в списке нет, то ее можно туда внести самостоятельно). Система сама учтет вес устройства, габариты, количество необходимых информационных розеток, уровень энергопотребления и предложит оптимальное место для его размещения.

Из-за отсутствия некоторых компонентов CenterMind пока нельзя назвать полноценной DCIM — в частности, она не позволяет контролировать систему кондиционирования. Однако с помощью имеющегося комплекта SDK ее можно объединить с другими системами уровня систем управления зданием (Building Management System, BMS). Как заявил Дарюш Заенц, уже через год компания надеется представить полнофункциональную систему DCIM, доработка которой осуществляется совместно с крупным южноамериканским партнером, заинтересованным в таком решении.

ПОЛНЫЙ УЧЕТ И КОНТРОЛЬ

Попытки внедрения платформы DCIM порой заканчиваются неудачей из-за невозможности выявлять и учитывать все активы, конфигурации и данные о статусе серверов, систем хранения, сетевого оборудования, инженерных и других вспомогательных систем, особенно в случае унаследованных архитектур. Процесс сбора данных вручную чрезмерно затратен, отнимает много времени и чреват ошибками. Однако без реальной картины текущего состояния ЦОД невозможно построить полноценную модель центра обработки данных, а значит, решения по оптимизации процессов эксплуатации и модернизации ЦОД могут оказаться необоснованными и ошибочными.

Различные подсистемы ЦОД, например вычислительная и телекоммуникационная, тесно взаимосвязаны, и многие заказчики хотели бы документировать их в одной среде. Необходимые средства им предоставляет программный пакет FNT Command немецкой компании FNT Software. Как отмечает Евгений Кривоносов, вице-президент FNT Software по региону Россия и СНГ, компания изначально создавала семиуровневую (совпадение с числом уровней OSI случайно) модель данных, охватывающую и ИТ-инфраструктуру (ИТ-модули), и телеком-составляющие, и инженерные системы. При документировании ЦОД можно вносить все необходимые данные и атрибуты самого здания и инженерной инфраструктуры, учитывать имеющиеся физически активы (где стоят стойки и находится то или иное «тяжелое» оборудование), указывать логические соединения поверх существующих физических и т. п. Если в вычислительной среде или среде передачи данных есть виртуализированные системы, их характеристики тоже можно документировать с привязкой к физическим активам, и т. д. — вплоть до уровня приложений и бизнес-сервисов (см. Рисунок 4).

Рисунок 4. В FNT Command используется семиуровневая модель данных для сбора информации о всех составляющих ЦОД — от уровня здания до бизнес-сервисов.

Если информация уже представлена в электронном виде, ее можно импортировать в систему. При наличии возможности подключаться к оборудованию по SNMP или другим протоколам система автоматически собирает необходимую информацию (возможна интеграция с имеющимися средствами мониторинга). С системой поставляется библиотека оборудования на 60 тыс. единиц — телекоммуникационные устройства, серверы, кабели и многое другое. При отсутствии оборудования в базе данных оно будет добавлено в рамках технической поддержки. Мобильный клиент позволяет сканировать штрихкоды и работать с RFID-метками.

Система содержит мощный модуль планирования. При подготовке изменений всегда можно получить информацию о текущем статусе системы, посмотреть на план этажа или стойки и сформировать наряд на работу, который будет детализирован и с нужной гранулярностью выдан исполнителям. Очень часто эта функциональность используется как база для расчетов за работы, произведенные внешними организациями, или контроля их качества и сроков выполнения. Кроме того, система позволяет спрогнозировать, к чему могут привести запланированные изменения.

Зачастую внедрению подобных систем препятствует их дороговизна. FNT Software предлагает привлекательную модель лицензирования: независимо от масштаба ЦОД лицензирование осуществляется по количеству пользователей, имеющих право на просмотр и внесение изменений (последние дороже), — ни стойки, ни оборудование не учитываются. Как утверждает Евгений Кривоносов, систему FNT Command целесообразно внедрять при наличии 100 и более стоек.

В любом случае посчитать ROI от внедрения такой системы непросто. На предприятии Volkswagen Group, где решение FNT используется уже 10 лет, ИТ-отдел обосновал его необходимость следующим образом. Руководство требовало обеспечить снижение операционных издержек на 5% в год, а этого можно было добиться только путем автоматизации типовых действий сотрудников, так как увольнять их или заставлять работать внеурочно законодательство не позволяет. Поскольку нельзя улучшить операционную деятельность, не задокументировав изначальное состояние всей ИТ и телекоммуникационной инфраструктуры (с чем-то надо сравнивать), вывод о внедрении FNT напрашивался сам собой. В результате поставленная перед ИТ-специалистами бизнес-задача успешно выполняется.

ОБОСНОВАНИЕ ИНВЕСТИЦИЙ В DCIM

До сих пор многие компании не до конца понимают, какие выгоды они получат от внедрения DCIM. Согласно опросу, проведенному среди 825 руководителей американских компаний, отвечающих за принятие решений в сфере ИТ, 90% из них хотели бы иметь возможность явного расчета и анализа возврата вложений для обоснования своих инвестиций. Чтобы помочь им подготовить такое формальное обоснование, Emerson Network Power (при участии Forrester Research) разработала калькулятор ROI.

Методология, которую использует Forrester Research, называется Total Economy Impact (TEI). Она позволяет наряду с затратами и выгодами учитывать стратегические преимущества и потенциальные риски. При ее применении предполагается более широкий взгляд на то, как внедрение решения повлияет на бизнес: что изменится для пользователя, насколько повысится его эффективность, удобно ли ему будет решать стоящие перед ним задачи (в частности, сократится ли время установки сервера), ускорится ли вывод продуктов на рынок и т. д. Специфика модели состоит в учете потенциальных рисков и неизбежной неопределенности: в рамках проводимого исследования определяется, какова вероятность того, что рассчитанная отдача окажется недостигнутой, ожидаемые преимущества не будут получены или для реализации проекта понадобится больше средств, чем предусмотрено в утвержденном бюджете. Таким образом, анализ рисков завершает анализ TEI (см. Рисунок 5).

Рисунок 5. Методология общей оценки экономического эффекта Total Economy Impact (TEI) наряду с затратами и выгодами учитывает стратегические преимущества и потенциальные риски.

Как осуществляется анализ? В первую очередь проводится всесторонняя оценка (due diligence), то есть вместе с заказчиком специалисты Emerson выявляют проблемные места, потребности ЦОД и т. д. После этого опрашиваются различные группы сотрудников, на работу которых может повлиять внедрение нового решения. Множество людей передают в ЦОД информацию и извлекают ее. Это могут быть специалисты по эксплуатации, занимающиеся организацией ЦОД, корпоративные сотрудники, для которых ЦОД предоставляет критические бизнес-сервисы, менеджеры С-уровня, пытающиеся извлечь статистику о тенденциях и т. д.

У каждой группы возникают свои вопросы относительно функционирования ЦОД: у одних стратегические, у других операционные. В зависимости от выполняемой роли им нужно понять, какую емкость потребуется добавить в будущем, насколько эффективно работает ЦОД, нужно ли вносить изменения, как надо реагировать на те или иные события и т. д. Интервью с ними проводятся с точки зрения бизнес-выгод. На основании собранных и обобщенных данных составляется финансовая модель. При этом в качестве базы для сравнения используется эталонный пример (benchmark), который был составлен по результатам проекта для крупного банка с несколькими ЦОД.

«Мы делаем анализ TEI, потому что рынок DCIM требует такого обоснования, — объясняет Ричард Канзе, региональный директор по продажам решений для ЦОД направления «Продукты и услуги Avocent» в компании Emerson Network Power. — Мы знаем, как трудно менеджерам ЦОД показать ценность DCIM для бизнеса. DCIM-калькулятор Emerson поможет им представить возможные выгоды. Поскольку мы собираем данные, которые предоставляют нам заказчики, доверие к полученным результатам очень высоко. Мы не оперируем виртуальными цифрами, чтобы понять, каковы будут преимущества».

DCIM НА ПРАКТИКЕ

В первую очередь преимущества от внедрения DCIM способны получить крупные центры обработки данных с сотнями стоек. Однако, как показывает пример московского Microsoft Technology Center (MTC), где используется DCIM-система Schneider DC Expert, эта система может оказаться полезна и в больших серверных.

Демонстрационная площадка, которую в Microsoft называют Server Display Room, недавно была перебазирована в новое помещение в соседнее здание рядом с офисом компании возле станции метро «Белорусская». Поскольку она расположена в центре Москвы, да к тому же в офисном здании, эксплуатация ЦОД связана с жесткими ограничениями по электроснабжению, а любые инженерные операции сопряжены с большими сложностями. Поэтому инфраструктура проектировалась очень тщательно.

В центре представлено различное партнерское оборудование, которое часто обновляется. При этом необходимо обеспечивать равномерную загрузку стоек (дорогостоящая электроэнергия должна расходоваться эффективно), а также документировать подключение устройств, поскольку схемы коммутации постоянно меняются. За инфраструктуру отвечает всего один человек, поэтому система мониторинга инфраструктуры автоматизирована и тщательно продумана.

Наличие системы мониторинга позволяет быстро идентифицировать события и оперативно принимать меры по устранению неисправности, которые выполняются по большей части в автоматическом режиме (за исключением серьезных аварий, таких как протечки воды, о чем оперативно уведомляются инженерные службы здания). Например, выход из строя циркуляционного насоса может быть компенсирован включением резервного, а поломка чиллера либо недостаточный уровень холода — включением еще одного чиллера.

Рисунок 6.  Панель мониторинга StructureWare Data Center Expert предоставляет оперативную информацию о состоянии инженерной инфраструктуры.

Для оперативной оценки состояния инфраструктуры используются панели мониторинга: соответствующая графика выводится на мониторы, установленные при входе в ЦОД, и заказчики могут видеть реальные данные. Например, на основании информации об увеличении влажности можно сделать вывод о слишком активной работе увлажнителя и необходимости корректировки его настроек. На Рисунке 6, например, видно, что система сообщает об отказе одной из батарей.

Для мониторинга приложений используются две системы — StructureWare Data Center Expert и System Center Operations Manager, которые интегрируются посредством Management Pack. Как объясняет Максим Хлупнов, специалист компании Microsoft, межрядные кондиционеры InRow и ИБП Symmetra составляют основу ЦОД, поэтому использование Expert для мониторинга инженерной инфраструктуры представляется логичным. Expert выводит отчеты на панели мониторинга и направляет уведомления. При отсутствии реакции на них (например, температура продолжает расти) серверы начинают автоматически отключаться, начиная с менее важных, — вплоть до прекращения работы всего ЦОД во избежание более тяжелых последствий. За принятие таких мер отвечает System Center Operations Manager, он же осуществляет мониторинг приложений.

В дальнейшем планируется повысить эффективность использования электроэнергии за счет перераспределения виртуальных машин между шкафами путем интеграции StructureWare Data Center Expert с Microsoft System Center Virtual Machine Manager.

НА ПУТИ ПРОГРЕССА

В последние несколько лет системы DCIM совершенствовались быстрыми темпами, на рынке представлены решения различного масштаба и назначения. Они призваны предоставить администраторам полную информацию о функционировании центра обработки данных и облегчить планирование его дальнейшего развития. DCIM упрощает управление ЦОД и помогает оптимизировать его инфраструктуру с целью повышения эффективности использования энергии, оборудования и доступных площадей. Однако на этом пути необходимо устранить еще целый ряд препятствий.

Дмитрий Ганьжа — главный редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: diga@lanmag.ru.