Эволюция ЦОД заставляет внимательнее анализировать различные конфигурации кабельной инфраструктуры ЦОД. С уверенностью можно сказать, что универсальной конфигурации, подходящей для всех ЦОД, не существует. Поэтому ИТ-директорам и специалистам по проектированию центров обработки данных необходимо взвесить все «за» и «против», проанализировав каждое решение с учетом конкретных требований, в том числе финансовых.
Требования к ИТ в центрах обработки данных постоянно растут. Для новых приложений нужны большая пропускная способность, улучшенные кабельные системы и сетевые устройства с высокими характеристиками. Из-за постоянного роста объемов обрабатываемых данных приходится покупать дополнительные серверы и коммутаторы и каким-то образом втискивать их в имеющийся ЦОД, что еще больше повышает плотность оборудования.
В результате первостепенное значение приобретают вопросы электропитания и охлаждения, поскольку соответствующие затраты существенно возрастают. Если принять во внимание все эти изменения, становится ясно, что расходы на современные ЦОД могут легко выйти из-под контроля. Сегодня самой сложной задачей, стоящей перед ИТ-менеджерами, является поддержание экономической жизнеспособности центров обработки данных.
При сравнении конфигурации кабельной системы с коммутатором вверху стойки (Top of Rack, ToR) и СКС приходится принимать во внимание множество аспектов, в том числе влияние кабельных конфигураций на управление в целом, возможности их масштабирования и изменения. Вместе с тем, поскольку управление затратами становится все более важным, не нужно забывать об экономической эффективности. Каковы финансовые последствия выбора конфигурации ToR и отказа от структурированных кабельных систем?
В данной статье рассматривается выбор конфигурации кабельной системы с точки зрения затрат, при этом особое внимание уделяется расходам на построение и обслуживание кабельной системы, эффективному использованию портов, энергопотреблению и охлаждению.
КРАТКИЙ АНАЛИЗ ТОПОЛОГИЙ TOR И СКС
Прежде чем браться за финансовые вопросы, нужно понимать, каковы элементарные отличия топологий ToR и СКС, реализованных в ЦОД.
В структурированной кабельной системе предусматриваются зоны распределения и коммутации, обеспечивающие гибкие, основанные на стандартах соединения между коммутаторами и серверами, коммутаторами и системами хранения данных, а также самими коммутаторами. Коммутационные панели, порты которых зеркалируют порты коммутаторов и серверов, подключаются к соответствующим панелям в одной (или более) центральной распределительной/коммутационной зоне посредством постоянных (фиксированных) линий (Permanent Link). Эти зоны могут находиться в конце или в середине ряда стоек, формируя конфигурацию «любой ко всем», когда любой порт коммутатора можно соединить с любым портом оборудования.
В конфигурации ToR в верхней части каждой стойки или серверного шкафа устанавливаются небольшие (1RU или 2RU) пограничные коммутаторы, подключаемые прямо к установленным в стойке серверам с помощью коротких биаксиальных претерминированных кабельных сборок малого форм-фактора (например, SFP+ и QSFP), активных оптических кабельных сборок или модульных коммутационных шнуров RJ-45. Эти так называемые соединения точка – точка позволяют обойтись без организации центральной зоны коммутации.
Кабельная система, отвечающая стандарту TIA 942, и конфигурация ToR имеют каждая свои преимущества и недостатки. Например, в конфигурации ToR значительно увеличивается количество коммутаторов, но при этом сокращаются начальные потребности в структурированной кабельной инфраструктуре. Такой сценарий имеет свои «за» и «против», но управление перемещениями, добавлениями и изменениями (MAC) в конфигурации ToR может оказаться сложнее и занимать больше времени. При этом изменения ограничиваются отдельными стойками или шкафами, а не осуществляются в одной удобной коммутационной зоне, где просто меняется положение коммутационных шнуров или оптических перемычек.
ЦЕНА ВЫБОРА
.png "Рисунок 1. При выборе конфигурации кабельной системы в ЦОД приходится учитывать многочисленные факторы. Ни одно решение нельзя считать универсальным.") |
| Рисунок 1. При выборе конфигурации кабельной системы в ЦОД приходится учитывать многочисленные факторы. Ни одно решение нельзя считать универсальным. |
При выборе между структурированной кабельной системой и ToR нужно учитывать и финансовые вопросы. Какие именно?
Ценовой фактор 1. Выбор в пользу кабельной системы и его влияние на стоимость оборудования, кабельной системы и обслуживания. В конфигурации ToR, предусматривающей наличие коммутатора в каждой стойке (или двух в случае резервирования — для основной и вспомогательной сетей), общее число портов коммутаторов зависит от числа шкафов в ЦОД, а не от фактического числа портов, необходимых для поддержания работы оборудования. В результате по сравнению со структурированной кабельной системой число коммутаторов и модулей питания почти удваивается. В отличие от пассивной СКС коммутаторам ToR требуется электропитание и текущее обслуживание. Например, в случае ЦОД на 39 стоек с двумя раздельными сетями стоимость оборудования и обслуживания для конфигурации ToR более чем вдвое превышает аналогичные показатели для структурированной кабельной системы.
Использование в СКС распределительных зон влияет и на стоимость кабельной инфраструктуры. Конфигурация ToR позволяет сэкономить на структурированной кабельной системе, но применяемые в ней короткие биаксиальные кабельные сборки форм-фактора SFF обычно дороже медножильных коммутационных шнуров в СКС. Затраты на эти кабельные сборки в ToR могут негативно сказаться на любой экономии, особенно когда вендоры требуют использовать кабельные сборки их собственной разработки. Фактически стоимость кабельных сборок в ToR в расчете на порт более чем вдвое превосходит аналогичные затраты при построении СКС. Даже если не учитывать стоимость кабельных сборок, затраты на структурированную кабельную систему представляют лишь около 5% общей экономии на оборудовании и обслуживании при выборе СКС вместо ToR. Кроме того, на СКС обычно дается гарантия на 15–25 лет (в зависимости от производителя), тогда как гарантия на кабельные сборки, предлагаемые большинством вендоров, не превышает 90 дней.
Конфигурация ToR может привести к увеличению стоимости серверов: те, что оснащены сетевыми картами (NIC) с интерфейсом «витая пара», дешевле, чем устройства с сетевыми интерфейсами SFP+ или QSFP. Во многих серверах медный интерфейс под кабели «витая пара» встроен в системную плату. При развертывании конфигурации ToR с биаксиальными кабельными сборками SFF могут понадобиться сетевые карты с SFP+ или QSFP, которые стоят от 400 до 800 долларов.
Ценовой фактор 2. Максимальная доступность портов и эффективность их использования. Исследования DataCenter Dynamics и Gartner Group показывают, что в настоящее время один серверный шкаф потребляет примерно 5–6 кВт электроэнергии. В него помещается около 14 серверов. Таким образом, потребность в портах коммутаторов обычно оказывается меньше, чем их реально имеется в коммутаторе ToR. Например, если в 32-портовом коммутаторе занято 14 портов, то 18 портов остаются невостребованными. При использовании двух раздельных сетей при резервировании, когда каждый из 14 серверов подключен к двум 32-портовым коммутаторам, будут задействованы 28 из 64 портов, а незанятыми окажутся 36 портов.
В случае СКС можно использовать практически все активные порты, поскольку нет привязки к отдельным шкафам. 32 порта коммутатора, которые в конфигурации ToR располагались бы в одном шкафу, могут быть разделены по требованию между несколькими шкафами посредством распределительной области. Даже при использовании пограничных коммутаторов для передачи трафика восток – запад (то есть между серверами), структурированная кабельная система позволяет разместить такие коммутаторы централизованно в распределительной зоне. Это приводит к уменьшению числа незадействованных портов и сокращению объема трафика север – юг и, соответственно, снижению загрузки коммутаторов уровня агрегирования и ядра сети.
Хотя в высокоплотной серверной среде, где потребляемая мощность составляет свыше 20 кВт при полностью заполненной стойке, неиспользуемых портов будет меньше, их общее число все равно может быть значительным. Например, в высокоплотной серверной ферме, состоящей из 200 шкафов, в каждом из которых находится 40 серверов и один 48-портовый коммутатор, не используется до 1600 портов (то есть 8 портов на шкаф) общей стоимостью около 735 тыс. долларов. Таким образом, при использовании СКС в среде высокой плотности можно добиться значительной экономии.
Возможность эффективно распоряжаться невостребованными портами — ключевой вопрос при выборе конфигурации ToR. Нужно отметить также, что в некоторых ЦОД применяется архитектура коммутационной фабрики. В этом случае число незадействованных портов, количество кабелей и единиц оборудования будет иным, чем при использовании трехуровневой коммутационной инфраструктуры. Однако преимущества структурированной кабельной системы сохраняются.
Ценовой фактор 3. Влияние числа неиспользуемых портов и единиц оборудования на энергопотребление. Уровень энергопотребления — один из главных факторов эффективности ЦОД, ведь цены на электроэнергию продолжают расти, мощности обходятся все дороже и все большее внимание уделяется сохранению окружающей среды. Благодаря тому что в СКС можно задействовать все порты имеющихся коммутаторов и, таким образом, сократить их количество, потребляемая мощность уменьшается наполовину (см. Таблицу 1). Это помогает снизить затраты на оборудование и электроэнергию, способствует успешной реализации таких «зеленых» инициатив, как LEED, BREEAM или STEP. Поскольку при использовании структурированной кабельной системы требуется меньше источников питания, последующие модернизация и переход на более энергоэффективные модули питания становятся более легкими и менее затратными.
.png "Таблица 1. В случае структурированной кабельной системы требуемое число коммутаторов и модулей питания составляет менее половины от необходимого для конфигурации ToR, что обеспечивает снижение энергопотребления.") |
| Таблица 1. В случае структурированной кабельной системы требуемое число коммутаторов и модулей питания составляет менее половины от необходимого для конфигурации ToR, что обеспечивает снижение энергопотребления. |
Если в конфигурации ToR все порты коммутаторов оказываются заняты, то добавление в шкаф нового сервера потребует размещения в нем дополнительного коммутатора и модулей питания. В результате меньше мощности можно будет выделить самим серверам, а доступной емкости может и вовсе не хватить для вновь установленных устройств. Даже учитывая, что благодаря виртуализации сокращается число физических серверов и, соответственно, снижается потребность в электроэнергии (в том числе направляемой на охлаждение оборудования), увеличение количества блоков питания в конфигурации ToR потенциально может свести на нет часть достигнутой экономии. Важно помнить, что даже в состоянии простоя неиспользуемые порты коммутаторов потребляют электроэнергию. Независимо от конфигурации и развернутых технологий, потребляемая мощность зависит от модели и производителя, и фактическое энергопотребление портов нужно анализировать в масштабе всего ЦОД.
Ценовой фактор 4. Размещение оборудования, его влияние на охлаждение в ЦОД и показатели бесперебойной работы. Хотя технически коммутатор ToR может находиться в середине или даже в нижней части стойки, для более простого доступа и управления такие коммутаторы обычно размещают сверху. Между тем, по данным Uptime Institute, уровень отказов оборудования в верхней трети стойки втрое выше, чем в нижней ее части. В конфигурации с СКС вверху обычно размещаются пассивные компоненты (например, коммутационные панели), а самые «холодные» места остаются для оборудования.
Из-за коротких кабелей и запрета на организацию соединений между шкафами посредством коммутационных шнуров конфигурация ToR предоставляет меньше свободы и в размещении оборудования. В результате может оказаться невозможно установить его там, где это будет наиболее оптимально с точки зрения питания и охлаждения. Например, если бюджет не позволяет оснастить шкаф еще одним коммутатором ToR, то выбор места для нового модульного сервера может быть ограничен доступными сетевыми портами — придется установить его там, где такие порты есть. Это может вести к образованию зон перегрева и отрицательно повлиять на рядом расположенное оборудование в той же зоне охлаждения. В случае СКС таких проблем нет.
ЗАКЛЮЧЕНИЕ
Выбор конфигурации кабельной инфраструктуры в ЦОД зависит от множества факторов, и универсального решения нет. Конфигурации ToR подходят для небольших серверных комнат, где весь набор оборудования устанавливается в шкафу или общее число неиспользуемых портов невелико.
При выборе конфигурации кабельной инфраструктуры инженерное и сетевое подразделение должны провести совместное исследование. Кроме вышеизложенных аспектов, в процессе принятия решения должны учитываться такие факторы, как общее управление, масштабируемость, возможность модернизации и совместимость.
Конфигурацию ToR часто рассматривают в качестве замены структурированной кабельной системы, но во многих случаях СКС должна сосуществовать с ToR для поддержки переключателей KVM или других средств управления и мониторинга, использующих общую или отдельную сеть.
Кэрри Хигби — директор по решениям и сервисам для ЦОД, руководитель группы экспертов по сетевым технологиям в компании Siemon.