Область использования СКС для ЦОД предопределяет значительное снижение требований к универсальности. Фактически это кабельная система для локальной сети, при построении которой к тому же широко используются элементная база, технологии и принципы классической структурированной системы.

Для кабельной системы такого типа удобство коммутации проводки не является обязательным, поскольку она не предназначена для обслуживания пользователей, часто меняющих свои рабочие места. Вместе с тем, центры обработки данных имеют очень жесткие ограничения по занимаемой площади. Перечисленные особенности оказывают прямое влияние на применяемые в СКС технические решения. С сокращением размеров ЦОД все более компактными становятся и компоненты проводки.

Нынешние панели занимают в шкафу минимум места. Именно в ЦОД стали широко применяться панели, плотность которых близка к теоретической — 48 портов на 1U высоты. Другим способом увеличения плотности портов является отказ от классического горизонтального организатора. Это порождает ряд интересных решений в виде угловых панелей, когда кабель сразу уводится в вертикальный организатор, благодаря чему монтажное пространство не расходуется на установку вспомогательных компонентов.

Довольно часто в ЦОД используются претерминированные решения с применением, например, ленточных оптических кабелей и групповых разъемов с форм-фактором симплексного соединителя SC, что позволяет коммутировать до 72 волокон одновременно. При таком подходе большинство технологических операций по формированию проводки выполняются на заводе, монтажникам остается лишь установить панели, протянуть кабели и подключить готовое изделие к разъемам.

ОСНОВНЫЕ ПОЛОЖЕНИЯ СТАНДАРТА TIA-942

Исторически, центры обработки и хранения данных создавались без учета возможных последствий частого увеличения мощностей и результирующих перемещений, добавлений и изменений, осуществляемых в течение всего жизненного цикла ЦОД.

Новый стандарт ANSI/TIA-942-2005 «Telecommunications Infrastructure Standard for Data Centers», по-видимому, внесет в проектирование инфраструктуры ЦОД вклад, который по своему значению сравним с серией стандартов TIA/EIA-568 для проектирования СКС. С его принятием у проектировщика появилась возможность включать СКС в инженерную инфраструктуру ЦОД на ранних стадиях проектирования.

Стандарт TIA-942 определяет семь «помещений», или «пунктов», внутри инфраструктуры ЦОД:

  • компьютерное помещение (Computer Room, CR);
  • телекоммуникационное помещение, или отсек связи (Telecommunications Room, TR);
  • помещения для ввода кабелей (Entrance Room, ER);
  • главный распределительный пункт (Main Distribution Area, MDA);
  • пункт распределения горизонтальной подсистемы (Horizontal Distribution Area, HDA);
  • распределительный пункт зоны (Zone Distribution Area, ZDA);
  • область размещения компьютерного оборудования (Equipment Distribution Area, EDA).

Кроме того, стандарт TIA-942 определяет горизонтальную и магистральную кабельные подсистемы.

Помещения и распределительные пункты. На Рисунке 1 показаны взаимосвязи между помещениями и кабельными подсистемами инфраструктуры типичного ЦОД. Первые пять помещений/пунктов обычно содержат много соединений, поэтому в них целесообразно устанавливать коммутационные панели высокой плотности.

Рисунок 1. Базовая топология ЦОД по стандарту TIA-942.

Для лучшего понимания стандарта TIA-942 полезно провести аналогии между кабельными подсистемами обычного здания и ЦОД. Помещение для ввода кабелей служит своего рода интерфейсом, обеспечивающим взаимодействие между внешними сетями и поставщиками услуг связи, аналогично оборудованному вводу кабелей в здание в стандарте TIA/EIA-568-A.

Главный распределительный пункт соответствует помещению аппаратной в кабельной системе здания, а распределительный пункт горизонтальной проводки, где размещается горизонтальный кросс, — телекоммуникационному помещению в стандарте СКС здания. Телекоммуникационное помещение, или отсек связи, в стандарте TIA-942 имеет совсем другой смысл — это и офис, и центр управления. Распределительный пункт зоны является опциональным, в нем располагаются зональные розетки. Данный пункт аналогичен точке консолидации в кабельной системе здания. И, наконец, в области размещения компьютерного оборудования расположены монтажные шкафы и серверы, так что ее можно сравнить с рабочими местами в обычной СКС.

Горизонтальная подсистема. Горизонтальная проводка, будучи частью телекоммуникационной кабельной системы ЦОД, ограничена местом разделки кабеля в пункте размещения оборудования и горизонтальным коммутационным подключением в распределительном пункте горизонтальной подсистемы или главным коммутационном подключением в главном распределительном пункте. В состав горизонтальной проводки входят горизонтальные кабели, установленные разъемы, коммутационные кабели или перемычки. Кроме того, она может содержать зональные порты и точки консолидации в зональных распределительных пунктах.

Горизонтальная проводка прокладывается по топологии «звезда», как показано на Рисунке 2. Каждое соединение в распределительном пункте оборудования должно быть подключено к горизонтальному коммутационному подключению в распределительном пункте горизонтальной подсистемы или — через горизонтальный кабель — к главному коммутационному подключению в главном распределительном пункте.

Рисунок 2. Типовая горизонтальная проводка топологии «звезда».

Горизонтальная проводка не должна содержать больше одной точки консолидации в зональном распределительном пункте между коммутационным подключением в распределительном пункте горизонтальной проводки и местом разделки кабеля в пункте размещения
оборудования.

Магистральная подсистема. Магистральная проводка соединяет главный распределительный пункт, распределительный пункт горизонтальной подсистемы и узлы ввода. Магистральная проводка состоит из магистральных кабелей, главных коммутационных подключений, горизонтальных коммутационных подключений, разъемов, коммутационных кабелей или перемычек, используемых для коммутационных подключений между магистральными линиями.

Как показано на Рисунке 3, магистральная проводка должна иметь топологию «звезда», когда каждое горизонтальное коммутационное подключение в распределительном пункте горизонтальной проводки проложено напрямую к главному кроссу в главном распределительном пункте. В магистральной проводке не допускается более одного иерархического уровня коммутационного подключения.

Рисунок 3. Типовая магистральная проводка топологии «звезда».

Наличие горизонтального коммутационного подключения не обязательно. Когда горизонтальная коммутация не используется, кабельная линия, идущая от главного кросса к месту разделки этого кабеля в пункте размещения оборудования, считается горизонтальной проводкой. Если горизонтальные кабели проходят напрямую через распределительный пункт горизонтальной проводки, необходимо иметь достаточный запас в распределительном пункте для перемещения кабелей в случае перехода на схему с коммутационным подключением.

Коммутационные подключения магистральных кабелей могут располагаться в телекоммуникационных помещениях, помещениях оборудования, главных распределительных пунктах, распределительных пунктах горизонтальной проводки или помещениях ввода кабелей.

ОПТИЧЕСКИЕ РЕШЕНИЯ

Стандарт TIA-942 предусматривает применение централизованной волоконно-оптической кабельной системы. Аналогичная архитектура поддерживается последними редакциями стандартов 568-B и ISO 11801. Это дает возможность использовать сплайсовые соединения или коммутационное подключение вместо оптического коммутационного соединения в распределительном пункте горизонтальной проводки (HDA).

Централизованная волоконно-оптическая кабельная система. При централизованной кабельной системе размещать активное сетевое оборудование в HDA не требуется, так как все сетевое оборудование устанавливается в MDA. Такая архитектура имеет целый ряд преимуществ, в том числе меньшие размеры в HDA и сокращение числа неиспользуемых портов, поскольку все порты собраны в одном месте. При отсутствии активного сетевого оборудования в HDA администрирование становится централизованным и более простым. Необходимые перемещения, добавления и изменения конфигураций также упрощаются.

Выбор оптического волокна. Наиболее эффективная оптическая кабельная инфраструктура — та, в которой все компоненты заранее терминированы, т.е. все вилки оптических разъемов установлены, все компоненты протестированы на заводе и специальным образом упакованы, чтобы их не повредить во время инсталляции. Монтажник распаковывает компоненты, протягивает кабели, подключает соединители, устанавливает коммутационные и оконечные шнуры — и система готова! Это наилучшее решение для быстрого и надежного подключения серверов и другого сетевого оборудования.

При строительстве центров обработки данных предпочтение по-прежнему отдается многомодовому оптическому волокну, что связано с преимуществами соответствующей электроники. Выбор типа волокна 50 мкм зависит от размера ЦОД и приложений, которые уже используются или будут развернуты позже. Если проект предусматривает передачу данных со скоростью 10 Гбит/с, то следует остановиться на волокне 50 мкм, оптимизированном для работы с лазером. Наиболее часто применяется оптимизированное для работы с лазером многомодовое волокно, обеспечивающее передачу потока 10 Гбит/с на расстояние до 300 м. Оно имеет коэффициент широкополосности минимум 2000 МГцхкм на длине волны 850 нм и позволяет переходить с систем 10 Мбит/с на системы, работающие со скоростями вплоть до 10 Гбит/с, без необходимости замены оптической кабельной инфраструктуры.

Если нужна большая дальность связи, то прокладывается многомодовый оптический кабель с коэффициентом широкополосности
4700 МГцxкм, который поддерживает систему 10 Гбит/с на расстоянии до 550 м. Этот кабель обратно совместим и с приложениями 10 Мбит/с.

В связи с высокой стоимостью электроники для одномодового оптического волокна оно используется только для специальных соединений — например, для доступа в сеть оператора связи (Optical Carrier, OC) или подключения магистральных маршрутизаторов.

Выбор оптического кабеля. Удобный вариант — претерминированные кабели, оконцованные оптическими разъемами. Часто оптические кабели (транки) терминируются соединителями MTP/MPO, к которым одновременно можно подключать 12 волокон по принципу push-pull (линейная установка в розетку). Такие разъемы подходят для работы в сетях Ethernet и Fibre Channel.

Выбор типа кабеля для оптической магистрали зависит от оборудования ЦОД и необходимого числа волокон. При числе волокон от
12 до 24 в кабеле обычно используются волокна с первичным защитным покрытием (250 мкм) или вторичным буферным покрытием
(900 мкм). При большом числе волокон лучше применять ленточные кабели (ribbon cables), так как они характеризуются высокой плотностью размещения волокон и, как следствие, меньшим диаметром. Этот кабель настолько компактен, что 96-волоконный ленточный кабель (48 информационных каналов) имеет диаметр всего 0,54 дюйма, или 1,35 см.

Одно из преимуществ оптических кабелей заключается в том, что, в отличие от медных, они не подвержены проблеме переходных помех. Оптический кабель вследствие его меньшего диаметра позволяет более эффективно использовать пространство кабельных каналов и (при инсталляции под фальшполами) не создает препятствия на пути прохождения потоков охлаждающего воздуха систем кондиционирования. Для кабельных трасс, проложенных наверху, проблема, связанная с подачей охлаждающего воздуха, отсутствует, но оптимизация заполнения кабельных каналов остается важной задачей.

Независимо от числа волокон для ЦОД лучше всего подходят распределительные кабели (distribution cable). Понятие «распределительный кабель» определено стандартом ICEA S-83-596 и связано с классом механической прочности (ruggedness). Указанный в стандарте запас прочности значительно выше того, который имеют соединительные кабели (interconnect cable), используемые некоторыми производителями. Термин «соединительный кабель» относится к коммутационному шнуру и не предусматривает выполнение требований, которым должны удовлетворять кабели, укладываемые по специальным лестницам между монтажными стойками/шкафами или под фальшполом.

Для дополнительной защиты кабельной инфраструктуры прокладывается специальный бронированный кабель — стальная ленточная броня, намотанная по спирали, значительно увеличивает показатели прочности. Данный тип кабеля рекомендуется применять, когда к пространству (например, под фальшполом), где проложены кабели, имеют доступ множество работников — электрики, специалисты по системам кондиционирования и др. Тогда в случае непредвиденных ситуаций оптическому кабелю будет нанесен меньший ущерб.

Кабель должен удовлетворять требованиям противопожарной безопасности. С тех пор как для подачи холодного воздуха стали активно задействовать пространства под фальшполами, в тех же полостях рекомендуется прокладывать только пленумные кабели.

Волоконно-оптический кабель с установленными разъемами поставляется с завода со специальными защитными наконечниками, предохраняющими их от повреждений во время транспортировки и инсталляции. Подготовленные для установки по принципу Plug-and-Play модули имеют один или два адаптера MTP на задней панели и симплексные или дуплексные разъемы (LC, SC, MT-RJ или ST) спереди. «Начинка» такого модуля обеспечивает разводку оптического волокна с групповых разъемов MTP на другие разъемы — например, на LC. Именно LC является наиболее распространенным типом оптических разъемов в инфраструктуре ЦОД, поскольку он используется в большинстве новых моделей электронных устройств.

РЕШЕНИЯ НА ВИТОЙ ПАРЕ

В ходе опроса 300 руководителей информационных центров, проведенного подразделением Data Centre Decisions, 81% респондентов ответили, что для инфраструктуры нового ЦОД они выбрали бы кабельные системы, способные поддерживать приложения 10 Гбит/с и выше. Кроме того, как оказалось, экранированные кабельные системы S/FTP начали теснить привычные неэкранированные системы UTP. Около 50% респондентов предпочли экранированные медные системы Категории 7/Класса F, тогда на системы UTP расширенной Категории 6 (6А) — лишь 31% опрошенных.

Рост популярности более производительных экранированных решений вызван тем, что большинство заказчиков осознают: их кабельные системы должны быть готовы к будущим запросам. 93% руководителей предполагают, что их ЦОД просуществует более 10 лет, причем 46% рассчитывают даже на 20 лет работы.

Руководителей интересуют и проблемы монтажа. Исторически сложилось, что легкие и быстрые решения UTP пользовались предпочтением на многих рынках, однако современные методы монтажа экранированных систем S/FTP позволяют экономить время при заделке компонентов, упрощают монтаж и делают его практически аналогичным установке неэкранированных кабельных систем UTP Категории 6А. Подобные разработки приобретают все большую популярность еще и за счет роста помехоустойчивости и снижения излучения в окружающую среду.

Хотя доля экранированных медных кабельных систем (F/UTP — с общим экраном, S/FTP — с индивидуальным экранированием пар) увеличивается, решения по дополненной Категории 6 (6А) UTP все еще составляют значительный процент планируемых проектов ИЦ. Клиенты хотели бы иметь возможность выбирать из нескольких кабельных систем, но для этого надо понимать преимущества каждой. Кроме пропускной способности канала передачи данных следует учитывать и другие факторы: безопасность инфраструктуры, пространство для прокладки кабеля в трассах, средства управления кабельными потоками, исходную стоимость системы, расходы на ее поддержку в течение жизненного цикла, помехоустойчивость и предпочтения глобального рынка.

Сравнение типов кабелей. Перекрестные помехи (внешние перекрестные наводки) при передаче 10 Гбит/с вызывают серьезную обеспокоенность. Зачистив часть оболочки на кабеле c витыми парами, можно увидеть, что каждая пара имеет свой шаг скрутки: это позволяет уменьшить наводки с одной пары на другую под одной и той же оболочкой. Но если рядом расположены несколько кабелей, то пары одинакового цвета (например, сине/белые) имеют одинаковый шаг повива. На высоких частотах между такими парами будут сильны внешние перекрестные наводки. Это явление не удается точно смоделировать, а значит, его нельзя нейтрализовать с помощью специальной обработки сигналов активным оборудованием. Как результат, уменьшить его влияние удается только за счет изменения конструкции кабеля и методов монтажа.

Для обычной Категории 6 длина кабеля, по которому предполагается реализовать приложения 10 Гбит/с, обычно не превышает 55 м (при этом должны соблюдаться правила монтажа, позволяющие уменьшить перекрестные наводки). Для расширенной Категории 6 (неэкранированной UTP или экранированной F/UTP), а также для Категории 7/Класса F (кабели с индивидуальным экранированием пар S/FTP) длина канала составляет 100 м. Внешний диаметр кабеля Категории 6А (UTP) —9,0 мм, а в случае кабеля обычной Категории 6 — всего 6,35 мм. Между этими двумя типами кабеля располагаются системы Категории 7/Класса F и экранированные системы F/UTP Категории 6А, у которых внешний диаметр кабеля равен 8,38 и 6,73 мм, соответственно. Хотя такая разница и не выглядит очень существенной, она сказывается при расчете емкости трасс и пространств в больших системах.

Чтобы гарантировать передачу 10 Гбит/с в системах обычной Категории 6 на расстояниях до 55 м и уменьшить внешние перекрестные наводки, применяются разные методы (они описаны в бюллетене TIA TSB-155): переход на экранированные коммутационные шнуры, отказ от увязки кабелей в пучки на первых 15 м и последних 15 м кабельного канала, пространственное разделение портов, используемых для 10 Гбит/с (например, 10 Гбит/с разрешается передавать только по нечетным портам, в то время как четные задействуются для менее скоростных приложений) и др. Для достижения таких же характеристик передачи, как у систем с более высокой производительностью, потребуются дополнительные затраты — как трудовые, так и материальные. Там, где уже проложены каналы обычной Категории 6, любой канал протяженностью свыше 55 м придется заменить, если не удается свести к минимуму внешние перекрестные наводки. А это неизбежно повлечет за собой увеличение совокупной стоимости владения системой.

В обоих стандартах — и TIA, и ISO — методы уменьшения внешних перекрестных наводок одни и те же: во многих случаях они предполагают замену разъемов, коммутационных панелей и кроссов, в результате чего увеличиваются расходы как на оплату труда специалистов, так и на компоненты. Важно отметить, что в Категории 6А используются кабели большего диаметра. Это позволяет увеличить расстояние между парами в соседних кабелях и тем самым уменьшить внешние перекрестные помехи. Экранированные (F/UTP) и полностью экранированные (S/FTP) системы предотвращают внешние перекрестные наводки за счет экрана (экранов). Несмотря на очевидные преимущества Категории 7/Класса F (более высокие рабочие характеристики и низкая совокупная стоимость владения, отсутствие дополнительных затрат на уменьшение перекрестных наводок и длительный срок службы благодаря поддержке приложений свыше 10 Гбит/с), некоторые компании либо сохраняют у себя уже существующие системы обычной Категории 6, либо по привычке отдают предпочтение неэкранированным системам. Чтобы эффективно оценить различные системы, необходимо рассчитать совокупную стоимость владения ими и оценить не только величину дополнительных затрат на рабочую силу, но и стоимость мероприятий по подготовке места для прокладки трасс.

Андрей Семенов — директор центра развития «АйТи-СКС» компании «АйТи». С ним можно связаться по адресу: ASemenov@it.ru .

Примеры решений различных производителей

Решения компании Siemon для 10GbaseT. Неэкранированная система 10G 6A UTP, экранированная система 10G 6A F/UTP и система TERA Категории 7/Класса F с индивидуальным экранированием пар компании Siemon соответствуют или превышают требования к параметрам сегментов протяженностью 100 м с четырьмя соединениями в канале, как это необходимо для поддержки приложений 10GBaseT. Эти нормы, в которых предусмотрены жесткие требования к параметрам внешних перекрестных наводок, недавно утвердил стандарт IEEE 802.3an.

Наряду с опытом поддержки приложений 10GBaseT компания Siemon предлагает целое семейство решений, совместимых с этими приложениями. Три готовых кабельных системы 10 Гбит/с отличаются типом конструкций кабеля (все они допускаются стандартом IEEE 802.3an): Категория 6A UTP (неэкранированная), Категория 6A F/UTP (общее экранирование) и Категория 7 S/FTP (индивидуальное экранирование пар). Решение разработать три различные системы было обусловлено рыночной ситуацией и стало возможно благодаря технологическим изысканиям. Исследования, тестирование и моделирование, выполненные в лабораториях Siemon, показали, что ни одно решение не может одновременно удовлетворить требования стандарта и все многообразие запросов потребителей. Опираясь на эти исследования, компания Siemon разработала семейство решений 10G 6A UTP, 10G 6A F/UTP и TERA, чтобы предоставить заказчикам свободу выбора кабельной инфраструктуры и обеспечить поддержку конкретных потребностей. Кроме семейства медных кабельных решений 10 Гбит/с, Siemon выпускает различные варианты многомодовых и одномодовых волоконно-оптических кабельных систем 10 Гбит/с.

СКС для 10GBaseT с возможностью мониторинга. Кабельная система RiT SMARTen Cabling System — это первое законченное и полнофункциональное управляемое решение для сетей 10 Gigabit Ethernet. Созданная для поддержки высокоскоростных приложений, SMARTen соединяет в себе все преимущества технологий компании RiT Technologies и перспективного высокоскоростного стандарта 10 GbE.

RiT SMARTen Cabling System обеспечивает ширину полосы пропускания 500 МГц и пропускную способность 10000 Мбит/с, что достаточно для таких современных приложений, как ATM на 622 Мбит/с и Gigabit Ethernet, и полностью отвечает требованиям Категории 6А/Класса ЕА разрабатываемых стандартов ANSI/TIA/EIA-568-B.2-10 и ISO 11801 в редакции 2.1.

Кабельная система RiT SMARTen Cabling System минимизирует внешние наводки в смежных кабелях и рядом расположенных портах (Alien Crosstalk). Эта (ключевая для сетей 10 Гбит/с) проблема полностью решена для экранированных (STP) и неэкранированных (UTP) кабельных систем в полосе пропускания 500 МГц. Система содержит следующие компоненты:

  • телекоммуникационные розетки — широкий диапазон экранированных (STP) и неэкранированных (UTP) розеток с различными вариантами лицевых панелей;
  • неэкранированный кабель (UTP) — специальная конструкция существенно снижает внешние наводки (Alien Crosstalk) за счет обеспечения неравномерного расстояния между близлежащими кабелями;
  • экранированный кабель (STP) с полностью экранированной конструкцией (каждая пара имеет индивидуальный экран из фольги, а все пары оплетены общим экраном), чем полностью устраняются внешние наводки (Alien Crosstalk) между соседними кабелями;
  • коммутационные шнуры — специальная конструкция шнуров и применение особых соединителей, запатентованных компанией RiT Technologies, исключает внешние наводки (Alien Crosstalk) между рядом размещёнными шнурами;
  • коммутационные панели имеют особую схему размещения портов, чем обеспечивается минимальное влияние соседних соединений как в экранированных (STP), так и в неэкранированных (UTP) панелях.

Коммутационные панели RiT SMARTen 24 Patch Panel, включенные в состав программно-аппаратного комплекса PatchView, предоставляют точную информацию обо всех сетевых соединениях для программного комплекса PatchView for the Enterprise. Светодиодные индикаторы, которыми они оснащены, указывают на пары портов, которые нужно соединить при проведении перекоммутаций, чем обеспечивается абсолютная точность соединений.

Благодаря функциям автоматического самодетектирования аппаратного комплекса, светодиодной индикации соединений и возможности удалённого управления, программно-аппаратный комплекс PatchView позволяет централизованно контролировать и управлять в реальном времени как небольшими, так и крупными, территориально распределёнными сетями.