Современный ЦОД представляет собой целый комплекс многочисленных специализированных систем разнообразного функционального назначения. Их совокупность можно условно разделить на две основные группы. К первой группе относятся СКС, сетевое оборудование, серверы, системы хранения, ПО различного назначения, в том числе для виртуализации, и аналогичные им компоненты. Названные элементы отвечают за хранение, обработку и распределение данных, то есть за выполнение профильных функций объекта. Во вторую группу входят системы инженерного обеспечения, на назначение которых указывает их наименование — это электроснабжение, кондиционирование и т. д.
Одно из главных требований к ЦОД заключается в обеспечении его компактности. Предельно высокая плотность размещения оборудования ведет к более тесному взаимодействию отдельных составных частей и, соответственно, предопределяет их взаимное влияние. Эти процессы происходят не только в пределах одной группы, но нередко наблюдаются между основными и инженерными системами, что составляет радикальное отличие ЦОД от иных ИТ-объектов, выполняющих аналогичные или сходные функции.
В дальнейшем ограничимся рассмотрением только одной из множества возможных сильных связей между отдельными системами ЦОД, относящимися к различным группам. Речь пойдет о системе охлаждения активного сетевого оборудования и СКС. Наряду с различными устройствами электроснабжения система охлаждения представляет собой ключевой компонент инженерного обеспечения функционирования ЦОД. А без СКС невозможно организовать информационный обмен между различными компьютерными устройствами в пределах объекта и обеспечить его взаимодействие с внешним миром.
От нормального взаимодействия СКС и оборудования охлаждения зависит общая энергетическая эффективность функционирования ЦОД, обобщенной мерой которой является коэффициент PUE. Вопрос экономии энергии приобретает еще большее значение в связи с декларируемым переходом к «зеленым» ИТ.
ПОТРЕБНОСТЬ В НОВОЙ РАЗНОВИДНОСТИ КАБЕЛЬНЫХ ИЗДЕЛИЙ
Активное компьютерное и телекоммуникационное оборудование, установленное в аппаратном зале ЦОД, даже при неполной загрузке потребляет большое количество электроэнергии, которая в конечном счете выделяется в виде тепла. Его можно отвести от аппаратуры весьма разнообразными способами. Нередко для этой цели используются жидкостное охлаждение и микрохолодильники Пельтье. Тем не менее в большинстве случаев для утилизации выделяющегося тепла применяется система воздушного охлаждения.
Общая эффективность воздушного охлаждения в немалой степени зависит от сопротивления воздушного тракта. Его величина определяется тем, насколько поток охлажденного воздуха близок к ламинарному на пути от теплообменника прецизионного кондиционера до монтажных шкафов и при отводе его после нагрева обратно на вход холодильного агрегата. Иначе говоря, аэродинамическое сопротивление во многом зависит от турбулентности воздушного потока, которая, в свою очередь, возникает при наличии таких препятствий, как линейные и шнуровые кабели. Последние присутствуют на всех участках воздушного тракта: под фальшполом, в монтажных шкафах и в подпотолочных трассах (в случае применения верхней прокладки).
На функционирование системы воздушного охлаждения расходуется значительное количество электроэнергии. Энергопотребление этого оборудования по своей величине сопоставимо с аналогичным показателем для компьютерных и телекоммуникационных устройств. При типовой выделяемой мощности в несколько киловаттов на монтажный шкаф проблема уменьшения общего энергопотребления ЦОД за счет оптимизации функционирования системы охлаждения стоит достаточно остро.
Стремление минимизировать эксплуатационные расходы по оплате электроэнергии стало очень мощным стимулом к созданию кабелей СКС с малым внешним диаметром. Первоначально были существенно улучшены массогабаритные характеристики кабельных изделий оптической подсистемы и только затем медных. Именно такая очередность событий была предопределена двумя обстоятельствами:
- из-за ряда технических особенностей при освоении новых скоростей оптические линии связи всегда внедряются ранее медножильных;
- уменьшить внешний диаметр оптического кабеля проще из-за превосходных массогабаритных параметров волоконного световода, поперечное сечение которого, в отличие от провода витой пары, не растет по мере улучшения частотных свойств (наращивания категории).
В последние два-три года задача уменьшения внешнего диаметра кабельных изделий стала актуальной также для той части СКС в ЦОД, которая реализуется на основе симметричных кабелей и соответствующего коммутационного оборудования. Причиной тому были следующие факторы:
- стремление к минимизации капитальных затрат на реализацию физического уровня информационной системы за счет уменьшения материалоемкости кабельных изделий, что дополнительно стимулируется многократным ростом цен на сырье (нефть и медь), из которого изготавливаются ее основные компоненты;
- экономическая выгодность использования линий на основе симметричных кабелей из-за их заметно большей — по сравнению с оптическими решениями — энергоэффективности при передаче информации на близкие расстояния (что характерно для ЦОД);
- отсутствие необходимости в массовой поддержке серийного оборудования дистанционного питания РоЕ и РоЕ+ в фокусной области применения;
- довольно высокая потенциальная емкость рынка кабельных систем для ЦОД, что создает условия для быстрого возврата инвестиций, направляемых на исследования и создание нового класса кабельных изделий.
Это стало серьезным стимулом для ряда ведущих производителей СКС, которые рассматривают ЦОД в качестве одной из ключевых областей применения выпускаемой продукции. В результате предпринятых ими разработок в состав штатной элементной базы, предназначенной для построения медножильной подсистемы, были введены линейные кабели и коммутационные шнуры с уменьшенным внешним диаметром.
Наиболее значимое преимущество изделий данной группы и фокусная область их применения в некоторых случаях указываются в фирменном наименовании продукта. В качестве примера можно привести кабели Data Centre UC Future Compact 26 Cat 7 компании Draka. Использование самостоятельного названия воспринимается как наглядное свидетельство высоких рыночных пер-спектив данной продукции.
Справедливости ради следует сказать, что, несмотря на наличие явно выраженных достоинств, далеко не все ведущие производители техники СКС считают целесообразным введение нового типа кабельных изделий в состав элементной базы своего продукта. В частности, консервативного подхода придерживается компания Siemon. По мнению ее специалистов, проблема улучшения массогабаритных параметров линейных кабелей станет менее острой сразу же после стандартизации Категории 8, изначально рассчитанной на поддержку линий со скоростью 40 Гбит/с. Данное мнение основывается, вероятно, на том, что четырехкратное сокращение числа необходимых кабелей, благодаря увеличению поддерживаемой скорости, дает заметно больший результирующий выигрыш по сравнению с уменьшением диаметра при сохранении прежнего количества кабелей.
НЕОБХОДИМОСТЬ ПРИМЕНЕНИЯ ЭКРАНИРОВАННЫХ РЕШЕНИЙ
Современная неэкранированная элементная база (кабели, разъемы и шнуры) достигла пределов своего совершенствования. В подтверждение можно сослаться на отсутствие какихлибо сведений относительно разработок неэкранированных компонентов СКС с категорией выше 6А (верхняя граничная частота нормирования параметров 500 МГц).
Основным фактором, ограничивающим пропускную способность симметричного тракта (независимо от варианта его исполнения), является отношение сигнала к шуму, которое количественно характеризуется параметром ACR. «Шумовую» составляющую этого отношения определяют переходные влияния различной природы — в обычном и суммарном вариантах для ближнего и дальнего концов тракта. При скоростях в 10 Гбит/с и выше, которые уже сегодня можно рассматривать в качестве типовых, помеховая ситуация значительно ухудшается (по сравнению с менее быстродействующими каналами связи). Это вызвано тем, что к обычным и суммарным переходным шумам добавляются межкабельные переходные помехи.
Учет межкабельной наводки становится необходимым, так как, несмотря на активное использование схем параллельной передачи и многоуровневого кодирования, спектр линейного сигнала на указанных скоростях расширяется до нескольких сотен МГц. Это ведет к резкому увеличению излучения в окружающую среду и, соответственно, к росту мощности переходной помехи. Ее минимизация обычно достигается путем подбора шагов скрутки витых пар, но в случае кабеля высоких категорий этот прием уже не столь эффективен из-за сложности физического уменьшения его величины. Для достижения требуемых значений NEXT и FEXT приходится обращаться к экранированию.
Кроме того, повышение верхней граничной частоты линейного сигнала приводит к существенному росту коэффициента затухания, определяющего «сигнальную» часть ACR. Особое внимание к затуханию требуется уделить в первую очередь в процессе работы с протяженными трактами: при увеличении длин до предельно допустимых значений отмечаются большие потери энергии сигнала, поэтому наряду с переходной помехой необходимо учитывать тепловой шум входных каскадов приемника.
Нельзя сказать, что в арсенале разработчиков активного сетевого оборудования отсутствуют средства борьбы с указанными нежелательными явлениями. Например, возрастание затухания может быть достаточно эффективно компенсировано увеличением мощности сигнала на выходе передатчика. Междупарная переходная помеха минимизируется подбором шагов скрутки, обращением к экранам, установкой сепаратора, а также специальной обработкой сигнала, совмещенного с шумом, в приемном устройстве сетевого интерфейса.
С межкабельной переходной помехой дело обстоит намного сложнее. Неприятная особенность этого шума заключается в том, что вызывающие его наводки, в отличие от внутрикабельных, при принятой схеме организации связи между отдельными сетевыми интерфейсами не могут быть подавлены аппаратурными методами. Поэтому для достижения приемлемого уровня отношения сигнала к шуму применяется ряд конструктивных, проектных и монтажных приемов.
Основные конструктивные приемы состоят в искусственном наращивании фактического или эффективного внешнего диаметра с целью увеличения расстояния между парами с одинаковым шагом скрутки, а также в использовании скрутки отдельных пар уже в самом сердечнике. Проектные решения предусматривают, например, разнесение точек подключения отдельных видов аппаратуры по разным функциональным секциям. Наиболее известным монтажным приемом считается отказ от «эстетичных» регулярных жгутов в пользу укладки кабелей в канале «в навал». Кроме того, прокладка кабелей различных функциональных секций может производиться в разных отсеках лотков и т. д.
Наиболее эффективным методом уменьшения межкабельных влияний является пространственное разнесение отдельных цепей передачи сигналов. Однако обращение к такому приему неизбежно приводит к заметному увеличению диаметра как отдельных кабелей, так и формируемого из них жгута. В результате стремление к улучшению характеристик канала связи входит в противоречие с задачей минимизации аэродинамического сопротивления тракта воздушного охлаждения и явно не способствует удешевлению элементной базы.
В таких условиях улучшение конструкции одновременно по трем параметрам (внешний диаметр, межкабельное переходное затухание, стоимость) может быть достигнуто обращением к экранированным конструкциям. При наличии высококачественного телекоммуникационного заземления применение экрана позволяет обеспечить требуемый уровень защищенности сигнала от крайне неприятной межкабельной наводки. Соответственно, в случае экранированной техники известные нормативные документы даже не требуют инструментального контроля фактического значения параметров ANEXT и AFEXT.
Выигрыш от перехода на экранированную технику оказывается достаточно большим — во всем рабочем частотном диапазоне может составлять 20 дБ и более. Таким образом, создаются условия для комплексной оптимизации конструкции изделия. Дополнительные запасы по помехоустойчивости расходуются на улучшение массогабаритных показателей линейных кабелей, то есть на уменьшение их внешнего диаметра.
Одновременно высокая эффективность подавления межкабельной переходной помехи, характерная для экранированных конструкций, открывает широкие перспективы для массового перехода на регулярные многоэлементные кабели, востребованные при реализации зонного каблирования, достаточно популярного в ЦОД. Они представляют собой сборку из нескольких обычных горизонтальных изделий, зафиксированных в положении «шесть вокруг одного» или «шесть вокруг центрального силового элемента» при помощи общей оболочки или обмоточной полимерной ленты. Подобную технику предлагает, например, компания Reichle & De-Massari.
В аппаратном зале ЦОД размещено большое количество быстродействующего компьютерного и радиотехнического оборудования, поэтому наличие высококачественного телекоммуникационного заземления может рассматриваться как обязательное. Это выгодно отличает данный технический объект от офисных информационных систем, в которых зачастую присутствует только защитное заземление по ПУЭ с его непредсказуемыми параметрами на средних и тем более высоких частотах.
ТЕМПЕРАТУРНЫЕ ХАРАКТЕРИСТИКИ ЛИНЕЙНЫХ КАБЕЛЕЙ
Применение в линейной части кабельной системы экранированных конструкций дает еще одно важное эксплуатационное преимущество. За счет хорошей теплопроводности экранирующих покровов они обеспечивают более эффективный отвод тепла, выделяемого токопроводящими медными жилами в процессе передачи по ним информационного сигнала. Таким образом, кабельные изделия данной разновидности не вызывают увеличения затухания и связанного с этим падения качества связи в условиях реальной эксплуатации.
Контроль за состоянием кабельных изделий при температурах, даже далеких от предельно допустимых по ТУ, необходим по двум причинам (в классических информационных системах офисного типа они не имели особого значения). Первая — рост средней нагрузки на различные серверы, коммутаторы и накопители ЦОД в результате виртуализации. Это ведет к пропорциональному увеличению объемов информационных потоков, что, в свою очередь, требует наращивания быстродействия аппаратуры и сопровождается усиленным выделением тепла. Вторая — повышение температуры охлаждающего воздуха в аппаратном зале в рамках кампании по увеличению энергетической эффективности ЦОД.
Несколько лучшие тепловые параметры экранированных симметричных кабелей в явном виде подтверждаются имеющимися руководствами. В них отражен достигнутый уровень техники на момент подготовки нормативных документов к ратификации. Согласно действующим редакциям стандартов, затухание неэкранированных конструкций, соответствующих требованиям к кабельным изделиям СКС, растет с шагом 0,4 %/°C, а при температуре свыше 40°С этот показатель увеличивается до 0,6 %/°C. При введении экрана независимо от формы его исполнения предельная величина данного коэффициента ограничивается значением 0,2 %/°C.
КОНСТРУКТИВНЫЕ ИЗМЕНЕНИЯ РАЗЪЕМОВ
Уменьшение диаметра проводников витых пар потенциально затрагивает и второй ключевой компонент тракта передачи сигнала — разъемный соединитель. Дело в том, что изменение конструкции кабеля может привести к определенным конструктивным проблемам. Первая касается механической фиксации кабеля в месте его ввода в розетку разъема. Вторая заключается в обеспечении контакта отдельных проводов витых пар с оконцевателем, что в принципе невозможно выполнить подручными средствами в процессе монтажа на объекте установки СКС. Наличие определенных проблем подтверждается и действующими редакциями основных стандартов. В частности, в ISO/IEC 11801 указывается на необходимость специального контроля самой возможности корректной установки розеток разъемных соединителей на кабели Категории 5е и выше в том случае, если диаметр их проводника не превышает 0,5 мм.
Таким образом, после появления новой разновидности кабельных изделий может потребоваться дальнейшее расширение компонентного состава элементной базы СКС за счет введения в нее дополнительной разновидности разъема. Розетки как общего применения, так и доработанные для установки на кабель уменьшенного диаметра внешне очень похожи, а иногда и не различаются по своему форм-фактору вовсе. Это чрезвычайно выгодно с точки зрения производства, однако может привести к серьезному снижению качества при инсталляции. Действительно, IDC-контакт оконцевателя, функционирующий в составе быстродействующих трактов передачи, отличается малой механической прочностью, поэтому может быть деформирован при установке на провод увеличенного диаметра, что приведет к ухудшению его характеристик. Поскольку эксплуатационные запасы современной элементной базы Категории 6А невелики, возрастает риск того, что cмонтированная кабельная система не пройдет приемо-сдаточные и сертификационные испытания.
Для устранения самой возможности непреднамеренной ошибки целесообразно применять цветовую маркировку. Так, компания Panduit использовала в своих разъемах модульного типа фиксирующую защитную крышку желтого цвета, надеваемую на оконцеватель после подключения к IDCконтактам розетки витых пар линейного кабеля малого диаметра.
Впрочем, проблема геометрической совместимости рабочей части ножей оконцевателя с токопроводящими жилами уменьшенного диаметра становится менее острой благодаря сложившейся практике реализации высокоскоростных кабельных систем. Трудности, связанные с малыми эксплуатационными запасами, все чаще решаются путем обращения к претерминированным конструкциям. Последние, как известно, представляют собой заводские изделия и, соответственно, имеют заметно более высокое качество, а возможный брак отсеивается еще при выходном контроле.
КАТЕГОРИИ КАБЕЛЕЙ
Кабели малого диаметра могут относиться к любой категории, предусмотренной действующими редакциями стандартов. Тем не менее основная масса предложений представлена в виде Категории 6А. Это вызвано тем, что данная продукция обеспечивает передачу сигналов сетевых интерфейсов 10 Gigabit Ethernet, которые наиболее востребованы в настоящее время.
Ограниченное предложение имеется и в области Категории 7. Характерная особенность данных изделий заключается в том, что они реализованы на основе проводников калибра 23AWG (диаметр примерно 0,56 мм), поэтому их применение не требует изменения конструкции разъемных соединителей. Заметно меньшее сокращение диаметра и, соответственно, не столь сильное приращение затухания позволяют не уменьшать максимальную протяженность стационарной линии. В частности, при помощи кабелей Real10 S/FTP Cat 7 компании Reichle & De-Massari можно реализовывать стационарные линии длиной до 80 м. Как следствие, применение указанных конструкций ведет к некоторому уменьшению капитальных затрат на создание СКС.
Изделия Категории 6, которые можно отнести к кабелям с уменьшенным внешним диаметром, представлены пока единственным продуктом — UC400 23 U-UTP HD компании Draka. Данный кабель диаметром всего 5,3 мм полностью соответствует требованиям стандартов к оборудованию Категории 6 и предлагается в вариантах с обычной и малодымной оболочкой. Улучшение массогабаритных показателей достигнуто за счет предельной минимизации конструкции классического крестообразного сепаратора, выполненного в форме разделителя ленточного типа, благодаря этому прочностные параметры изделия остаются неизменными.
ШНУРЫ ИЗ КАБЕЛЯ УМЕНЬШЕННОГО ДИАМЕТРА
Шнуры, в основу которых положен кабель с уменьшенным диаметром, имеют несколько большие перспективы по сравнению с линейными изделиями, хотя суммарная протяженность последних на порядок больше. Данное утверждение выглядит парадоксальным только на первый взгляд. Дело в том, что при тщательной проработке проекта минимальная степень аэродинамического сопротивления системы воздушного охлаждения изначально является одним из критериев выбора трассы прокладки кабелей стационарных линий. Кроме того, сами эти изделия не меняют своего пространственного положения в процессе текущей эксплуатации ЦОД.
Между тем, в серверных шкафах находится достаточно большое количество шнуров. При классической схеме реализации нижнего уровня информационной инфраструктуры аппаратного зала каждый сервер может иметь до пяти отдельных подключений к кабельной системе (по два с коммутаторами локальной сети и директорами сети хранения плюс еще одно с коммутаторами KVM). Таким образом, в случае традиционного для аппаратного зала шкафа высотой 42U количество шнуров может достигать двух сотен — при условии его полного заполнения серверами высотой 1U формата pizza-box и применения потенциально неблокируемой архитектуры на уровне транспорта данных.
Соединительные шнуры вследствие своей многочисленности зачастую перекрывают пути подачи охлажденного воздуха к серверам и прочим активным устройствам, поскольку не всегда подбираются по нужной длине и в процессе укладки образуются многочисленные петли. Косвенным подтверждением серьезности влияния коммутационных шнуров на тепловой режим работы аппаратуры служит наличие многочисленных опций по организации кабелей, которые предлагаются производителями 19-дюймовых серверных шкафов.
В силу указанных выше обстоятельств пожелание об уменьшении внешнего диаметра распространяется также на кабели различных шнуровых изделий.
ОГРАНИЧЕНИЯ НА ОБЛАСТЬ ПРИМЕНЕНИЯ КАБЕЛЕЙ МАЛОГО ДИАМЕТРА
Кабели уменьшенного диаметра изначально представляют собой специальную конструкцию, ориентированную на строго определенную и достаточно ограниченную область применения. Это приводит к тому, что в ряде случаев на базе подобных изделий невозможно построить полноценную классическую СКС офисного типа. Разумеется, это утверждение относится исключительно к тем ситуациям, когда диаметр проводника витой пары меньше определенного предела. В частности, введенный в действие с 1 июля текущего года отечественный ГОСТ Р 54429-2011 запрещает использование в конструкции кабелей СКС проводников с диаметром токопроводящей жилы менее 0,5 мм.
Юридическая коллизия, возникающая в результате сознательного нарушения нормативного ограничения по минимальному диаметру проводника, может быть решена путем выделения СКС для ЦОД в самостоятельный класс информационных кабельных систем со своей нормативной базой. Применяемые для ее реализации компоненты не обязаны полностью соответствовать всем положениям о предельно допустимых значениях для объектов офисного типа.
Фактически линейные и шнуровые изделия с уменьшенным диаметром отличаются от обычных кабелей только повышенным погонным затуханием во всем частотном диапазоне. Относительно невысокая степень ухудшения параметров открывает очень широкие перспективы в отношении возможности обеспечения нормальной работоспособности стандартного сетевого оборудования. Для этого разработчик кабельной системы обращается еще к одному вполне очевидному приему, который тоже предусматривает отход от положений действующих редакций основных нормативных документов. Эти меры носят явно выраженный «пользовательский» характер: речь идет о сознательном введении более жестких ограничений на предельную протяженность тракта.
Достижение требуемых параметров тракта при повышенном затухании за счет принудительного уменьшения его предельной протяженности не является чем-то новым. Впервые на нормативном уровне данный прием был задействован при реализации 10 Gigabit Ethernet. Именно тогда в случае использования для построения СКС элементной базы Категории 6 предельная протяженность тракта снижена до 37 или 55 м, то есть уменьшена почти в два-три раза по сравнению с привычными 100 м.
Эффективный способ предотвращения намеренного или непредумышленного использования вне допустимой области применения предложила компания Brand-Rex еще в середине 2000-х годов. Этот известный производитель кабельных систем отказался от привычной заводской упаковки в виде картонных коробок или барабанов, где умещалось 305 м линейных кабелей — длина, ставшая уже классической. Поставка продукции 10GPlus Zone Cable (калибр проводника 26AWG) первоначально осуществлялась только бухтами по 70 м. С самого зарождения СКС в области горизонтальной подсистемы действовал жесткий запрет на сращивание симметричных кабелей, который без изменения переходил из одной редакции стандартов в другие. С учетом этого факта такой подход гарантировал достижение требуемых параметров функционирования даже сетевых интерфейсов 10 Gigabit Ethernet, на тот момент обладавших наибольшим быстродействием. Технической предпосылкой для этого является ограничение общего затухания в тракте. К настоящему времени инсталляционные компании накопили необходимый опыт, количество ошибок резко снизилось и производитель вернулся к более экономичной 500- и 1000-метровой катушечной упаковке.
Следует отдельно указать на то, что кабели рассматриваемой разновидности разрабатывались заново, а не были ресертифицированы для нового расширенного частотного диапазона при наличии запасов по параметрам у изделий низших категорий. Например, кабели Real 10 S/FTP с проводниками калибром 26 AWG компании Reichle & De-Massari, согласно фирменным техническим условиям, тестируются в частотном диапазоне до 650 МГц. Таким образом, производитель СКС гарантирует соблюдение паспортных значений ключевых характеристик линейного кабеля на частотах, которые на 150 МГц выше, чем соответствующее значение для Категории 6А, зафиксированное в стандартах.
Дополнительно отметим, что в процессе разработки новой конструкции ее создатели принимают меры по обеспечению гладкости частотной характеристики затухания. В силу наличия целого ряда фундаментальных эффектов затухание растет по классическому закону, весьма близкому к теоретической зависимости корня квадратного от частоты. Однако в ряде случаев на определенных частотах могут появляться резкие всплески затухания резонансного характера. Основная задача конструктора и технолога состоит в том, чтобы не допустить этого крайне нежелательного явления, которое вызывается микродефектами скрутки отдельных пар.
ВЫВОДЫ
- Симметричные кабели СКС с уменьшенным внешним диаметром имеют неплохие перспективы при построении физического уровня информационной инфраструктуры аппаратного зала ЦОД.
- Появление кабелей с уменьшенным внешним диаметром представляет собой результат целенаправленной оптимизации СКС для определенной области использования с привлечением дополнительных данных с более высокого системного уровня.
- Объективная необходимость уменьшения внешнего диаметра распространяется как на линейные, так и на шнуровые кабели.
- В широкой продаже имеется достаточно большой спектр изделий рассматриваемой разновидности, выпускаемых ведущими производителями техники СКС.
- С учетом потенциально высокой востребованности кабелей с уменьшенным внешним диаметром вполне возможно их выделение в отдельный самостоятельный подкласс кабельных изделий СКС.
Андрей Семенов — технический директор представительства RiT в России.