Современные инженерные решения для ЦОД

ПРЕДУПРЕЖДЕН — ЗНАЧИТ, ДАННЫЕ ЦЕЛЫ

В соответствии c нормативными требованиями, ЦОД должны быть оснащены автоматическими системами пожаротушения либо, если помещение небольшое, системами автоматической пожарной сигнализации.

Наибольший ущерб приносит не разрушение оборудования, а потеря данных, которые находятся на серверах. Поэтому возгорание необходимо обнаружить на самой ранней его стадии, а еще лучше — не допустить даже чрезмерного перегрева оборудования, поскольку температура 70°C является критической для сохранности данных на жестких дисках.

Пожар можно выявить несколькими способами — по выделяющемуся теплу или дыму. В нормативных документах делается акцент на дымовых извещателях пожарообнаружения, поскольку характерное тепловыделение обычно обнаруживается, когда все уже горит и тушить поздно.

Для обнаружения дыма применяют два вида извещателей — точечные и аспирационные. Первые устанавливаются обычно на потолке, и дым поступает к ним благодаря конвекционным тепловым процессам. Вместе с теплым воздухом, выделяемым при тлении или горении, дым поднимается наверх, извещатель его улавливает и инициирует тревогу.

Однако, как отметил Александр Осипов, менеджер по продажам комплексных проектов пожарной безопасности компании Honeywell, в центрах обработки данных точечные извещатели применять бесполезно. В таких помещениях постоянно функционируют системы охлаждения, что приводит к образованию мощных потоков воздуха, которые к тому же нередко изолируются с помощью холодных и горячих коридоров, поэтому до самого потолка дым может и не подняться.

Что же делать? В этом случае пригодятся аспирационные дымовые извещатели. Они осуществляют принудительный забор воздуха в различных частях ЦОД — либо в горячих коридорах, либо на входе в вентиляционные решетки кондиционеров, либо непосредственно из стоек с установленным оборудованием.

Honeywell предлагает аспирационную систему сверхраннего обнаружения пожара (Very Early Smoke Detection Apparatus, VESDA). Это своего рода «пылесос» — воздушный насос, к которому подключена сеть воздухозаборных трубок. Прибор анализирует поступающий воздух на наличие выхлопов дизельного топлива, а также частиц дыма, пыли и полиэфирных компонентов, которые входят в состав изоляции кабеля (см. рис. 1).

Аспирационная система раннего обнаружения задымлений VESDA компании Honeywell позволяет своевременно выявить возгорание в ЦОД и избежать потери данных

Анализ воздуха осуществляется на оптическом уровне с помощью ультрафиолетового лазера. Использование ультрафиолетового излучения позволяет получить минимальную длину волны и исключить эффект дифракции, когда световая волна огибает частицу дыма, не взаимодействуя с ней. Отраженный от дыма свет анализируется встроенными в камеру сенсорами.

Если для обычного дымового извещателя нормальным уровнем чувствительности считается 0,1% задымленности на метр, то в случае VESDA этот показатель составляет 0,0002% — в 1000 раз (на три порядка) больше. Более того, благодаря встроенной аналитике современные системы могут отличать частицы дыма от частиц выхлопа дизеля, пыли, разложения компонентов кабеля. В результате удается избежать ложных тревог, так как система не реагирует на пыль, и обеспечивается сверхраннее обнаружение опасности за счет выявления тления изоляции кабеля.

Как отмечалось, воздух можно забирать из помещения, с решеток радиаторов или из горячих/холодных коридоров. В этом случае используют неадресные аспирационные системы. Соответственно, при обнаружении возгорания нельзя понять, в каком месте оно произошло, и объявляется общая пожарная тревога. При заборе воздуха из шкафов с оборудованием пожар удается обнаружить еще раньше — не надо ждать, когда дым выйдет из стойки и попадет в горячий коридор или доберется до решетки. Однако и в этом случае из-за высокой чувствительности системы проблемную стойку не так просто установить — дым может быть не виден, а запах не чувствоваться.

В случае использования адресной аспирационной системы VEA — Vesda Adressable — можно одновременно осуществлять забор воздуха из 40 стоек (120 при подключении двух расширений). Воздух закачивается по тонким капиллярным трубкам длиной до 10 м. Этого достаточно, чтобы подключить к данному прибору все стойки в машинном зале, и тогда система не только объявит раннюю тревогу, но и покажет, в какой из стоек произошло задымление.

Анализаторы могут адаптироваться к загрязнению воздуха: система позволяет устанавливать так называемый референсный аспиратор. Он измеряет загрязнение внешнего воздуха и передает эту информацию на рабочие аспираторы, которые калибруются для адаптации к тому или иному загрязнению. Например, если в окружающих лесах загорелись торфяники, ложные тревоги выдаваться не будут.

При всей своей сложности рассмотренные устройства являются всего лишь пожарными извещателями, поэтому в системе пожарной сигнализации должно иметься головное устройство — прибор приема, контроля и управления (ППКиУ). С большинством таких приборов VESDA стыкуется по сухому контакту, а с приборами из линейки Notifier аспирационные извещатели стыкуются на уровне протокола.

ОХЛАЖДЕНИЕ ДЛЯ МАЙНИНГОВЫХ ФЕРМ

В эффективном охлаждении ИТ-оборудования нуждаются все ЦОД, но в случае майнинговых ферм этот вопрос стоит особенно остро. Для генерации криптовалюты используются компьютеры с микросхемами ASIC, уровень тепловыделения у которых намного выше, чем у типовых серверов, — в отдельных случаях до 100 кВт на стойку!

Для владельцев майнинговых ферм главным критерием эффективности являются затраты на 1 кВт потребленной энергии, а не PUE или другие традиционные метрики. Чтобы сократить затраты и ускорить развертывание систем, оборудование зачастую размещают в неподготовленных помещениях, например в неиспользуемых складах и сельскохозяйственных постройках.

В таких условиях из-за перегрева оборудования и отсутствия отвода тепла нередко случаются пожары. Вышедший из строя компьютер уже не приносит прибыли его владельцу, поэтому майнеры довольно быстро поняли, что температурный баланс необходимо поддерживать.

Эта молодая и незарегулированная отрасль открыта для применения нетрадиционных решений. «Если в ЦОД фрикулинг воспринимается как нововведение, то в фермах это уже вчерашний день», — утверждает Алина Сафонова, эксперт по специализированным жидкостям 3M.

Воздушного охлаждения все чаще оказывается недостаточно, поэтому майнеры вынуждены дополнять его жидкостным. Однако прямое охлаждение с использованием дистиллированной воды, добавляет Алина Сафонова, — решение сомнительное: оборудование сложное и занимает много места, воду требуется фильтровать, а расходуется она в больших количествах, да и риск возникновения протечек весьма высок.

В качестве альтернативы компания 3M предлагает двухфазное погружное охлаждение с использованием негорючей неэлектропроводной фторсодержащей жидкости Novec 7100. Как утверждается, данная технология более безопасна для оборудования, чем прямое охлаждение, и экономически эффективна, поскольку и требования к техобслуживанию невысоки.

Novec 7100 начинает испаряться при 61°C. Пары из контейнера с жидкостью и погруженным в нее оборудованием поднимаются вверх в радиатор конденсатора, где охлаждаются, возвращаются в жидкое состояние и выпадают в виде капель. Максимальная температура не превышает 70°C, чего вполне достаточно для комфортной работы ASIC.

Куда же девается тепло? К радиатору подсоединена трубка с циркулирующей холодной водой, объясняет Алина Сафонова, и через сухую градирню — в зависимости от мощности вентилятора или радиатора — тепло выводится на улицу. Насос мощностью 2 кВт позволяет отводить тепло до 30 кВт. На поддержание работы такого пассивного радиатора не тратится электричество, а сам он занимает немного места.

В уже реализованных проектах применение погружного охлаждения с использованием жидкости 3M Novec 7100 позволяет обеспечить отвод тепла при тепловыделении до 3,5 кВт на 1U, при этом потенциал технологии — до 10–20 кВт

В уже реализованных проектах применение погружного охлаждения с использованием жидкости 3M Novec 7100 позволяет обеспечить отвод тепла при тепловыделении до 3,5 кВт на 1U, при этом потенциал технологии — до 10–20 кВтПри погружном охлаждении платы могут располагаться максимально компактно. Если при пассивном охлаждении (фрикулинге) две трети контейнера для майнинга занимают коридор и вентиляторы с фильтрами, то при двухфазном охлаждении для ИТ-оборудования отводится до 80% объема.

Таким образом, двухфазное погружное охлаждение, хотя и обойдется несколько дороже, позволяет существенно сэкономить на капитальных и операционных расходах благодаря сокращению необходимых площадей, снижению расхода электроэнергии на охлаждение, повышению производительности за счет разгона ASIC, который ранее был невозможен из-за опасности перегрева, и другим факторам. В частности, потребуется меньшая подведенная мощность для энергопитания оборудования.

В реализованных проектах обеспечивается отвод тепла при тепловыделении до 3,5 кВт на 1U, при этом потенциал технологии — до 10–20 кВт. Согласно результатам моделирования и опроса заказчиков, двухфазное погружное охлаждение позволяет снизить операционные расходы более чем на треть. Так, при строительстве ЦОД в Далласе экономия за счет сокращения сроков ввода объекта в эксплуатацию и уменьшения площади земельного участка составила 60 и 70% соответственно, а потребление электроэнергии снизилось на 80%.

Мы привыкли говорить, что когда-нибудь воздушного охлаждения в ЦОД будет недостаточно и тогда придется перейти к другим решениям. Майнеры оказываются лидерами в этой области, прокладывая путь для внедрения новых решений.

Если в ЦОД фрикулинг воспринимается как нововведение, то в фермах это уже вчерашний день. Майнеры оказываются лидерами во внедрении таких новых решений, как двухфазное охлаждение.

КАКУЮ КАБЕЛЬНУЮ СИСТЕМУ ВЫБРАТЬ

Центрам обработки данных приходится постоянно наращивать пропускную способность своих внутренних сетей. Так, по прогнозам Dell’Oro Group, в 2019 году около половины продаж всех оптических портов будет приходиться на порты 100 Гбит/с и уже начнется развертывание оборудования 400 Гбит/с. Поэтому очень важно понимать, какую оптическую проводку следует использовать при реализации кабельной системы в ЦОД, чтобы в будущем она могла поддерживать требуемые скорости передачи данных.

Одномодовые оптические кабели способны обеспечить поддержку всех мыслимых скоростей при стандартных расстояниях передачи, однако они в три-пять раз дороже, чем многомодовые кабели, причем, по оценкам экспертов, такое положение дел сохранится и в ближайшие годы. Очевидно, что использовать многомодовое волокно экономически выгоднее, но сможет ли оно поддерживать требуемые скорости на больших расстояниях?

Для повышения скорости передачи применяются различные методы. В своем выступлении Федор Набоков, системный инженер Panduit, выделил три основных для оптических систем. Во-первых, это применение более быстрых лазеров, благодаря чему по двум волокнам Duplex LC можно передавать 25 Гбит/с в каждом направлении вместо прежних 10 Гбит/с.

Далее, за счет использования четырех уровней сигнала можно передавать два бита вместо одного, что позволит удвоить скорость передачи информации. Наконец, с помощью технологии грубого спектрального уплотнения по волокну можно передавать 4 длины волны одновременно в каждом направлении (по одному волокну в одну сторону, по другому — в другую) и тем самым увеличить скорость передачи еще в 4 раза.

Таким образом, комбинация этих методов обеспечит повышение скорости передачи до 200 Гбит/с по паре волокон Duplex LC. При использовании параллельной оптики (12 волокон MPO, а позднее 16 и 32 волокна) можно будет говорить о достижении 800 Гбит/с. Но справятся ли существующие волокна с поддержкой требуемых расстояний? В ответ как отрасль в целом, так и отдельные компании разрабатывают новые виды волокон.

Многомодовое волокно отличается от одномодового тем, что волны могут распространяться по различным путям (модам); они достигают противоположного конца волокна в разное время, из-за чего сигнал «размывается». Однако этот эффект наблюдается и при распространении волн по одному пути из-за разности их длин. Это явление называется «хроматическая дисперсия».

Оптический трансмиттер излучает на определенной длине волны (850 нм), но фактически в каком-то диапазоне, условно от 849,5 до 850,5. В результате в одном и том же волокне имеются составляющие излучения с разной длиной волны и, соответственно, с разной скоростью. Чем больше расстояние, тем больше составляющие сигнала расходятся во времени. На каком-то удалении ресивер уже не может различить, это ноль или единица.

Хотя эффекты модальной и хроматической дисперсии хорошо изучены, традиционные модели чрезмерно упрощают взаимодействие между ними и, соответственно, некорректно учитывают их взаимное сложение и вычитание. Как указывают в Panduit, обычное многомодовое волокно, оптимизированное для лазерной передачи, проектировалось исключительно для минимизации модальной дисперсии и поэтому игнорирует эффекты хроматической дисперсии.

Короткие волны распространяются медленнее, чем длинные. Эту разницу в скоростях желательно «скорректировать» или скомпенсировать, чтобы световой импульс поступал на приемник в одно и то же время. Короткие волны имеют тенденцию распространяться ближе к краям волокна. Соответственно, компенсация может быть достигнута путем ускорения мод на краях волокна.

Таким образом, разница в скорости различных цветов (хроматическая дисперсия) может быть эффективно компенсирована различием в скорости различных мод (модальная дисперсия). Эта базовая концепция легла в основу оптических кабельных систем Signature Core компании Panduit, которые проектировались именно для компенсации обоих видов дисперсии.

Волокно OM4 Signature Core с компенсацией хроматической дисперсии обеспечивает на 30% более широкую полосу передачи, чем обычное волокно OM4. Этот запас может быть использован для повышения дальности передачи, увеличения числа промежуточных соединений или улучшения характеристик системы (уменьшения количества битовых ошибок) в системах 10G, 40G и 100G. Так, в случае 40 Gigabit Ethernet дальность передачи может быть увеличена с предусмотренных стандартом 125 м до 165 (см. таблицу).

Длина каналов для различных видов многомодовых волокон и применений при бюджете потерь 1,5 дБ в сравнении с волокном Signature Core (SC) компании Panduit

Помимо OM4 с улучшенными характеристиками, Panduit собирается выпустить волокно OM5 Signature Core. Однако Федор Набоков призывает не торопиться с внедрением OM5. Данное волокно разрабатывалось в расчете на поддержку передачи четырех длин волн. Между тем органы стандартизации еще не вынесли окончательного решения относительно поддержки данной технологии спектрального уплотнения — возможно, они остановятся на каком-то другом варианте повышения скорости, например на дополнительном кодировании битов.

СИСТЕМЕ БЕЗОПАСНОСТИ ВИДНО ВСЁ

При всей важности информационной безопасности физическая защита по-прежнему имеет критическое значение. В конце концов, какая разница, насколько безопасна конфигурация сервера, если не устранена возможность атаки с целью вызвать отказ в обслуживании по типу «удар кувалдой».

Для обеспечения физической защиты в центрах обработки данных применяются системы контроля доступа, видеонаблюдения, охранные системы и т. д. Как и в случае решений ИБ, наибольшая эффективность от их использования достигается в случае их взаимосвязи и когда тревожные сообщения одной из них могут быть сопоставлены с событиями в другой.

Для этого системы должны быть интегрированы между собой, а для управления ими необходимо общее программное обеспечение. Как предостерегает Никита Куликов, директор департамента систем безопасности Honeywell в России и странах таможенного союза, интеграцию не следует путать с совместимостью. По его мнению, подлинную интеграцию можно обеспечить, только если и оборудование, и ПО произведены одним поставщиком.

Когда на одном объекте имеется несколько систем, которые создавались разными компаниями и задумывались с разными целями, не факт, что независимый производитель ПО будет поддерживать оборудование в новых версиях. В результате реализованное решение так и останется на том же уровне интеграции, который был достигнут несколькими производителями, когда они договорились создать интегрированное решение.

Решение от одного поставщика имеет известные преимущества, в числе которых сокращение затрат на эксплуатацию системы безопасности, снижение расходов на обучение специалистов, сохранение ранее сделанных инвестиций. Правда, не стоит забывать и о зависимости от одного поставщика. «При проектировании систем мы принимаем во внимание тот факт, что наше оборудование уже установлено на многих критически важных объектах и есть большая инсталляционная база, — напоминает Никита Куликов. — Новое решение создается с учетом ранее выпущенного оборудования. В этом прелесть комплексного подхода». Надо сказать, что Honeywell до сих пор поддерживает контроллеры, которые были выпущены в 1995 году.

В зависимости от задач, масштаба и нагрузки заказчики Honeywell имеют возможность выбрать одно из трех решений для контроля за системами безопасности: Winpack, Prowatch и Winmag. Для применения в ЦОД наилучшим образом подходит первое. В этом коробочном продукте объединены системы контроля доступа, охранной сигнализации и видеонаблюдения. Winpack разрабатывается с 1995 года и эксплуатируется более чем на 100 тыс. объектов по всему миру.

На рабочих станциях запускается программа управления, которая сама не является видеорегистратором — она не записывает данные, а управляет оборудованием. Программа может поддерживать до 40 NVR по 64 видеокамеры каждый, то есть свыше 2,5 тыс. камер. Система позволяет контролировать до 31 тыс. дверей и поддерживает неограниченное количество карт доступа, что весьма ценно в случае распределенных объектов.

Winpack предоставляет возможность работать с графическими планами объектов, что очень удобно в эксплуатации: оператор в любой момент может посмотреть, что и где происходит, связать события контроля доступа и охранной сигнализации с конкретным местом и увидеть, что там происходит, с помощью ближайшей видеокамеры — ее переключение на монитор осуществляется простым перетаскиванием пиктограммы.

Система реализует мониторинг тревог, их приоритизацию, автоматическое реагирование на события и всю другую востребованную и необходимую функциональность. Из наиболее интересных функций Никита Куликов выделяет автоматизацию патрулирования объекта. При обходе охранник прикладывает к специальному устройству свою карточку-пропуск. Если он должен осматривать периметр каждые два часа, проходя по определенному маршруту, то при его изменении, в случае опоздания или, наоборот, раннего прихода может быть подано тревожное сообщение.

Подобная система была реализована компанией Softline, партнером Honeywell, в Республиканском центре обработки данных республики Беларусь.

Программное обеспечение Win-Pak компании Honeywell обеспечивает интегрированную поддержку контроля доступа, видеонаблюдения, охранной и пожарной сигнализации

В уже реализованных проектах применение погружного охлаждения с использованием жидкости 3M Novec 7100 позволяет обеспечить отвод тепла при тепловыделении до 3,5 кВт на 1U, при этом потенциал технологии — до 10–20 кВт.

Дмитрий Ганьжа, главный редактор «Журнала сетевых решений/LAN»