Кабельная инфраструктура и эксплуатация ЦОДов

В мае в Москве прошел очередной форум «МИР ЦОД», в рамках которого традиционно поднимаются технологические и экономические вопросы, связанные с центрами обработки данных. Одна из секций конференции была посвящена современным кабельным системам, а на семинарах и мастер-классах рассматривались вопросы мониторинга производительности сетевой инфраструктуры и проблемы эксплуатации ЦОДов.

Тема кабельной инфраструктуры на протяжении многих лет является одной из фокусных на форуме. Развитие кабельных систем ЦОДов определяется прежде всего увеличением потребности в высокой скорости передачи данных. Не за горами то время, когда скорости 40 и 100 Гбит/с станут стандартными для коммуникаций между коммутаторами и серверами.

Эксперты попытались дать ответы на многие вопросы: почему отрасли требуется постоянное повышение пропускной способности каналов связи и в каких сегментах это повышение наиболее востребовано, есть ли перспективы у классических витопарных сред передачи, какие проблемы характерны для волоконно-оптических линий связи с высокой пропускной способностью? Кроме того, аудитории были представлены новые продукты для кабельной инфраструктуры ЦОДов.

СКОРОСТИ И СОЕДИНИТЕЛИ

По мнению Андрея Бескровного, директора по развитию бизнеса компании «КвадриКОМ-Юг», рост скоростей стимулируется «конвергентным фактором» (использование СКС одновременно для поддержки нескольких видов сервисов, в том числе мультимедийных), централизацией вычислений в ЦОДах, где нужна высокая пропускная способность, а также «периферийным фактором» (появление интеллектуальных сенсоров, использование HD-камер и т. д). Принятие стандарта 400GbE подтолкнет спрос на продукты, скорость передачи данных у которых составляет 40 и 100 Гбит/с. Прежде всего это волоконно-оптические изделия.

Увеличение скорости передачи данных на основе технологии Ethernet (по данным компании «КвадриКОМ-Юг»)

Проблема «меди» — негарантированная работоспособность канала в полосе 1500–2000 МГц, что затрудняет разработку и продвижение стандарта на 40 Гбит/с. К тому же методика полевых испытаний в этом частотном диапазоне пока не создана. Стандарт 40GBase-T разрабатывается в расчете на каналы протяженностью до 30 м. Разъемное соединение RJ-45 в силу своих технических характеристик не может применяться в системах категории выше 6A, а стандартизованные «открытые» реализации компонентов разъемного соединения отсутствуют.

Имеющиеся решения, отвечающие техническим требованиям высоких категорий, проприетарны. Их два: соединитель GG45, разработанный компанией Nexans и обратно совместимый с RJ-45 за счет использования встроенного в розетку переключателя, а также соединитель Tera, продукт Siemon, не предусматривающий обратной совместимости с RJ-45.

Что касается «оптики», то технологии 40GBase-SR4 (4 х 10G) и 100GBase-xR4 (4 х 25G) предусматривают параллельную прокладку нескольких волокон. Несмотря на то что для организации подключения достаточно восьми волокон, в 40GBase-SR4 стандартизирован соединитель MPO/12 симметричной конфигурации (см. табл. 1). Для 100GBase-SR10 (10х10G — 10 пар волокон по 10 Гбит/с каждая) возможны три реализации физического подключения: Option A — одиночное, на базе MPO/24 (рекомендуемое) и Option B / Option C на основе пары соединителей MPO/12 (несимметричных).

Таблица 1. «Технологическая карта» 100GbE (по данным компании «КвадриКОМ-Юг»)

Поддержка новых скоростей передачи данных невозможна без существенной модернизации СКС в центрах обработки данных, рассказывает Евгений Марьин, менеджер по продажам швейцарской компании Huber+Suhner. Классические двухволоконные соединители LC уступают место соединителям MPO на 8 (40GbE) и 20 (100GbE) волокон, на которые и следует сейчас ориентироваться как на будущие стандарты при планировании сети. Тем временам уже утвержден стандарт, позволяющий передавать по паре волокон 25 Гбит/с. В этом случае соединитель MPO станет поддерживать передачу данных со скоростью 100 Гбит/с через 8 волокон, а LC — 25 Гбит/с по двум парам. Обсуждается стандарт для передачи 400 Гбит/с по 32 парам волокон.

БЮДЖЕТ ПОТЕРЬ И ЗОНА КОММУТАЦИИ

Рис. 1. Коммутационная система CDR швейцарской компании Huber+Suhner разработана для повышения удобства коммутации и обслуживания соединений

Переход на соединители MPO приведет к тому, что потребуется организовать удобную зону для коммутации и обслуживания соединений. (Данная проблема решается, например, с помощью системы CDR от Huber+Suhner — см. рис. 1.) Кроме того, в результате увеличения скорости передачи данных ужесточаются требования к вносимым потерям СКС — они возрастают вдвое. А максимальная длина передачи сигнала сокращается с 550 до примерно 150 м. Это существенная проблема для поставщиков СКС и конечных пользователей, которым необходимо уложиться в меньший бюджет потерь, отмечает Евгений Марьин. Для 40GbE и 100GbE оптический бюджет канала очень мал (см. табл. 2), подтверждает Андрей Бескровный: три соединения на 150 м — и канал уже не работает.

Таблица 2. Следует внимательно рассчитывать бюджет канала: дополнительное разъемное или неразъемное соединение может привести к его неработоспособности (по данным компании «КвадриКОМ-Юг»)

Уменьшения потерь можно добиться за счет отказа от стандартной для ЦОДов схемы «кросс-коннект» и перехода на более простую схему подключений, когда каждый сервер соединяется с коммутатором напрямую. Это означает, что соединений в канале станет меньше, а следовательно, сократятся и потери. Однако такая кабельная система очень скоро окажется неработоспособной. «Добавление новых соединений будет затруднено, как и обслуживание существующих», — предупреждает Евгений Марьин.

По этой причине, несмотря на строгие требования к вносимым потерям, не рекомендуется отказываться от схемы «кросс-коннект», при которой все переключения осуществляются в коммутационной зоне. Она оптимальна для таких задач и позволяет выполнять коммутацию с меньшими рисками. Huber+Suhner разработала для нее соединители MPO, отличающиеся малыми потерями.

ГЛАВНОЕ — КРОСС

Топология кабельной системы ЦОДа в общем случае включает в себя четыре подсистемы (см. рис. 2): городской ввод (стык с сетями операторов связи), главную распределительную область с главным оптическим кроссом, зону ядра сети LAN/SAN и горизонтальную распределительную область.

Рис. 2. Основные подсистемы СКС ЦОДа (по данным TE Connectivity)

Порты коммутаторов Ethernet и FC должны быть представлены на главном и (опционально) промежуточном оптическом кроссах. Например, верхняя часть стойки содержит кроссовое поле портов коммутаторов, а нижняя — кроссовое поле портов серверов и СХД. Верхнее и нижнее кроссовые поля соединяются коммутационными шнурами. Между тем заказчики не всегда уделяют должное внимание планированию главного оптического кросса в ЦОДе.

Как подсчитали в TE Connectivity, на главную распределительную область (MDA) приходится 50–55% затрат, инвестируемых в кабельную инфраструктуру ЦОДа, тогда как на главный оптический кросс — лишь 5%. Следовательно, экономить на главном кроссе невыгодно — это может привести к серьезным сбоям в работе ЦОДа, поскольку главный кросс отвечает за соединение основных элементов сетевой инфраструктуры, модернизацию, внедрение новых приложений и т. д.

Можно ли сэкономить площади в ЦОДе за счет кросса? Его вынос за пределы машинного зала — сомнительное решение, прибегать к нему не рекомендуется. Другой вариант — установка кросса вплотную к стене (без доступа сзади). Третий — экономия пространства внутри самого конструктива путем увеличения плотности портов на единицу монтажного пространства.

Как рассказал Владимир Стыцько, директор по продажам в России и странах СНГ департамента телекоммуникационных и корпоративных сетей компании TE Connectivity, помимо выбора наиболее подходящего кроссового оборудования важно соблюдать методики кроссировки, необходима правильная организация кроссового поля, нельзя забывать и о документировании соединений в кабельном журнале. «Интеллектуальный» кросс позволяет вести такое документирование автоматически.

Что дает грамотный подход к выбору и планированию оптического кросса? Прежде всего снижение операционных затрат, повышение отказоустойчивости, возможность расширения ЦОДа и перехода на более высокоскоростные приложения. Согласно стандарту Data Centre Facilities & Infrastructures (EN 50600-x), в ЦОДах должна использоваться схема «кросс-коннект», то есть главному кроссу придается особое значение.

В стандарт EN 50600-2-4 вошли также «нормативные требования в части главного и зоновых кроссов для Классов 2–4», касающиеся боковых кабельных организаторов. Для их установки рекомендуется применение широких монтажных конструктивов — в них имеется достаточное пространство для размещения шнуров. Кроме того, необходимо обеспечить укладку излишков кабелей.

Существует два варианта организации главного кросса. Первый предусматривает использование специализированного кроссового шкафа формата 19″, оснащенного необходимыми организаторами и коммутационными панелями высокой плотности. Конструктив универсален — при необходимости в нем можно разместить компоненты медных СКС. Его особенности: высокая емкость на 1968 портов LC-Duplex в типоразмере 45U/19″, продуманная организация линейных кабелей и шнуров. Он хорошо приспособлен для претерминированных кабелей МРО. Установка шкафов «спина к спине» позволяет разместить «тяжелое» коммуникационное оборудование. Ширина 1000 мм оставляет достаточно места для укладки шнуров. К ограничениям можно отнести не самое эффективное использование места: занимаемая площадь составляет 600х1000 мм.

Другой вариант — классический пристенный кросс Optical Distribution Frame (ODF). Теперь в таких кроссах можно размещать оптические компоненты с системой управления. Их преимущество — малая глубина, возможность использования претерминированных сборок и сварочных технологий для оконцевания кабелей в полевых условиях, однако наиболее эффективным такое решение будет при классической оконцовке кабеля. Причем укладка шнуров подчас имеет большее значение, чем конструкция кросса.

Особенности ODF — продуманная организация коммутационных шнуров, минимальная занимаемая площадь (глубина 300 мм), поддержка претермированных кабелей с соединителями МРО, индивидуальный доступ к каждому волокну. Его емкость может составлять 2016 портов LC-Duplex на стойку 600x300 мм. Однако он не совместим с большинством коммутационных панелей 19″ и не пригоден для коммутации медножильных кабелей.

В крупных КЦОДах предпочтительным решением будет пристенный оптический кросс (см. табл. 3) со схемой «кросс-коннект», однако в небольших ЦОДах активное оборудование можно подключать непосредственно к портам коммутационной панели. По мере расширения центра обработки данных применение «интеллектуальных» кроссов становится все более целесообразным.

Таблица 3. В рекомендациях по планированию главного кросса учитывается масштаб ЦОДа (по данным TE Connectivity)

ИНТЕЛЛЕКТУАЛЬНЫЕ СКС И DCIM

Для упрощения администрирования кроссового поля можно воспользоваться системой управления СКС, например Quareo от TE Connectivity. Она обеспечит безошибочное и оперативное выполнение операций коммутации и документирование изменений. Автоматизированная система администрирования и учета соединений ведет электронный кабельный журнал, на 50% снижает затраты на администрирование, значительно повышает эффективность использования аппаратных ресурсов.

В Quareo применяются коммутационные шнуры и панели с микросхемами в соединителях, благодаря чему она может интегрироваться в комплексную систему DCIM.

Как напомнил Дарюш Заенц, директор «RiT СНГ», компания RiT Technologies первой в мире, еще в 1994 году, создала интеллектуальную СКС, которая была взята за основу для разработок других производителей. В 2010 году RiT предложила экономичное решение — автоматизированный кабельный журнал. Новинкой 2012 года стала интеллектуальная СКС PV+, полноценно работающая в режиме «интерконнект», в том же году был анонсирован программный комплекс CenterMind (наследник системы RiT PatchView) с элементами DCIM, включающий в себя модули управления электропитанием и контроля энергопотребления, а также мониторинга параметров окружающей среды. История инновационных разработок компании на этом не заканчивается (см. врезку «Коммуникации без кабелей»).

Коммуникации без кабелей

В прошлом году RiT Technologies предложила очередную новинку — беспроводную систему связи BeamCaster. Она предназначена для офисов, но в RiT считают, что продукт может найти применение и в ЦОДах. BeamCaster состоит из монтируемого на потолке устройства Optical Distribution Unit (ODU), к которому подводится сигнал (до 10 Гбит/с), и принимающих/передающих устройств (Smart Outlet), установленных на рабочих местах (по 1 Гбит/с). Одно ODU обслуживает восемь устройств, удаленных от него на 8–9 м (в последних версиях — до 18 м). Информация передается лазерным лучом. Одной такой системы достаточно для небольшого офиса (до 150 м2). В помещениях большей площади устанавливаются дополнительные ODU. Управление ими осуществляется централизованно.

Система BeamCaster компании RiT Technologies

 

Настраивается BeamCaster за пару часов. При этом обеспечивается высокая защищенность сигнала, а простота и мобильность позволяют быстро менять конфигурацию рабочих мест при перепланировке Подключение рабочих мест в новом офисе заметно упрощается. Недостаток — высокая стоимость системы, но при установке на 32 рабочих места расходы сопоставимы с затратами на проектирование и инсталляцию СКС. BeamCaster создавалась для открытых офисов, но находит применение и в других областях — на промышленных предприятиях, в медицинских учреждениях, при проведении различных мероприятий. Существует и одноканальная версия BeamCaster (оптический удлинитель), работающая в режиме «точка – точка» на расстоянии 25–30 м.

В контексте управления и мониторинга инфраструктуры ЦОДов существуют три важнейшие задачи: мониторинг инженерной инфраструктуры, мониторинг и управление доступными мощностями, а также интеграция ИТ-систем и инженерной инфраструктуры. Именно DCIM является их идеальным решением, рассказывает Леонид Шишлов, руководитель направления сервисов для ЦОДов компании Schneider Electric. Такая система дает возможность централизованно осуществлять мониторинг и управление оборудованием, визуализировать зависимости в инфраструктуре, выявлять тенденции и многое другое. Кроме того, использование DCIM может способствовать более эффективному взаимодействию между ИТ-отделом и сотрудниками службы эксплуатации инженерной инфраструктуры ЦОДов.

ЭФФЕКТИВНАЯ ЭКСПЛУАТАЦИЯ ЦОДОВ

Грамотно организованная и внедренная комплексная программа эксплуатации и технического обслуживания ЦОДов минимизирует операционные риски, снижает стоимость и может стать конкурентным преимуществом для владельцев бизнеса, уверен Леонид Шишлов. В то же время отсутствие такой программы или ее плохая реализация могут очень быстро свести к нулю преимущества, заложенные при проектировании и строительстве ЦОДа.

Schneider Electric на протяжении многих лет занимается эксплуатацией ЦОДов и консультирует клиентов по соответствующим вопросам. За 15 лет в компании собран обширный материал по организации работы на ответственных объектах, аккумулированный в единую стандартизированную программу.

Обычно центры обработки данных эксплуатируются в течение 10–15 лет, но иногда этот этап их жизненного цикла длится и 30 лет, а значит, требует особого внимания. Большинство аварий и инцидентов на ответственных объектах происходит из-за человеческого фактора, что зачастую обусловлено недостатком опыта. Если проанализировать общую стоимость владения (TCO) ЦОДом за 7–10 лет, то показатели OPEX будут больше, чем CAPEX. Существенным компонентом операционных расходов (если не самым большим) является стоимость электроэнергии. Чтобы свести эти издержки к минимуму, нужен единый структурированный подход к организации эксплуатации ЦОДа, который включает в себя ряд ключевых элементов (см. табл. 4).

Таблица 4. 12 ключевых элементов программы эксплуатации и обслуживания ЦОДов (по данным компании Schneider Electric)

Лучшей защитой от нештатных ситуаций может стать правильная подготовка к ним. Для этого необходимо предусмотреть аварийные эксплуатационные процедуры (Emergency Operation Procedure, EOP), сценарии учений и их проведение. Кроме того, нужно обеспечить процесс управления инцидентами, анализ аварий, формирование и поддержание базы знаний по авариям и инцидентам.

Эксплуатация ЦОДа предполагает техническое обслуживание оборудования, для чего необходим четкий годовой план. Грамотное техническое обслуживание помогает добиться максимальной эффективности систем электроснабжения и охлаждения на протяжении всего срока их службы. В результате снижается общая стоимость владения ЦОДом и число аварий. При составлении единого плана следует предусмотреть техническое обслуживание, учет и контроль оборудования и запасных частей (ЗИП), управление нарядами на работы (для чего могут применяться программные средства) и контроль за работой вендоров и подрядчиков. Основное внимание следует уделить профилактическому и превентивному обслуживанию.

Для контроля проводимых работ необходим процесс управления изменениями (Change Management), основная цель которого — минимизация негативного влияния человеческого фактора и достижение бесперебойного функционирования объекта. Ключевым компонентом этого процесса является методика выполнения работ (Method of Procedure, MOP) — специальный документ с перечнем всех мероприятий.

Еще один важный элемент — документация. Проектные, рабочие и эксплуатационные документы, а также материалы вендоров должны находиться в актуальном состоянии, регулярно обновляться и быть доступны сотрудникам. Речь идет обо всех схемах и мнемосхемах, руководствах производителей оборудования, описании аварийных эксплуатационных процедур, стандартных рабочих процедур и методах выполнения работ, о правилах проведения работ в ЦОДе, информации об обучении сотрудников. И это далеко не полный список. Система управления документацией позволит вести учет наиболее эффективно.

Важнейший инструмент уменьшения негативного влияния человеческого фактора на отказоустойчивость — система контроля и повышения качества, что достигается за счет проверки процессов и процедур, технического обучения и сопровождения, разработки новых более эффективных решений. В такой системе заранее планируются регулярные проверки и инспекции, периодические аудиты, анализ аварий. Большое значение имеют учебные занятия и сертификация специалистов, что помогает снизить риск незапланированных простоев. Для работников со стажем необходимо организовать постоянное повышение квалификации и проверку знаний.

Для минимизации операционных издержек следует постоянно контролировать энергоэффективность в рамках общей программы эксплуатации ЦОДа, что должно предусматривать мониторинг потребления электроэнергии, оптимальную настройку оборудования, отключение неиспользуемых мощностей. Не стоит забывать о внедрении передовых решений и применении альтернативных источников электроэнергии.

Как подчеркивает Леонид Шишлов, при оценке операционной деятельности недостаточно показателей SLA. Для обеспечения эффективной работы всей комплексной программы эксплуатации ЦОДа необходимо внедрить и отслеживать ключевые показатели эффективности (KPI). Они включают в себя множество важных параметров работы ЦОДа, которые базируются на точных объективных данных, взятых из систем мониторинга и контроля, таких как DCIM, журналы безопасности и др. Значимой составляющей программы эксплуатации является финансовое планирование, позволяющее снизить риски — например, устранить задержки с поставкой оборудования и ЗИП, незапланированные расходы и многое другое.

Из-за сложности разработки и реализации комплексной программы эксплуатации ЦОДа совершается множество ошибок. Главные из них — отсутствие метрик реализации программы, плохо организованное обучение, неспособность регулярно проверять знания сотрудников, низкоэффективный процесс контроля изменений, недостаточное документирование, отсутствие системы контроля качества, низкий уровень автоматизации, чрезмерная уверенность в собственных возможностях. И этим список не ограничивается. Даже имея солидный опыт, построить службу эксплуатации ЦОДа очень сложно. Процесс занимает как минимум год и требует немалых инвестиций. Поэтому наилучшим выходом является обращение к компаниям, специализирующимся на выполнении подобных проектов. Так, эффективные решения по разработке и реализации программы эксплуатации предлагает компания Schneider Electric.

МОНИТОРИНГ ПРОИЗВОДИТЕЛЬНОСТИ В ЦОДЕ

Неоценимую помощь в обеспечении бесперебойной работы ЦОДа оказывают и соответствующие технические средства. Николай Демидов, технический эксперт компании Fluke Networks, рассказал о практике мониторинга производительности в ЦОДе. Она требует четкого понимания функционирования всех сегментов инфраструктуры центра обработки данных. Деградация производительности приложений приводит к снижению продуктивности персонала и потере прибыли.

Как правило, ИТ-подразделения используют разрозненные инструменты диагностики. Fluke Networks предлагает инструментальные средства, при помощи которых выполняется целый ряд измерений: оценка качества сети путем активного тестирования; оценка производительности для оптимизации WAN, производительности VoIP и приложений; выявление узких мест в сети и проблем с пропускной способностью. В частности, компания разработала облачный инструментарий Visual TruView. Клиентам ЦОДа он позволяет убедиться в том, что услуги предоставляются с заявленным качеством, а владельцам центров обработки данных — контролировать SLA на всем маршруте, от ЦОДа до клиента. Программно-аппаратный комплекс Visual TruView (см. рис. 3) включает в себя ПО и аппаратные зонды DPI, устанавливаемые на контролируемые каналы. Собираемые с зондов и коммутаторов данные (SPAN, TAP, flow, SNMP) централизованно обрабатываются.

Рис. 3. Компоненты системы Visual TruView собирают и анализируют данные. Информация выводится на портал системного администратора (по данным компании Fluke Networks)

Fluke Networks предлагает насколько градаций своего сервиса.

1. Оценка качества сети (Netflow, активное тестирование) предусматривает классификацию всего сетевого трафика по приложениям и выявляет отклонения от средних показателей загрузки сети.
2. Оценка производительности для оптимизации WAN (модуль WAAS, Netflow) включает элементы оценки качества сети с более глубоким DPI, определяя, на каких проблемных участках можно повысить производительность.
3. Оценка производительности VoIP и расширенный анализ с использованием зондов ASE помогают устранить проблемы с функционированием VoIP в заданных точках, идентифицировать узкие места в сети, выяснить причины низкой пропускной способности, дать рекомендации по изменению параметров.
4. Оценка производительности приложений (расширенный анализ) дает возможность выявить проблемы с функционированием конкретных приложений и получить рекомендации по их устранению.

В графическом интерфейсе можно посмотреть объем трафика по каждому классу обслуживания, выяснить детали деградации сервиса, понять причины происходящего (см. рис. 4). Для целей мониторинга система позволяет задавать пороговые значения контролируемых параметров, при достижении которых будет приходить уведомление для каждого класса обслуживания. Зонды хранят данные за определенный период времени (2–3 дня), могут захватывать и сохранять весь трафик того или иного типа.

Рис. 4. Мониторинг производительности приложений (по данным компании Fluke Networks)

Система позволяет не только выяснить, где источник проблемы — в каналах связи или в инфраструктуре ЦОДа, но и получить ответы на целый ряд вопросов: где теряется время отклика, насколько быстро серверы обрабатывают транзакции, нет ли задержек при передаче данных от сервера к пользователю?

Например, мониторинг производительности VoIP во всей сети позволяет выявить объекты с ухудшенным качеством звонков и наибольшим объемом голосового трафика, помогает определить время отклика IP-УАТС, получить данные о производительности и факторах деградации качества. По визуальной информации можно найти источник проблемы — например, выяснить, что в одном из сегментов неправильно маркирован CoS или причиной деградации качества стала вариация задержки.

На панель администратора выводится график, где отображаются параметры каждого тестового звонка, а диаграмма показывает долю звонков с нормальным подключением, без ответа или без состоявшегося подключения. Нажатие кнопки мыши на графическом элементе позволяет получать более детальную информацию.

Аппаратные зонды предоставляют детальную диагностику сети с глубоким анализом сетевого трафика для всех уровней моделей OSI, обеспечивают расширенный поиск и устранение неисправностей с анализом на уровне пакетов. Администратор может посмотреть время отклика пользователей, приложений и серверов, параметры производительности и отклонения от нормы. Система предусматривает автоматическое обнаружение приложений и серверов, поддерживая большинство приложений, в том числе Lync и Citrix.

Для выявления проблем с сетевой производительностью аппаратные зонды устанавливаются на наиболее важных объектах сети. Они генерируют ценные аналитические отчеты, позволяя ответить на важные вопросы. Есть ли в ЦОДе приложения, работающие медленнее других? Где кроется причина плохой работы приложения — в сети или в ЦОДе? Кто и как должен решать эту проблему? Кроме того, с помощью этой системы можно отслеживать основные параметры производительности облачных сервисов и проверять их соответствие заключенным договорам SLA.

Выпущенная в мае облачная версия Visual TruView Lite использует программные зонды. Такую систему можно продавать клиентам как сервис по подписке. Она позволяет проверить качество предоставляемого сервиса, что, без сомнения, вызовет интерес как у заказчиков, так и у владельцев ЦОДов, строительство которых будет продолжаться. Несмотря на экономические сложности в стране, есть все основания полагать, что рынок ЦОДов ожидает достаточно уверенный, хотя и небольшой рост.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.