Cеть в МПС

Cколько грузовых вагонов, цистерн и железнодорожных контейнеров катится по железным дорогам нашей далеко не маленькой страны! Днем и ночью, летом и зимой. И за всеми нужно следить, знать, куда они направляются и когда прибывают в пункт назначения, а если вдруг вагоны где-то "потеряются", требуется их оперативно найти. Эти задачи очень и очень непростые, однако главный вычислительный центр Министерства путей сообщения (ГВЦ МПС) с ней успешно справляется. Именно он занимается информационным обеспечением грузовых железнодорожных перевозок по Росии и СНГ, в нем хранятся оперативные базы данных о дислокации и передвижении вагонного парка, а также осуществляется учет вагонов, цистерн, железнодорожных контейнеров.

В нашей стране существуют 19 региональных железных дорог разного масштаба, которые имеют соответственно 19 региональных ВЦ. При прохождении вагоном таких пунктов, как сортировочные станции, терминалы погрузки-выгрузки и просто какие-то полустанки, происходит постоянный учет номеров вагонов. Эти данные по разного рода каналам связи, в том числе даже телеграфным, стекаются в региональные ВЦ, а из них - в ГВЦ МПС.

Однако эта система не чисто иерархическая, она обеспечивает не только циркуляцию данных по каналам связи между региональными ВЦ и ГВЦ, но и связывает между собой ВЦ соседних дорог. При пересечении вагоном определенных границ обмен происходит по выделенным каналам со скоростью примерно 9,6 кбит/с на нескольких уровнях и по разным направлениям.

И всем этим громадным потоком информации нужно управлять, его приходится круглосуточно обрабатывать. Чтобы оперативно решать задачи учета, отчетности, координации, статистики и информационного обеспечения управленческого аппарата МПС, в ГВЦ МПС построена постоянно совершенствующаяся мощная вычислительная сеть. Рассмотрим ее подробнее.

Структура сети

Основу вычислительных ресурсов ГВЦ МПС составили мэйнфреймы IBM 9672 под управлением OS/390. Все данные размещаются на нескольких дисковых массивах - RAMAC (IBM), SYMMETRIX 5100 и 5700 (EMC2) - общей емкостью до 1Тбайт.

Локальная сеть объединяет волоконно-оптическим кабелем центральное здание МПС и находящееся в 100 м от него административное здание, на трех этажах которого размещается ГВЦ. Такое расположение и явилось определяющим условием при выборе топологии сети.

Важным фактором, который учитывался при проектировании сети, была необходимость обеспечения круглосуточной бесперебойной работы всей кабельной системы, построенной на базе структурированной кабельной системы SYSTEMAX фирмы Lucent Technology. По периметру здания ГВЦ размещены локальные центры коммутации, в которых для обслуживания абонентов, подключенных к этим центрам, установлены объединенные в стек коммутаторы первого уровня моделей Catalyst 3000 (16 портов) и Catalyst 3100 (24 порта) фирмы Cisco. Они оснащены дополнительными волоконно-оптическими линиями Fast Ethernet (full duplex) для связи с центральным коммутатором модели Catalyst 5000 и соседними локальными центрами коммутации.

Для повышения надежности от каждого локального коммутатора идет резервная волоконно-оптическая линия Fast Ethernet к центральному коммутатору сети ГВЦ, который будет поддерживать работоспособность сети в случае выхода из строя центрального коммутатора МПС. Физически основные и резервные линии, проходящие от здания МПС к зданию ГВЦ, собраны в отдельные кабели.

Локальные центры коммутации МПС связаны также волоконно-оптическим кольцом, обеспечивающим автономное функционирование сети в случае повреждения кабельных каналов между МПС и ГВЦ.

Абонентские рабочие станции в здании МПС подключаются к коммутаторам первого уровня через стеки 24-портовых концентраторов GeoStax/24 фирмы UB Networks (в настоящее время входящей в состав компании Newbridge). Концентраторы сегментированы таким образом, что на одном сегменте находится не более cеми рабочих станций, а каждый локальный центр коммутации способен обеспечивать подключение к ЛВС от 100 до 400 рабочих станций. Рабочие станции в здании МПС, функционирующие под управлением ОС Windows 3.11 и Windows 95, объединены в один домен Windows NT. Используется протокол TCP/IP со статическим распределением адресов.

В каждом локальном центре коммутации расположены сервер, выполняющий функции резервного контроллера домена (модели Dell Power Edge 4100), и сервер приложений, обеспечивающий решение оперативных задач в интересах различных департаментов МПС (модели Dell Power Edge 4200 с двумя процессорами Pentium II). Серверы смонтированы на 19-дюймовой стойке. Подключение резервных линий связи обеспечивается протоколом Spanning Tree. К центральным коммутаторам МПС и ГВЦ, соединенным между собой каналами FastEther Channel, которые обеспечивают согласованную передачу данных по нескольким линиям Fast Ethernet, также подключен ряд серверов общего назначения, в частности почтовый сервер МПС (Dell Power Edge 6100) c ПО Microsoft Exchange Server 4.0 и сервер резервного копирования модели QTM 4500S фирмы Quantum с ПО Arc Serve 6.5 и библиотекой на носителях DLT.

Центральные коммутаторы сети связаны линиями Fast Ethernet с основными (Cisco 7507) и резервными (Cisco 7513 ) маршрутизаторами. Основные маршрутизаторы обеспечивают доступ абонентов ЛС к мэйнфреймам IBM с помощью модулей интерфейсных адаптеров Cip2, подключенных непосредственно к каналу передачи данных ESCON мэйнфреймов, а также обеспечивают подключение многочисленных каналов к другим организациям и предприятиям МПС.

Сеть МПС снабжена серверами удаленного доступа Cisco 2509 и Cisco 2511, а также модемными стойками T-288ND фирмы Tainet с целью обеспечения доступа мобильным абонентам и абонентам, заинтересованным в получении информации, хранящейся в ГВЦ. Безопасность при подключении внешних абонентов обеспечивается ПО CheckPoint FireWall-1, сертифицированным Гостехкомиссией.

Система управления сетью

Сеть только ГВЦ включает 230-240 рабочих мест, а в здании МПС их больше 550 (в перспективе предполагается подключение до 1200 рабочих мест).

Для сети такого масштаба с большим количеством разнородного сетевого оборудования просто необходима эффективная система управления, позволяющая оперативно следить за состоянием сетевых устройств, изменением трафика, обнаруживать "узкие места" и локализовывать неисправности. Построением такой системы занималась компания TopS. Работы велись в два этапа. На первом решалась задача обеспечения надежного управления всей сетевой инфраструктуры этого ВЦ. Был построен центр управления сетью на базе оборудования компании Cisco. Магистральную линию обслуживают два Catalyst 5000, на уровне отделов установлены коммутаторы Саtalist 3000, у рабочих групп - концентраторы GeoStax/24, объединенные в стеки. Вся кабельная система сети соответствует категории 5.

В качестве платформы сетевого управления был выбран HP OpenView Network NetManager на основе двух серверов HP 9000, объединенных в кластер. В центре управления для обеспечения работы оборудования Cisco Systems поверх платформы сетевого управления установлен пакет CiscoWorks.

В результате проведенной работы администратор получает карту сети и может определить устройство, с которым, например, возникли проблемы, вызвав обслуживающую его конкретную программу. Особенность проекта заключается в том, что создан отказоустойчивый центр, обеспечивающий круглосуточную бесперебойную работу сети. Реализована возможность многотерминального управления сетью, а также удаленного конфигурирования через любой браузер Internet при наличии у администратора соответствующих полномочий. Магистральная сеть обеспечивает пропускную способность 200 Мбит/c.

На консолях администраторов стоят Х-терминалы Unix, что позволяет минимизировать управляющий трафик и в основном перекладывать всю нагрузку на серверы.

Первый этап работ был завершен в конце ноября 1997 г. В настоящее время реализуется второй этап. В опытной эксплуатации находится система управления трафиком NetMetrix. В ней используются зонды, поддерживающие стандарт Rmon, которые позволяют собирать данные по производительности сетевого устройства, а также определять сколько и каких пакетов или какие IP-адреса вызывают перегрузку. Система NetMetrix комплексно просматривает все зонды (главное, чтобы они поддерживали стандарт Rmon1 или Rmon2) и выдает полную карту производительности устройств сети. Можно определить адрес, вызывающий перегрузку, детализировать информацию о происходящем в канале, найти отказавшую сетевую плату, сделать "срез" по критичным точкам в сети (от 10 до 20), вызывающим перегрузки.

Предполагается, что система NetMetrix, интегрированная в центр управления сетью, дополнит ее анализом канальных низкоуровневых параметров. Если у оборудования есть SNMP-агент, то он соберет всю статистику по данному оборудованию. Система управления сетью выявляет все SNMP-агенты и строит связи между ними. Таким образом, можно увидеть карту сети, которая динамически обновляется через заданные администратором интервалы времени. При превышении установленного вами порога какого-либо параметра устройства его пиктограмма будет либо подсвечиваться красным цветом, либо мигать, сопровождаясь звуковым сигналом.

На базе этой системы управления можно также администрировать работу пользователей, управлять печатью в масштабах всей организации и базами данных. Кроме того, система OpenView поддержана подавляющим большинством производителей сетевого оборудования, следовательно, с ее помощью можно успешно решать проблему совместного управления сетевым оборудованием от разных поставщиков.

Особенность проекта - в единую систему подключены серверы, мэйнфреймы и созданный cпециалистами компании ТopS отказоустойчивый кластер, причем последний организован c использованием уже существующих в МПС RAID-массивов SYMMETRIX. Для кластеризации систем высшей категории использовано ПО MC Service Guard.

Общая стоимость проекта, выполненного сотрудниками компании TopS, составила примерно 192 тыс. долл. Она включает стоимости оборудования, ПО, всех работ по созданию кластера, по настройке систем и приложений управления, по технической поддержке сервисных центров НР и по консультационно-технической поддержке компании TopS в течение года, а также стоимость обучения.

В настоящее время идет процесс освоения сотрудниками службы ГВЦ МПС этой системы управления.

Итог

Конечно, построение сети не было самоцелью. Проведенные работы позволили обрабатывать и хранить большой объем различной информации о вагонах (тип, вид перевозимого груза, условия договора, данные о фирмах, заключивших соглашение), а также сведения об экспедиторе. Кроме того, существенно возросла оперативность доступа к хранящимся данным. Все это дает дополнительные источники дохода, ведь такие сведения просто необходимы сторонним организациям, например множеству экспедиторских фирм. Возросла интеграция с сетями различных отраслевых и научно-исследовательских институтов МПС, занимающихся автоматизацией. Стал возможным оперативный доступ работников аппарата МПС к данным о перевозках, что повышает эффективность управленческих решений.

Наряду с глобальными задачами решаются и локальные - строится система единого документооборота и разрабатывается ряд отраслевых задач, связанных с анализом грузоперевозок. Например, существует такое понятие, как суточный отчет, т. е. полный отчет о произведенных за сутки перевозках, который cоставлен по массе позиций. Это кипа из 4,5 тыс. листов бумаги, которые ежедневно поступали в здание МПС и разносились по столам чиновников. Теперь же любой сотрудник министерства cо своего рабочего места при наличии, конечно, права доступа, может получить этот отчет на внутреннем Web-сервере и выбрать необходимую информацию.

Наконец, еще один немаловажный положительный момент. Работа на железнодорожном транспорте ведется круглосуточно, а объекты удалены друг от друга на значительные расстояния. Зачастую на таких объектах работал недостаточно квалифицированный персонал, и специалистам ГВЦ для настройки сетевого оборудования приходилось туда выезжать. Теперь стали возможны ранняя диагностика, администрирование и конфигурирование удаленных объектов из центра управления сетью ГВЦ.

Таким образом, созданная сеть позволяет решить главную задачу, которую специалисты ГВЦ формулируют так: "доставить груз быстрее и целее".

(По материалам, предоставленным ГВЦ МПС и компанией TopS).