Внедрению биллинговой системы оператора сотовой связи «ВымпелКом» сопутствовало построение сети хранения данных.
Телекоммуникации — одна из тех отраслей, которые развиваются в России наиболее быстро и где затраты на сферу ИТ особенно велики благодаря постоянному притоку инвестиций. На ближайшую перспективу самым привлекательным и быстрорастущим направлением останется мобильная связь, тем более что ей начинают отдавать предпочтение не только частные пользователи, но и организации. В результате количество телефонных линий фиксированной связи сокращается, а трафик перенаправляется в мобильные сети. По данным ежемесячного отчета консалтингового бюро Advanced Communications and Media (AC&M), в октябре 2005 г. число подписчиков на услуги сотовой связи составило около 115,8 млн — почти вдвое больше, чем год назад.
Громадный объем абонентской базы, высокие темпы ее роста и ответственность перед каждым абонентом предъявляют повышенные требования к инфраструктуре — главному фундаменту операторского бизнеса. Его надежность является критически важным параметром: каждая минута простоя имеет свою немалую цену. Между тем организация технологических процессов оператора сотовой связи весьма специфична: услуги предоставляются круглосуточно, а обработка звонков осуществляется при неравномерном характере трафика. Чтобы внезапный рост количества звонков и общее увеличение объема абонентской базы не привели к замедлению работы основных приложений, их функционирование должно отвечать высоким требованиям к производительности, доступности, масштабируемости и гибкости.
ФУНДАМЕНТ ДЛЯ БИЛЛИНГА
Как известно, одно из ключевых приложений любого оператора — биллинговая система, от эффективности которой непосредственно зависит величина его доходов. На биллинг возлагаются важнейшие функции: контроль за ключевыми финансами (исходя из информации, хранящейся в базе данных пользователей), поддержка отвечающих за обеспечение услуг приложений и проверка (уменьшение) дебетовой задолженности.
Биллинговые системы функционируют на основе крупных баз данных, содержащих учетные записи. Тарификация зависит от длительности разговора, направления и т. д., а учетная запись позволяет выяснить, через каких провайдеров может пройти трафик абонента и какой из этих путей оптимален. Вся информация накапливается в базах данных, требующих емких аппаратных ресурсов.
Хорошо продуманный биллинг позволяет дополнительно увеличивать доходы операторов благодаря своевременному сбору информации, коротким циклам обработки и точному расчету. Современные биллинговые системы списывают средства со счета клиента в оперативном режиме, прямо в процессе разговора, что также сопряжено с высокой нагрузкой на вычислительные мощности аппаратного обеспечения, а значит, производительность серверов и ресурсов систем хранения данных должна быть очень большой. Потребность решения подобных задач, с одной стороны, полностью изменила облик самих биллинговых систем (они стали частью систем поддержки бизнеса — Business Support System, BSS), а с другой — создало предпосылки для появления новых видов услуг.
Таким образом, правильно выбранные аппаратные средства для поддержки биллинга должны обеспечивать высокопроизводительные вычисления обработки информации в режиме, близком к реальному времени; адаптироваться к внезапным всплескам трафика и легко масштабироваться, чтобы поддерживать быстрые темпы роста абонентской базы; быть готовыми к поддержке новых разнообразных сервисов при сохранении отличного качества обслуживания; обеспечивать как внешнюю, так и внутреннюю безопасность и быть чрезвычайно надежными, поскольку цена вопроса очень высока.
ПРОВОДЫ АТЛАНТА
Серьезным импульсом для развития инфраструктуры одного из трех ведущих сотовых операторов связи, компании «ВымпелКом», стало принятое в 2001-2002 гг. решение о внедрении биллинговой системы Amdocs. В этот период ее абонентская база росла на 140-150% в год, в связи с чем очень остро встал вопрос о доступности и масштабируемости, поскольку биллинговая система «Атлант», с которой «ВымпелКом» работала на начальном этапе, не справлялась с нарастающим трафиком.
В качестве платформы для построения всего комплекса управляющих процессов компании была выбрана линейка продуктов Amdocs Ensemble, куда вошли несколько модулей: «Поддержка продаж», «Поддержка клиентских операций» и собственно «Биллинг». Впоследствии к этому перечню добавили модуль «Склад».
Кроме того, стало очевидно, что одновременно необходимо внедрять систему отчетности как элемент системы поддержки и принятия решений. Дополнительную сложность проекту придавало и то, что биллинговая система Ensemble в «ВымпелКоме» выполняет тарификацию абонентов только с кредитной и авансовой системой расчетов. За предоплаченные тарифы отвечает платформа Comverse.
Перед развертыванием Amdocs Ensemble сначала было решено внедрить предбиллинговую платформу-посредник (mediation) для сопряжения оборудования с прикладными системами. Предбиллинговая подсистема снимает выходные данные с разнообразных устройств в определенном их производителями формате и преобразует в тот формат, который поддерживает биллинговая система. Она успешно интегрируется с биллинговой системой, благодаря чему нагрузка на последнюю значительно снижается. При обширных абонентских базах и разнообразии тарифных планов это обстоятельство оборачивается решающим конкурентным преимуществом.
Полученные сведения могут передаваться в аналитическую систему или в систему принятия решений. Если технические средства (хранилища данных) позволяют агрегировать большие объемы данных (подробные записи об услугах), необходимые для текущей тарификации, то сохраняемая детальная информация позволит упростить введение очередной услуги. Функционирование предбиллинговой системы также предполагает обращение к объемным базам данных, для поддержания которых требуются надежные и мощные ресурсы хранения.
ЭВОЛЮЦИЯ ИНФРАСТРУКТУРЫ
Для поддержки прежней биллинговой системы «Атлант» массивы RAID не применялись, а использовались системы JBOD — корзины с дисками SCSI, которые подключались напрямую к серверам. На тот момент всю вычислительную нагрузку несли серверы Sun 4500 и дисковые системы Sun 5200, подключавшиеся в качестве JBOD. По словам инженеров, устанавливавших серверы Sun, по гибкости, удобству администрирования и доступности эти устройства были тогда лучшими в отрасли. В частности, они позволяли производить замену неисправных модулей на лету, не прерывая работу приложений, функционирующих в круглосуточном режиме.
Аппаратную платформу решили нарастить и приобрести серверы Sun 10K, а затем и Sun Enterprise 15K. Поставку серверов и дисковых систем XP512, а затем XP 1024 осуществила компания «Инфосистемы Джет». Ее специалисты выполнили настройку и конфигурацию систем, интегрировали их в инфраструктуру оператора, а в настоящее время помогают осуществлять обслуживание техники. После установки биллинговой системы Amdocs весь поток данных был перенаправлен на новую платформу.
В момент приобретения XP 512 стартовая емкость составляла не более 4 Тбайт, но вскоре массив быстро заполнился, достигнув максимальной емкости 18 Тбайт. Следом за ним были приобретены еще один массив XP 512, два массива XP 1024, а впоследствии XP12000 (системы серии XP поставила компания HP, по OEM-соглашению с HDS). Бизнес растет столь быстро, что емкость вновь установленной дисковой системы заполняется до максимальной конфигурации за короткое время, после чего приходится приобретать следующую. Сегодня общий объем дискового пространства достиг нескольких сотен терабайт. Системы хранения обеспечивают функционирование практически всех корпоративных приложений — помимо баз данных абонентов, звонков и склада, относящихся к платформе Amdocs, на них находятся базы данных CRM, ERP, финансовой системы, системы отчетности, а также системы контроля за мошенничеством (Fraud).
Системы RAID, пришедшие на замену JBOD, поначалу подключались непосредственно к серверам (технология DAS). Однако уже после приобретения второго массива и по мере роста баз данных (Oracle, SAP/R3) стало ясно, что для удобства модернизации имеющихся и установки новых серверов, а также для более эффективной организации адресного пространства необходимо отказаться от такой практики и перейти к организации сети хранения. Проект построения SAN стартовал через полгода после запуска биллинговой системы. В качестве элементов коммутирующего облака были выбраны крупные 64-портовые коммутаторы директорского CNT, впоследствии к ним добавились 64-портовые коммутаторы Brocade.
Сегодня сеть хранения данных состоит из двух основных сегментов на базе коммутаторов CNT и Brocade. Подключение всех серверов к каждому из сегментов позволяет дублировать пути и повышает общую надежность решения. Третий сегмент сети хранения выполняет вспомогательную функцию резервного копирования. Всего задействовано свыше 1000 портов (см. Рисунок 1).
МИГРАЦИЯ ДАННЫХ И РЕЗЕРВНОЕ КОПИРОВАНИЕ
По мере приобретения и подключения новой более производительной и функциональной техники нередко возникает задача миграции данных с одной системы на другую. При этом приходится учитывать, что наиболее критические приложения работают в круглосуточном режиме, и прерывание их работы чревато проблемами — например, клиент не сможет получить детализированный счет или, что еще хуже, внести средства на свой счет, без которых он просто теряет связь.
Для поддержки непрерывного режима работы и организации эффективного хранения данных в проекте использовались продукты Veritas, в частности Veritas Volume Manager. С его помощью стало возможно распределить логические диски между физическими дисковыми массивами и управлять производительностью прозрачно для приложений. Его применение позволило гораздо более эффективно задействовать общую емкость дисковых массивов и отложить проблему дефицита свободной емкости на более поздний срок.
Возможности пакета Veritas NetBackup для работы в окружении SAN обеспечивают выполнение резервного копирования данных в обход сервера приложений. При миграции данные с виртуального тома, сконфигурированного на одном дисковом массиве, переносятся на вторую половину «зеркала» на другом дисковом массиве, поэтому для приложения все манипуляции проходят незаметно. Миграция на лету для части наиболее критичных приложений осуществлялась посредством переключения путей коммутаторов.
Функции дисковых массивов серии XP позволяют создавать кло-ны внутри собственного дискового пространства, после чего они могут подключаться напрямую к серверам резервного копирования (подобная работа может быть возложена на менее производительные серверы, в «ВымпелКоме» для этих целей используются Sun 4900). Данные с клона переписываются на ленту в обход сервера приложений, не мешая работе основных приложений. Благодаря такой схеме удалось добиться высокой скорости резервного копирования за счет применения режима NetBackup ServerFree. Скорость ограничивается лишь производительностью ленточного накопителя.
Первоначально резервное копирование осуществлялось на небольшие библиотеки Sun StorEDGE L11000 и Sun StorEDGE L1000, которые теперь задействуются для архивного хранения. Спустя некоторое время были приобретены две библиотеки IBM 3584 с почти сотней приводов Ultrium III. Стандартная процедура резервного копирования включает ежедневное инкрементальное и еженедельное полное резервное копирование на ленты. Ленточный накопитель подключен не только к серверу резервного копирования, но и к производительному серверу Sun. Опция Continuous Access дисковых массивов серии XP позволяет тиражировать данные с рабочей системы на резервную площадку (на случай катастроф) прозрачным для приложений образом. Объем резервных копий занимает почти 0,5 Пбайт.
В настоящее время осуществляется тестирование системы Veritas Command Central, она будет отвечать за мониторинг и отчетность, а впоследствии — за полное управление всем жизненным циклом данных.
Сегодня услугами сотовой связи пользуются около 80% населения России, причем, как предсказывают аналитики, в крупных городах в 2006 г.
может произойти насыщение рынка сотовой связи, и тогда борьба за каждого клиента перейдет на уровень конкуренции по услугам. Одна из функций платформы Amdocs, так называемый Switch-контроль (мо-дуль управления штатными услугами GSM), реализует интерфейс для подключения новых услуг, развертывание которых на платформе SAN может осуществляться совершенно незаметно для всех основных приложений. Сеть хранения чрезвычайно удобна для подключения новых серверов и дисковых систем и позволяет оператору обеспечить высокий уровень непрерывности бизнеса. Как пояснил Дмитрий Валетин, начальник отдела администрирования корпоративных систем ДИТ «Вымпел-Кома», созданная архитектура и заложенный в дисковых системах функционал предоставляют гибкие возможности для создания резервного центра с любым уровнем сложности.
Наталья Жилкина — научный редактор «Журнала сетевых решений/LAN». C ней можно связаться по адресу: nzil@lanmag.ru.
Коротко о главном
OAO «ВымпелКоммуникации»
Адрес главного офиса: Москва, ул. Восьмого Марта, 10
Факты. «ВымпелКоммуникации» — один из ведущих операторов сотовой связи в России и СНГ. С 1993 г. компания предоставляет услуги сотовой связи под брэндом «БиЛайн». У «ВымпелКома» — 40 млн абонентов в 77 регионах России, в Казахстане и на Украине. Компания оказывает услуги сотовой связи, в числе которых — обмен SMS и MMS, информационно-развлекательные сервисы, роуминг со 186 странами мира.
Задачи. В рамках выбранной долгосрочной стратегии работы «ВымпелКома» на рынке сотовой связи предполагалось кардинально повысить уровень финансовых поступлений.
В связи с этим возникла потребность внедрения предбиллинговой платформы и платформы для биллинга, соответствующих масштабам бизнеса компании. Для их поддержки понадобилась высокопроизводительная, надежная, гибкая, масштабируемая сетевая инфраструктура.
Решение. Выполнение поставленной задачи потребовало создания фундамента для развертывания новой биллинговой системы. Для этих целей пришлось модернизировать вычислительную сеть компании и построить сеть хранения данных, отвечающую требованиям высокой производительности, доступности, гибкости и масштабируемости. В сотрудничестве с техническим персоналом «ВымпелКома» весь цикл работ по реализации проекта выполнили специалисты «Инфосистемы Джет», включая поставку техники, настройку, конфигурацию и интеграцию систем в инфраструктуру оператора.
Вывод. Для удобства развертывания биллинговой системы в «ВымпелКоме» была построена высокопроизводительная локальная вычислительная сеть и сеть хранения данных, на базе которой внедрены предбиллинговая платформа (mediation) и биллинговая система на платформе Amdocs Ensemble. Такая инфраструктура позволила сущест-венно повысить общую надежность решения, обеспечить поддержку вновь вводимых услуг и построить резервный центр хранения для защиты от катастроф.