Мастер-данные на перекрестке торговых путей

Мастер-данные, или основные данные, объединяют ключевую для бизнеса компании информацию из различных ее подразделений, филиалов и информационных систем для получения единого, согласованного представления о выпускаемых продуктах, сервисах, контрагентах и клиентах. В России практически синонимом мастер-данных стало понятие нормативно-справочной информации (НСИ), однако в компании X5 Retail Group используют англоязычный термин MDM (master data management), возможно, вследствие тщательного анализа западного опыта, который был проведен перед внедрением собственной системы управления мастер-данными.

Система управления мастер-данными представляет собой набор методов и программных инструментов для решения задачи управления основными, или справочными, данными в хранилищах данных, сформированных из различных информационных систем с пересекающимися структурами и дублирующимся содержимым. Система MDM обеспечивает идентичность справочников и классификаторов в масштабах всей организации, создание, хранение, предоставление, обмен и синхронизацию согласованных, точных и актуальных данных о продуктах и клиентах компании, а также эффективное управление изменениями этих данных в соответствии с потребностями бизнеса.

Как и в случае любого сложного корпоративного ПО для поддержки бизнеса, внедрение MDM означает изменение организационной культуры, формирование новых правил работы с данными, формализацию и унификацию соответствующих бизнес-процессов, подкрепленные программными механизмами управления. Аналитики Gartner видят в MDM «целостную дисциплину, объединяющую процессы, архитектуру и людей». Справедливость этого утверждения иллюстрирует опыт компании X5 Retail Group.

Как объединить помидоры с помидорами

История крупнейшей российской розничной компании хронологически совпадает с историей крупнейшего внедрения системы MDM в этой отрасли. Основным стимулом к созданию такой системы стало слияние в 2006 году двух торговых сетей – «Перекресток» и «Пятерочка», в результате которого и возникла компания X5 Retail Group N.V. Каждое из объединившихся торговых предприятий обладало собственными информационными системами, включая программные решения для ведения мастер-данных. Данные о товарной номенклатуре и о контрагентах «Перекрестка» и «Пятерочки», значительно пересекавшиеся друг с другом, велись независимо, что создавало объединенной компании серьезные проблемы.

Как отмечает директор X5 Retail Group по управлению ИТ Теймур Штернлиб, наличие разных систем, причем не только для разных торговых сетей, но и, в случае «Пятерочки», для разных регионов, приводило к тому, что один и тот же товар, например помидоры, фигурировал с разными кодами, что не позволяло объединенной компании воспользоваться возможными выгодами от слияния. Так, работая с поставщиком, с которым раньше поддерживали партнерские отношения и «Перекресток», и «Пятерочка», X5 Retail Group не могла получить лучшие условия при значительном увеличении объемов закупок, поскольку формально один и тот же продукт представлял собой две разные позиции в товарной номенклатуре. Вторым очевидным недостатком использования разных решений для управления мастер-данными оказалась невозможность создавать единые крупные склады для обслуживания магазинов разных форматов. Для того чтобы возить с одного склада зеленый горошек в магазины «Перекрестка» и «Пятерочки», необходимо было представлять этот продукт как одну товарную единицу для различных розничных сетей. Кроме того, нужно было иметь возможность сравнивать цены на один артикул в магазинах разных форматов.

Необходимость решения таких проблем подтолкнула X5 к внедрению единой информационной системы ведения мастер-данных. Было принято принципиальное решение о развертывании независимого и не интегрированного в какую-либо ERP-систему продукта. На момент начала проекта компания работала с двумя системами: Axapta (Microsoft Dynamics AX), которая использовалась для управления сетью магазинов «Перекресток», в том числе для решения задач управления мастер-данными, и приложением «Пятерочки», разработанным силами собственных ИТ-специалистов на базе продуктов Microsoft Access и SQL Server. В объединенной компании планировалось внедрение ERP-решения SAP Retail. Тем не менее, имея в виду динамичность развития бизнеса X5 Retail Group, специалисты компании осознали необходимость не привязывать будущую MDM к конкретной учетной системе.

«Если сегодня для розничной торговли выбрана ERP-платформа компании SAP, это не означает, что завтра, купив аптечную сеть или магазины электроники, мы будем управлять новыми активами тоже с помощью решений SAP. Вполне возможно, что для нового бизнеса они не будут оптимальными. Однако мастер-данные по-прежнему должны быть едины, поскольку, например, косметика марки Johnson&Johnson продается и в сети магазинов Перекресток, и в аптеках», – поясняет Штернлиб.

Именно решение о внедрении единой ERP-платформы послужило для компании стимулом заранее инициировать проект по реализации независимой системы MDM. «При любом внедрении ERP обеспечение качества данных составляет не менее половины решаемых проблем», – отмечает Штернлиб. Поэтому в X5 Retail Group ими занялись еще до начала проекта по SAP – решение этих задач в рамках проекта внедрения SAP, по словам Штернлиба, оказалось бы в несколько раз сложнее.

Выбор и реализация

При выборе программного решения для реализации системы MDM в компании X5 Retail Group учитывали мнение аналитиков Gartner. Компания выбирала из списка лидеров рынка по оценкам Gartner, анализируя технологические возможности их продуктов, распространенность на рынке, примеры внедрения и ценовые аспекты. В итоге выбор пал на систему IBM WebSphere Product Center (WPC, недавно переименована в IBM Infosphere MDM Server for Product Information Management), которая, как замечает Штернлиб, оказалась лидером среди MDM-решений в сфере розничной торговли. В большинство крупных ритейловых компаний, таких как Carrefour, Best Buy и Albertsons, внедривших систему управления мастер-данными, используется WPC. Перед началом проекта специалисты X5 Retail Group познакомились, в частности, с опытом реализации этого решения у французских коллег. Среди отличительных черт продукта IBM в X5 отметили гибкость модели данных, открытость, мультиплатформенность и высокую производительность.

Разработка архитектуры решения была поручена французской компании Edifixio, имеющей большой опыт внедрения MDM-систем на платформе IBM WPC. Специалисты Edifixio определили требования к системе и спроектировали модели данных и методы их реализации в WPC. Основным российским подрядчиком проекта стала компания «Крок», которая не один год занимается проблемами управления мастер-данными на отечественных предприятиях и имеет собственный программный комплекс для управления НСИ. Однако, как подчеркивает руководитель направления системных решений компании «Крок» Александр Хлуденев, для России в целом и для российской розничной торговли в частности это был первый MDM-проект такого масштаба, и его реализация существенно обогатила опыт специалистов компании в этой области.

Компания «Крок» отвечала за конфигурирование WPC для реализации разработанных на этапе постановки задачи моделей данных, каталогов, ограничений доступа к данным в соответствии с ролями пользователей. Специалисты компании также занимались разработкой бизнес-правил работы с мастер-данными. Кроме того, требовалось спроектировать и реализовать механизм загрузки первоначальных данных в систему MDM из транзакционных систем «Пятерочки» и «Перекрестка» и разработать механизм экспорта измененных и созданных данных из WPC в эти системы.

В задачу специалистов компании X5 Retail Group входила оценка влияния проекта на бизнес, определение стратегии миграции данных, разработка адаптеров информационных систем «Пятерочки» и «Перекрестка» для интеграции с новым MDM-решением, изменение этих систем, комплексное тестирование и приемка готового решения. Проект был начат в сентябре 2007 года, а 1 апреля 2008-го система управления мастер-данными на платформе IBM WPC была введе-на в промышленную эксплуатацию.

Правильная модель

По словам Штернлиба, с самых первых шагов для X5 Retail Group стала ясна масштабность поставленной задачи: «Мы поняли, что за мастер-данными кроется целый мир, который может стать для компании либо большим конкурентным преимуществом, либо серьезной проблемой». Как отмечает Штернлиб, главное, что позволяет превратить систему MDM в конкурентное преимущество, это понимание того, что для компании есть мастер-данные и какими свойствами они обладают. Причем решение о том, какие данные будут отнесены к основным и попадут в сферу управления системы MDM, должно приниматься исходя не только из текущего состояния бизнеса, но и из оценки его перспектив на ближайшие три-четыре года – в этом случае усилия по разработке модели данных и формированию каталогов мастер-данных обеспечат эффективность работы с данными в компании на перспективу.

Определяющими для формирования понятия мастер-данных и разработки их модели стали потребности внедряемой ERP-платформы. Система MDM в настоящее время работает с данными о товарах (товарной номенклатуре) и данными о поставщиках (контрагентах) компании. Кроме того, в ближайшем будущем планируется отнести к категории мастер-данных и занести в систему так называемые «объекты»: данные о магазинах, распределительных центрах и офисах компании.

Для каждого типа мастер-данных были разработаны каталоги, включающие в себя соответствующие классификаторы (иерархию товаров или контрагентов компании). Мастер-данные – это достаточно сложные сущности, запись в каталоге для определенного типа мастер-данных может содержать несколько позиций, например определенному наименованию товара соответствуют несколько штрихкодов, каждый со своими атрибутами. «В классической реляционной модели это было бы реализовано с помощью разных таблиц, а MDM-система позволяет разместить всю эту информацию в записи одного каталога», – поясняет Хлуденев.

Определив, что будет включено в понятие мастер-данных, компания должна получить эффективную модель данных. Разработка правильной модели считается самым сложным аспектом проекта внедрения системы MDM, модель задает структуру, позволяющую описать все необходимые свойства мастер-данных. Модель-данных – это фактически декомпозиция сущности (товар, поставщик) на ее атрибуты и выделение для каждого атрибута его типа, возможных допустимых значений, правил проверки этих значений и т.д. На начальных этапах можно ошибиться в определении такой декомпозиции, например, как поясняет Штернлиб, для продуктовых товаров изначально в модели данных целый ряд свойств, таких как жирность, литраж и др., задавались в качестве отдельных атрибутов. Однако уже на этапе эксплуатации системы выяснилось, что многие из этих атрибутов не задействованы в бизнес-процессах компании, у них нет конкретных потребителей, заинтересованных в их постоянной актуальности, поэтому такие данные быстро теряли качество – «загрязнялись». Такие свойства, как литраж молока, достаточно хранить в наименовании товара, в отличие от процента содержания алкоголя – атрибута, который используется в различных процессах, связанных с выполнением законодательства, алкогольного декларирования, определения НДС и др., и потому обязательно должен быть выделен.

Ситуацию несколько упрощала гибкость продукта WPC, поддерживающего развитые возможности настройки модели мастер-данных, добавления и удаления атрибутов, задания бизнес-правил и ведения истории изменений всех атрибутов всех сущностей. Как поясняет Хлуденев, целевая модель данных единой системы управления мастер-данными была сформирована на базе моделей данных, которые поддерживались в системах «Перекрестка» и «Пятерочки» и были реализованы на платформе реляционных СУБД. Для новой единой модели были определены бизнес-правила, которые проверяют качество мастер-данных при первоначальной загрузке в систему и сохранении изменений. Например, для весовых товаров не нужно производить проверку на наличие штрихкода, который для этой категории, в отличие от штучных товаров, не поддерживается в международном формате. Для алкогольной продукции должны быть заполнены обязательные атрибуты, например уже упомянутый процент содержания алкоголя. Все эти действия определяются и регулируются бизнес-правилами. В MDM-системе компании X5 Retail Group для каталога товарной номенклатуры было разработано 45 скриптов проверки бизнес-правил и введено 90 атрибутов мастер-данных, в каталоге контрагентов – 75 бизнес-правил и 110 атрибутов.

Архитектура MDM для торговли

Для того чтобы система управления мастер-данными начала работать, необходимо было подготовить и загрузить в нее данные о товарах и контрагентах, которые уже существовали в транзакционных системах компании X5 Retail Group. Для этого на базе эталонного формата – модели мастер-данных в единой системе – был разработан механизм объединения мастер-данных двух информационных систем и реализована процедура начальной загрузки данных в WPC.

Загрузке данных в новую систему предшествовал многоступенчатый процесс их очистки, включающий в себя устранение дубликатов, четкое выделение заданных в новой модели атрибутов, если в «унаследованных» системах они были не выделены должным образом или вообще упущены, объединение данных из разных систем при необходимости и т.д. Эта работа проводилась с помощью составленных перекодировочных таблиц, определяющих соответствие между записями мастер-данных систем «Перекрестка» и «Пятерочки». В компании пришлось проделать очень большой объем работ по первоначальной загрузке данных – перед стартом проекта в систему были помещены записи о 300 тыс. товаров и 9 тыс. контрагентов. Кроме того, уже после ввода системы в промышленную эксплуатацию X5 Retail Group приобрела розничную сеть «Карусель», что добавило в систему мастер-данные еще о 120 тыс. наименований товаров. Реализация WPC на трехзвенной платформе промежуточного уровня IBM WebSphere Application Server обеспечила хорошую масштабируемость, так что и будущие расширения объемов хранимых и обрабатываемых мастер-данных не должны составить проблемы.

Система управления мастер-данными помимо их хранения обеспечивает ввод новых данных, например, в связи с появлением у компании новой товарной номенклатуры или новых поставщиков, а также централизацию любых изменений мастер-данных, таких как добавление атрибутов, например новых видов НДС. Все эти изменения, включая появление новых мастер-данных, должны быть реплицированы в транзакционные системы поддержки бизнеса компании. При этом действия над мастер-данными в самих этих системах проводиться уже не могут – интерфейсы информационных систем «Пятерочки» и «Перекрестка» были модифицированы таким образом, чтобы пользователи могли только обобщать данные.

Для репликации мастер-данных из централизованной MDM-системы в ERP-решения используется асинхронный механизм гарантированной доставки сообщений, построенный на базе IBM WebSphere MQ (см. рисунок). Как отмечает Хлуденев, выбор такого решения был принципиальным, поскольку транзакционные системы магазинов не всегда бывают доступны, например, из-за профилактических работ или чрезмерной загрузки. Использование асинхронного механизма интеграции снимает риск блокировки процесса сохранения изменений или новых записей в мастер-данных в учетных системах. Любые изменения в MDM-системе передаются в WebSphere MQ, а затем адаптеры систем «Перекрестка» и «Пятерочки» (адаптер «X» и адаптер «5») извлекают эти данные из соответствующей данному адаптеру очереди и передают их в нужную систему.

Разработкой адаптеров занимались специалисты X5 Retail Group, что было связано с особенностями существовавших в компании учетных решений. В сети магазинов «Пятерочка» используется система собственной разработки, а платформа Axapta для поддержки работы магазинов «Перекресток» была сильно кастомизирована, поэтому построение эффективных адаптеров для интеграции с этими системами требовало очень хорошего знания их «внутренней кухни». Адаптеры забирают из очереди системы WebSphere MQ сообщения об изменениях мастер-данных, каждое такое сообщение представляет собой одну измененную или созданную запись в справочной таблице либо в каталоге товарной номенклатуры или контрагентов системы MDM. Выгрузка изменений из WPC происходит в распределенной транзакции, то есть гарантируется, что измененная запись не сохранится в WPC, пока данное изменение не будет помещено в систему гарантированной доставки сообщений. Таким образом устраняется риск потери изменений.

Особенность данного интеграционного решения состоит в том, что допускается использование разных операционных сред для сервера MDM-системы и выделенного сервера интеграции, на котором размещаются адаптеры. В реализованной в X5 Retail Group архитектуре система WPC функционирует на базе операционной системы IBM AIX, а сервер интеграции – на Windows Server 2003, поскольку транзакционные системы обеих розничных сетей реализованы на платформе Microsoft. При этом менеджеры системы доставки сообщений WebSphere MQ установлены как на сервере WPC, так и на сервере интеграции.

С внедрением системы SAP Retail в компании приступили к развертыванию единой интеграционной шины на платформе SAP, к ней уже подключена система передачи сообщений IBM, и в перспективе планируется с помощью этой шины данных интегрировать между собой все информационные системы компании. Сейчас в компании идет проект по созданию единой инфраструктуры для основных приложений, которая будет поддерживать и систему управления мастер-данными.

Результаты и перспективы

«До внедрения системы MDM надо дорасти, причем не столько с точки зрения зрелости, сколько с точки зрения масштабов бизнеса», – считает Штернлиб. По его мнению, небольшим компаниям нет особого смысла заниматься реализацией внешней системы управления мастер-данными. Такая задача возникает, когда предприятие развивает несколько видов бизнеса, которые поддерживают разные информационные системы. В этом случае необходим единый источник метаданных о продуктах, клиентах и контрагентах, который будет поставлять достоверную информацию в разные учетные и другие ИТ-решения.

Объединив два крупных бизнеса в области ритейла, X5 Retail Group оказалась первой отечественной компанией такого масштаба на российском рынке розничной торговли, и потому именно ей пришлось стать первопроходцем по внедрению MDM. Теперь наличие единой системы управления мастер-данными, обеспечивающей централизованную идентификацию и классификацию продуктов, поставщиков и условий поставок для всех магазинов компании, позволит быстро получить ощутимый эффект от синергии закупок и логистики при любых других приобретениях, что уже продемонстрировала интеграция с торговой сетью «Карусель».

Переход к единой ERP-платформе в X5 Retail Group происходит постепенно, путем поэтапного подключения регионов с продолжением использования других учетных решений. Кроме того, MDM рассматривается в компании как источник важной информации для разных систем, а не только ERP. Например, справочник объектов (магазинов), который планируется реализовать в системе управления мастер-данными, будет использоваться также в системе автоматизации службы технической поддержки в качестве поставщика информации для конфигурационной базы данных (CMDB). Все это подтверждает правильность выбора архитектуры решения как автономной, но интегрированной с другими ИТ-системами платформы. Однако внедрение программного решения – лишь половина проблемы постановки эффективного управления мастер-данными в компании. Создание механизмов хранения и обработки мастер-данных должно быть подкреплено организационной деятельностью по формированию бизнес-процессов работы с мастер-данными. В этом случае процедуры гармонизации (объединение, вычистка и т.д.) данных и их занесения в систему станут постоянной практикой, обеспечивающей актуальность и работоспособность MDM-решения.

В ходе проекта отдел работы с мастер-данными был переведен из подразделения, отвечающего за логистику, в ИТ-департамент компании. Сотрудники отдела (21 человек) полностью отвечают за реализацию процедур, связанных с централизованным вводом и изменением мастер-данных. Кроме того, отдел территориально был объединен с управлением бухгалтерского и налогового учета компании, что позволило значительно ускорить передачу информации об изменениях атрибутов мастер-данных, связанных с НДС (в соответствии с законодательством этот обмен информацией остается бумажной процедурой). В результате организационных изменений, подкрепленных эффективной программной платформой, время на добавление позиций в каталоги и справочники системы управления мастер-данными сократилось с трех недель до одного дня.

В перспективе планируется сделать систему географически распределенной, подключив все регионы присутствия X5 Retail Group и поставщиков – выбор в пользу независимого от каких-либо ERP-систем решения для управления основными данными диктовался в том числе перспективой подключения к нему поставщиков. В этом случае специалисты компаний-контрагентов смогут сами заносить в систему свои данные и делать в них необходимые изменения, а сотрудники отдела мастер-данных X5 Retail Group будут только проводить верификацию этих данных. По словам Штернлиба, все это поможет оптимизировать ресурсы, необходимые для управления мастер-данными в компании.

X5 Retail Group N.V.

Крупнейшая в России по объемам продаж розничная компания X5 Retail Group N.V. ставит перед собой стратегическую задачу стать лидером розничной торговли России, способным на равных конкурировать с ведущими международными сетями. Компания развивает три формата торговых сетей: дискаунтеры, супермаркеты и гипермаркеты. Под управлением компании находится более тысячи магазинов в Москве, Санкт-Петербурге и еще 40 городах европейской части России, на Урале и на Украине. На конец июня 2009 года мультиформатная сеть X5 Retail Group включала в себя 900 магазинов «Пятерочка» формата «мягкий дискаунтер», 211 супермаркетов «Перекресток» и 53 гипермаркета «Карусель».

Теймур Штернлиб: «За мастер-данными кроется целый мир, который может стать для компании либо большим конкурентным преимуществом, либо серьезной проблемой»

Управление информацией о продуктах и не только

IBM InfoSphere Master Data Management Server for Product Information Management – решение для управления мастер-данными о продуктах, которое позволяет различным подразделениям предприятия совместно работать над ними. Помимо ведения центрального репозитория для хранения мастер-данных, система дает возможность задавать правила и моделировать процессы для согласованного создания, обогащения, модификации и распространения мастер-данных по различным ИТ-системам предприятия.

IBM InfoSphere MDM Server for PIM предоставляет организациям следующие возможности управления мастер-данными о продуктах и сервисах: интуитивные пользовательские интерфейсы; средства взаимодействия в рамках бизнес-процессов; средства агрегирования данных; детализированные привилегии доступа; модель данных и управление иерархиями.

InfoSphere MDM Server for PIM обеспечивает создание модели данных, понятной бизнес-пользователям за счет работы с понятиями, которые, как правило, используют организации в управлении информацией о продуктах и сервисах: каталог, иерархия, категория, элемент и т.п. Каталоги включают в себя определенные наборы продуктов или сервисов, которые фигурируют в системе как элементы. Модель безопасности InfoSphere MDM Server for PIM обеспечивает доступ пользователей к элементам каталога в зависимости от служебных обязанностей или других бизнес-параметров, определяющих роль каждого пользователя в организации. Система поддерживает возможности ограничения доступа к определенным полям в описании элементов каталога, позволяя тем самым обеспечить специальную защиту для наиболее критичных для бизнеса данных.

InfoSphere MDM Server for PIM имеет возможности управления категориями и различными иерархиями продуктов и сервисов, обеспечивая полное представление всей необходимой информации о продукте и сервисе в каталоге. Среди атрибутов элемента каталога могут быть ключевые данные для вывода продукта на рынок, данные для связи с системами оперативного управления предприятием и управления поставками, взаимосвязи элемента с другими продуктами, отображение элемента в определенные категории в различных иерархиях продуктов и др.

Организации также могут определять дополнительные объекты управления для системы MDM в соответствии со своими бизнес-процессами – созданная модель данных может быть легко расширена и модифицирована.

Агрегация и синдикация данных в InfoSphere MDM Server for PIM базируется на средствах интеграции с различными корпоративными решениями. Для работы в гетерогенных средах решение поддерживает наиболее распространенные протоколы для межсистемного взаимодействия, включая MQ, Java Message Service (JMS), HTTP, FTP, SOAP, а также разнообразные форматы данных, в том числе XML, CSV, MS Excel. Помимо непосредственной интеграции с различными источниками данных, InfoSphere MDM Server for PIM может обращаться для агрегации данных к различным системам промежуточного слоя, включая платформы IBM, а также Microsoft BizTalk, SAP Exchange Infrustructure, Tibco, SAG WebMethods.

InfoSphere MDM Server for PIM поддерживает SOA-среду, позволяя представлять различные бизнес-функции по управлению мастер-данными в виде Web-сервисов, написанных на языке скриптов системы или на Java.

Для системы управления мастер-данными очень важны возможности взаимодействия сотрудников организации в рамках бизнес-процессов создания и сопровождения данных о продуктах. Такое взаимодействие в InfoSphere MDM Server for PIM обеспечивается благодаря развитой поддержке потоков работ, которые конфигурируются и хорошо масштабируются. Потоки работ интегрируются с моделями данных, что гарантирует ввод корректных данных.

InfoSphere MDM Server for PIM обладает также целым рядом характеристик, направленных на обеспечение высокой производительности, надежности и масштабируемости при управлении мастер-данными: реализация на базе стандартной платформы Java EE; поддержка кластеризации сервера приложений; поддержка параллельной работы пользователей; большие объемы обработки данных и пакетной обработки; оптимизированный графический пользовательский интерфейс.

Сегодня большинство внедрений IBM MDM Server for PIM приходится на предприятия розничной торговли и промышленности, для которых ключевой является информация о товарах и оборудовании. Однако сейчас все больше предприятий планируют наряду с основным продуктовым каталогом вести еще и каталог своих контрагентов. При этом возможность установки связи между каталогами позволяет хранить информацию о том, какие из контрагентов предприятия являются поставщиками каждой конкретной товарной позиции.

– Денис Макоед (denis_makoed@ru.ibm.com), технический специалист по программному обеспечению управления информации, IBM Software Group (Москва).