Интеграция данных для систем MDM

Идея создания систем управления нормативно-справочной информацией (НСИ) — или систем управления основными данными (Master Data Management, MDM) — состоит в повышении качества данных НСИ за счет работы экспертов в одной специализированной системе с использованием утвержденных методических и регламентных документов. Другой задачей MDM-систем является обеспечение единства классификации, кодирования, именования однородных объектов НСИ (материально-технических ресурсов, контрагентов, услуг и т. д.) во всех информационных системах компании. Такое единство снимает множество проблем несоответствия и несопоставимости данных, формируемых в различных системах, снижает трудоемкость формирования корпоративной отчетности, устраняет необходимость поддержки многочисленных межзадачных конверторов данных и устраняет дублирование.

Качественные, единые нормативно-справочные данные из системы MDM должны быть распространены в другие информационные системы компании со своими локальными справочниками, что требует интеграции системы MDM с другими информационными системами, в интересах которых производится ведение НСИ. Кроме того, при централизованном ведении НСИ все справочники информационных систем компании в любой момент времени должны быть синхронизированы или гармонизированы. Требование «в любой момент времени» означает онлайн-синхронизацию данных с помощью интеграционных взаимодействий. Такая синхронизация осуществляется на этапе внедрения системы управления НСИ при подготовке контента единых справочников, загружаемых в систему MDM, и затем, с помощью интеграционных механизмов, поддерживается в процессе функционирования системы. Справочник каждой системы включает, как правило, данные НСИ (записи), необходимые только для этой системы, а справочник MDM-системы содержит все записи, используемые в справочниках всех информационных систем.

Важнейшим моментом обеспечения синхронизации данных является сохранение для справочника MDM-системы информации о том, в справочниках каких систем присутствует каждая запись этого справочника MDM-системы. Альтернативой является ведение таблиц переходных ключей, посредством которых производится сопоставление записей в справочнике MDM-системы с записями в соответствующем справочнике другой взаимодействующей информационной системы.

Синхронизация данных

Подготовка контента единых справочников в период внедрения MDM-системы, как правило, происходит в процессе нормализации данных, консолидируемых из справочников тех информационных систем, для которых затем будет организовано централизованное ведение НСИ в MDM-системе. Процесс первоначальной подготовки контента для загрузки в MDM-систему включает:

• консолидацию данных из справочников, поступивших на нормализацию (при этом в каждой записи сохраняется информация о системе-источнике и справочнике-источнике в этой системе);
• выявление дублируемых записей и подготовку одной эталонной;
• нормализацию эталонной записи в соответствии с согласованной методикой нормализации данных (нормализованная запись подлежит загрузке в MDM-систему);
• связывание ссылками записей-дублей и эталонной записи.

При загрузке нормализованного контента в справочник системы MDM в нее также загружаются таблицы переходных ключей либо связанная с нормализованной записью информация о том, в справочниках каких еще систем находятся записи, соответствующие эталонной записи. Эта информация необходима для последующей синхронизации изменений эталонной записи и записей во взаимодействующих информационных системах и, соответственно, для адресации интеграционных пакетов, исходящих из системы MDM.

В справочниках взаимодействующих информационных систем также должны быть выполнены изменения — в них расширяется атрибутный состав и подгружаются: идентификатор соответствующей эталонной записи в MDM-системе, нормализованное наименование, коды по различным классификаторам и т. д. Дополнительно по результатам нормализации в справочниках взаимодействующих систем должны быть архивированы дубли, устаревшие и некорректные записи.

Процессы ведения данных НСИ

При функционировании системы управления НСИ основным является процесс обработки запросов пользователей на внесение дополнений и изменений в единые справочники. Запросы пользователей формируются и обрабатываются в интерфейсе системы MDM, для чего в промышленных решениях, например от IBM, SAP и Oracle, предусмотрены механизмы настройки потоков работ, позволяющие: создавать запрос с атрибутным составом, соответствующим обновляемому справочнику; формировать шаги процесса; назначать роли для работы на различных шагах; конструировать сколь угодно сложные процессы обработки запросов со многими участниками процесса, имеющими различные роли и полномочия по изменению атрибутов запроса. По результатам обработки запроса формируется или изменяется запись в соответствующем справочнике системы MDM. Ответственность за корректность данных в системе управления НСИ несут эксперты службы ведения НСИ.

Взаимодействие пользователей с системой управления НСИ (рис. 1) основано на нескольких принципах. Для справочников и классификаторов, ведение которых организовано в системе управления НСИ, запрещается их изменение во всех других информационных системах, взаимодействующих с системой MDM. В случае, если пользователь локальной корпоративной системы не находит в ее справочнике нужной записи, он производит поиск в справочнике системы управления НСИ, а затем выгружает найденную запись в свой справочник. Если запись не найдена, то пользователь формирует запрос на добавление записи в справочник системы управления НСИ. Если же запись найдена, но ее требуется изменить, пользователь формирует запрос на изменение записи. Эксперты вносят изменения и дополнения в базы данных системы управления НСИ на основании запросов пользователей. Созданная запись через интеграционную шину передается и загружается в справочник той корпоративной информационной системы, пользователь которой создал запрос на добавление новой записи. При передаче информации о вновь созданной записи система MDM должна зафиксировать ее связь со справочником (или записью справочника, если ведутся таблицы переходных ключей). Изменения записи в справочнике MDM-системы должны быть переданы во все информационные системы, с которыми связана измененная запись.

Рис. 1. Схема взаимодействия пользователей с системой управления НСИ

Важным моментом для синхронизации данных НСИ является привязка пользователей MDM-системы к другим информационным системам и справочникам — запись, добавленная в систему управления НСИ на основе запроса пользователя, должна быть передана через интеграционный механизм в справочник той информационной системы, к которой отнесен пользователь. В случае наличия неоднозначности пользователь в запросе на добавление/изменение, а также при выгрузке записи должен выбрать из нескольких систем и справочников, с которыми он ассоциирован в MDM-системе, ту, в которую должна быть передана созданная/измененная/выгружаемая запись. Кроме того, измененная в MDM-системе запись будет автоматически передана во все системы и справочники, с которыми она уже была ранее ассоциирована в MDM-системе. Такая ассоциация в решении «КомпьюТел» по управлению НСИ, созданном на основе IBM InfoSphere MDM Collaboration Server, осуществляется путем установления иерархии «Информационные системы»: предприятия / подразделения компании, информационные системы, справочники. Пользователи классифицируются по данной иерархии — связываются с теми информационными системами и справочниками в них, с которыми они работают и для которых им могут понадобиться записи из справочников MDM-системы.

Если в MDM-системе не ведутся таблицы переходных ключей, то для связи записей справочника MDM со справочниками взаимодействующих информационных систем достаточно выполнить классификацию записей справочника по иерархии «Информационные системы». Некоторые MDM-решения, в частности IBM InfoSphere MDM Collaboration Server, позволяют классифицировать один элемент справочника (каталога) по любому количеству иерархий (классификаторов) и по любому количеству узлов (категорий) в одном классификаторе (иерархии), что дает возможность с помощью стандартных механизмов настраивать необходимые для интеграции связи.

В подавляющем большинстве случаев интеграционные взаимодействия ограничиваются передачей данных по результатам обработки запросов пользователей и, соответственно, процессы изменения данных НСИ в MDM-системе производятся только с использованием механизма формирования и обработки запросов пользователей. Даже если эксперты НСИ выполняют регламентные работы по проверке данных, они сами формируют себе запросы на внесение изменений в записи справочника. В решении «КомпьюТел» для повышения гибкости, функциональности и более полного учета потребностей бизнеса реализованы дополнительные процессы изменения данных НСИ, порождающие интеграционные взаимодействия:

• выгрузка найденной записи из справочника MDM-системы в справочник локальной прикладной системы, инициируемая пользователем без формирования запроса на внесение изменения/дополнения в справочник MDM-системы;
• прямая модификация записей без запросов на внесение изменений и дополнений в справочник MDM-системы, выполняемая экспертами НСИ в процессе регламентных проверок данных НСИ, включающих выявление и идентификацию ошибок в значениях атрибутов справочников, дублей, устаревших записей, некорректной классификации данных и т. п.;
• импорт новых или измененных данных из внешних файлов в систему MDM.

Интеграционные взаимодействия по результатам положительной обработки запросов и при инициации выгрузки записи выполняются в режиме онлайн, а по результатам прямой модификации записей и импорта записей настраиваются по расписанию или инициируются администратором.

Механизмы интеграции данных

Интеграция реализуется с использованием следующих механизмов выгрузки записей:

• через корпоративную сервисную шину (IBM WebSphere Enterprise Service Bus, IBM WebSphere Process Server, Jboss Enterprise Service Bus);
• посредством веб-сервисов;
• через системы передачи сообщений (IBM WebSphere MQ, Java Message Service (JMS));
• через внешние таблицы.

Наилучшим вариантом интеграции системы управления НСИ с другими информационными системами компании является использование интеграционной шины (рис. 2), которая позволяет реализовать сервисный подход, облегчающий интеграцию приложений. Сервисный подход предполагает, что сквозные бизнес-процессы на основе веб-сервисов передают данные между системами и приложениями в рамках определенной бизнес-логики. Система управления НСИ, с одной стороны, должна поддерживать SOA-среду, предоставляя различные бизнес-функции по управлению мастер-данными в виде сервисов, а с другой — является необходимым условием внедрения SOA, так как для реализации процессов требуется единый централизованный источник нормативно-справочных данных. В условиях отсутствия такого источника при передаче оперативных (транзакционных) данных из одной системы в другую неизбежно будет возникать вопрос сопоставления справочников.

Рис. 2. Общая схема информационного взаимодействия

В рамках интеграционного процесса формируется и передается в интеграционную шину интеграционный объект, содержащий информацию об одной записи справочника MDM-системы. Шина передает объект в адаптер локальной информационной системы, которая формирует ответ и через шину передает его в систему управления НСИ. Такое интеграционное взаимодействие реализуется с помощью двунаправленного интерфейса веб-сервисов.

Интеграционные объекты для всех справочников системы управления НСИ универсальны и состоят из заголовка и XML-строки передаваемой записи, содержащей описание структуры записи справочника и значения атрибутов записи. Механизм формирования XML-строки универсален для всех справочников MDM-системы. Заголовок содержит идентификатор запроса в информационную систему и справочник, в который должна быть передана запись, а также код операции (добавление, изменение, архивирование, выгрузка) и некоторые другие атрибуты.

Обратное сообщение из информационной системы содержит идентификатор запроса, статус обработки (загрузки записи в информационную систему) и сообщение об ошибке. Если в MDM-системе ведется таблица переходных ключей, то передается также идентификатор записи в справочнике взаимодействующей информационной системы. Ошибки загрузки могут касаться несовпадения кодов вспомогательных справочников, передаваемых в составе XML-строки, наличия в информационной системе передаваемого идентификатора записи из MDM-системы в том случае, если код операции — «добавление» и т. п.

Мониторинг изменений

В MDM-системе создается два специализированных каталога: запросов и синхронизации. Первый предназначен для: мониторинга и анализа исполнения запросов на создание/изменение записей каталогов системы управления НСИ, а также процедур выгрузки записей во взаимодействующие системы; отражения общей картины работы над запросами вне зависимости от того, на каком шаге обработки они находятся; формирования отчетов о ходе обработки запросов. Записи в каталоге запросов создаются также для идентификации и мониторинга других интеграционных взаимодействий, вызванных модификациями и импортом записей в MDM-систему.

Записи в каталоге запросов отражают процесс изменения/создания/выгрузки конкретной записи основного каталога MDM-системы и не подлежат модификации. В этих записях отображается список информационных систем, в которые должна быть передана или уже передана запись основного каталога. При выполнении интеграционных взаимодействий, в каталоге запросов размещается информация о статусе передачи интеграционного пакета в каждую информационную систему: успешно/неуспешно. При неуспешной передаче в каталог запросов записывается информация об ошибке.

Записи, которые по результатам положительной обработки запросов или при выполнении операции выгрузки из-за технических проблем почему-либо не были переданы во взаимодействующие информационные системы, должны заноситься в каталог синхронизации. В этот каталог заносится также информация обо всех изменениях записей, которые были выполнены в MDM-системе путем прямой модификации записей или в результате их импорта. Каталог имеет следующие атрибуты: идентификатор записи, идентификатор запроса, идентификатор записи модифицируемого каталога MDM-системы, дата последнего изменения записи модифицируемого каталога и количество попыток передачи записи. Система по настроенному расписанию формирует интеграционные пакеты для выгрузки записей, находящихся в каталоге синхронизации. Возможна принудительная повторная передача изменений. Успешно переданные записи удаляются из каталога. На рис. 3 приведена общая схема системы синхронизации записей в справочниках MDM-системы и справочниках взаимодействующих (локальных) информационных систем.

Рис. 3. Общая схема системы синхронизации записей в справочниках

Если взаимодействующие информационные системы не подключены к интеграционной шине, то обновление справочников данными из MDM-системы может производиться на основании файлов экспорта, которые могут использоваться для сверки данных взаимодействующих систем с данными MDM-системы. В решении «КомпьюТел» реализован экспорт данных из справочников MDM-системы в файлы XML, CSV, Access и Excel. Экспорт может выполняться по расписанию и по инициативе администратора системы управления НСИ.

Решения по управлению НСИ

Решение «КомпьюТел» по управлению НСИ предназначено для построения централизованных систем в государственных структурах и коммерческих компаниях. Оно содержит необходимые объекты и функции для централизованного ведения НСИ по материально-техническим ресурсам (МТР), контрагентам и местоположениям (адресам). В состав НСИ по МТР включены: справочник МТР, корпоративные классификаторы, общероссийские классификаторы, вспомогательные справочники. В составе единого корпоративного классификатора МТР предусмотрена возможность ведения свойств (технических характеристик) и допустимых значений свойств для МТР, принадлежащих к определенному классу. В позициях справочника МТР обеспечено отражение технических характеристик (свойств и значений свойств), наследуемых из категории классификатора, к которому отнесена позиция справочника МТР. В состав НСИ по контрагентам включены: справочник контрагентов, классификатор контрагентов, расчетные счета контрагентов, банки, общероссийские и ведомственные классификаторы.

Адресный блок НСИ может быть использован во взаимосвязи с НСИ по контрагентам и отдельно и включает адресный классификатор на основе Классификатора адресов РФ (КЛАДР) или заменившей его базы данных Федеральной информационной адресной системы (ФИАС), вспомогательные справочники и общероссийские классификаторы: ОКАТО, ОКТМО. Это решение позволяет включать в него любые справочники и классификаторы заказчика.

Характерной особенностью решения является наличие дополнительных общесистемных функций, таких как:

• настроенный бизнес-процесс формирования и обработки запросов на внесение дополнений и изменений в единые справочники системы управления НСИ, завершающийся интеграционным процессом;
• мониторинг исполнения запросов пользователей на внесение изменений и дополнений в справочники (каталог запросов);
• автоматическая синхронизация изменений, вносимых в справочники системы управления НСИ, со справочниками прикладных информационных систем;
• единый формат для передачи данных через интеграционную шину и адаптеры для взаимодействия с ней;
• мониторинг интеграционных взаимодействий;
• универсальная процедура экспорта/импорта данных.

***

Интеграционные решения «КомпьюТел» проверены практикой промышленной эксплуатации автоматизированной системы ведения НСИ на предприятиях ЗАО «СИБУР Холдинг», в части НСИ по материально-техническим ресурсам; прошли испытания в рамках макета системы управления НСИ по контрагентам и адресному блоку в ОАО «МРСК Урала», а также внедряются в составе проекта по созданию продуктового каталога для одного из крупнейших универсальных банков России.

Алла Токарева (ATokareva@computel.ru) — директор департамента систем управления НСИ, Алексей Доронькин (ADoronkin@computel.ru) — руководитель группы разработки департамента систем управления НСИ компании «КомпьюТел» (Москва).