Цифровые партнерские системы сегодня растут, как грибы после дождя. И если непременным условием появления и развития грибов являются осадки, то для цифровых экосистем обязательным условием их роста и «симбиоза» с другими организациями становятся данные — совместно используемые, взаимно полезные, качественные. Гарантированно получить их можно, только если выстроить достаточно зрелые процессы управления данными, причем не на уровне отдельных партнеров и контрагентов, а в рамках всей цифровой экосистемы.

О главных отличиях управления данными в цифровых экосистемах от управления данными на отдельных предприятиях, а также о необходимых для этого технологических изменениях мы попросили рассказать экспертов, принявших участие в девятом по счету форуме «Управление данными 2024» — единственном в России ежегодном мероприятии такого уровня, посвященном стратегическим аспектам организации работы с данными и бизнес-управления, основанного на данных.

Главные особенности управления данными в цифровых партнерских экосистемах

Как подчеркивают наши эксперты, эти отличия не радикальны, но весьма существенны, и пренебрегать этими отличиями не стоит.

Так, по словам Игоря Моисеева, директора по развитию компании DataCatalog (входит в группу Arenadata), управление данными в цифровых экосистемах затрагивает большое количество разнородных данных, источниками и потребителями которых выступает множество участников этих экосистем. В таких сценариях необходимо использовать подходы и механизмы для обеспечения целостности, доступности и безопасности, обеспечивающие широкий охват разнородных ландшафтов данных. Показательным долговременным эффектом внедрения процессов управления данными в экосистемах, как правило, становятся стандартизация ландшафта корпоративных хранилищ участников экосистемы и снижение стоимости владения данными.

Олег Гиацинтов: «Цифровые экосистемы строятся на основе охвата большей части задач целых направлений и полной совместимости используемых компонентов»

«Обычно каждая организация развертывает у себя решения, исходя в первую очередь из собственных конкретных функциональных требований. При этом обеспечение совместной работы разных видов ПО нередко откладывается на более поздний период, — отмечает Олег Гиацинтов, технический директор DIS Group. — Цифровые экосистемы строятся на основе охвата большей части задач целых направлений (а не отдельных функций) и полной совместимости используемых компонентов. Поэтому в цифровых экосистемах данные более эффективно используются разными модулями и реже возникает вопрос о дополнительной интеграции».

По наблюдениям Кирилла Евдокимова, руководителя направления Data Governance компании GlowByte, управление данными на отдельных предприятиях или в холдингах строится на взаимном обмене ограниченным набором данных, способным обогатить и дополнить информацию, которая уже имеется в компании. Основное внимание при этом уделяется обеспечению прозрачного и стандартизированного слоя сервисов предоставления данных, вопросам информационной безопасности и юридической чистоты обмена, в том числе управлению согласиями. Вместе с тем, хранение данных, их описание, обеспечение их качества и гармонизации остаются локальными задачами каждой конкретной компании, участвующей в обмене. «Иными словами, этот подход, как правило, не требует построения единых точек хранения данных и центральной “надструктуры” управления данными, — поясняет Евдокимов. — Согласование стандартов или спецификаций обмена данными может производиться участниками коллегиально или в формате декларации, когда каждая сторона публикует формат своего сервиса и обеспечивает его реализацию и поддержку. Если рассматривать такую группу партнеров как единую систему, то можно говорить и о реализации децентрализованной модели управления данными с фиксированными контрактами».

Кирилл Евдокимов: «Для управления данными в экосистемах требуется консолидированный подход с предоставлением данных всем участникам на основе сервисной модели»

Цифровые экосистемы, продолжает Евдокимов, предполагают более тесную интеграцию различных сервисов и продуктов, в том числе поставляемых различными провайдерами, поэтому для управления данными в экосистемах требуется более консолидированный подход с предоставлением данных всем участникам по схеме «данные как сервис»: «В этом случае уместно говорить не просто о слое сервисов обмена данными, а о централизованном облаке или хранилище данных, в котором обеспечивается консолидация и гармонизация ключевой информации (например, о клиентах), доступная всем или большинству продуктов и сервисов, входящих в экосистему. Для эффективной реализации такой схемы требуется федеративный подход: централизованная команда отвечает за единое “облако данных”, в том числе за их качество, прозрачность (управление метаданными) и безопасность. Эта же команда определяет единые для всех участников стандарты и технические сервисы сбора и обновления данных в центральном хранилище, и кроме того, предоставляет интерфейсы и инструменты для анализа общих данных».

«Экосистема создается, чтобы в рамках сервисной модели дать клиенту некий расширенный перечень актуальных для него услуг, — развивает дискуссию Борис Bольпе, президент ГК «Максима». — При этом любое предприятие в рамках экосистемы оказывает только какой-то один вид услуг (например, каршеринга, банкинга или торговли) и для осуществления этой деятельности создает свою модель данных. Это всегда ограниченная модель, ограниченный набор данных. И по всем таким данным мы можем делать выводы. Чем больше и шире наше понимание клиента, его интересов, тем больше мы ему сможем предложить и тем точнее будут наши предложения. Как следствие, вовлеченность в использование экосистемы тоже будет выше».

Управляя всеми этими данными, необходимо учитывать множество нюансов, добавляет Bольпе: «Во-первых, каждый вид бизнеса имеет свои ограничения и регуляторные особенности, касающиеся конфиденциальных данных (например, медицинских). Кроме того, есть требования 152-ФЗ, согласно которым, данные надо обезличивать. Поэтому сама модель обогащения данных — это нелинейная модель. С учетом правовых норм ни один банк даже в рамках своей экосистемы не сможет обогатить свои данные, например, данными медицинской организации. Поэтому появляются наборы инструментов для обогащения данных с соблюдением регуляторных требований, и чем жестче эти требования в сегменте, тем сложнее в реализации будут механизмы обогащения. Поэтому управление данными цифровой экосистемы — это даже не сумма задач по управлению данными отдельных компонентов, а новая огромная задача, которая решается с использованием другого класса платформ, в частности, Customer Data Platform (CDP). С точки зрения технологий, это качественно более сложная задача».

Станислав Лазуков: «В экосистеме в центре внимания будут механизмы и регламенты совместной работы и обмена данными»

Станислав Лазуков, генеральный директор TData, напоминает о важности гармонизации задач управления данными внутри отдельно взятого предприятия с задачами, стоящими на уровне экосистемы: «Если внутри организации основной фокус выстраивается на методологии, системах и стандартах с акцентом на наиболее актуальные вопросы целевых групп пользователей, то в экосистеме в центре внимания будут механизмы и регламенты совместной работы и обмена данными. При этом важность вопросов, касающихся владельцев данных, их доступности, безопасности и пр., остается высокой на любом уровне управления».

Станислав Шлишевский, руководитель направления по работе с финансовым сектором компании «Инфосистемы Джет», считает, что главная особенность цифровых экосистем — это объемы данных, которыми нужно управлять: «Представим, что вы управляете данными в двух разных организациях: в крупном федеральном банке и в малом региональном. У федерального банка есть большое количество представительств и филиалов, множество типов продуктов и услуг, и по всем им поступают данные. Кроме того, есть мастер-данные из MDM-системы и данные машинного обучения. Суммарные объемы просто огромны! В региональном банке все гораздо проще: есть данные о нескольких ключевых продуктах и базовая информация о клиентах — такой объем легко контролировать. Также есть отличия по структуре данных: федеральный банк имеет дело с разнородными данными, и, чтобы понять общую картину, их нужно как-то собрать воедино. В региональном банке все данные более или менее однородные, и их легко организовать. Отличается и подход к взаимодействию: у федерального банка может быть экосистема с большим количеством партнеров, поставщиков и непрофильных продуктов, между которыми нужно обмениваться данными. В региональном банке основные взаимодействия происходят внутри него. Очевидно, что у этих двух банков разные требования и к обеспечению информационной безопасности, и к согласованию стандартов. Крупным игрокам требуются существенно более гибкие системы, учитывая разнообразие сценариев использования данных и специфику партнеров».

Сергей Шевяков: «В структуре данных экосистем изначально содержится большое количество дублирующей информации»

Сергей Шевяков, архитектор компании PARMA TG, в целом соглашается со Станиславом: «В экосистемах объем данных значительно больше, чем в отдельных организациях. Это очевидное, но не главное отличие. Важнее то, что в структуре данных экосистем изначально содержится большое количество дублирующей информации. Например, в сети медицинских центров один и тот же специалист может называться совершенно по-разному (например, участковый врач, семейный доктор, терапевт). При наличии пересекающихся сущностей сложно получить достоверную аналитическую информацию, невозможно принимать правильные управленческие решения, базирующиеся на данных. Установить соответствие схожих данных и исправить ошибки дублирования можно — для этого есть множество технических средств и алгоритмов, в том числе на базе ИИ. Но, по моему опыту, ни один алгоритм пока не способен решить эту проблему полностью. Вместе с программой должен работать эксперт, и его голос имеет решающее значение для проверки того или иного значения. Кроме того, для экосистем не существует общих алгоритмов для выявления дублей, каждый инструмент приходится разрабатывать под конкретный проект».

Эльвин Мустафаев: «Цифровые экосистемы требуют высокой гибкости в управлении данными, чтобы быстро реагировать на изменения внешней среды»

Эльвин Мустафаев, директор департамента BI Polymatica компании SL Soft, выделяет пять основных особенностей экосистем: «Во-первых, данные в экосистемах должны быть интегрированы и открыты для обмена между различными организациями, тогда как в пределах предприятия управление данными обычно сосредоточено в рамках внутренних систем и стандартов. Во-вторых, цифровые экосистемы требуют высокой гибкости в управлении данными, чтобы быстро реагировать на изменения внешней среды, тогда как на предприятиях процессы могут быть более формализованными. В-третьих, управление данными в экосистемах должно учитывать большее количество внешних (в первую очередь государственных) нормативов и стандартов, в то время как внутри предприятия внимание концентрируется на соблюдении внутренних правил. В-четвертых, партнерство в экосистемах критически важно, в то время как в традиционных моделях акценты могут быть смещены на конкуренцию. Наконец, в-пятых, цифровые экосистемы часто полагаются на распределенные, как правило, облачные технологии, в то время как отдельные предприятия могут использовать традиционные локальные решения».

Дополнительные технологические решения для управления данными в экосистемах

Эксперты сходятся во мнении о том, что для управления в экосистемах потребуются дополнительные архитектурные или инфраструктурные решения. При этом коллеги выделяют разные аспекты и инструменты.

«Для построения цифровой экосистемы нужна мощная архитектурная проработка, так как необходимо заставить работать компоненты как единое целое. Это касается как программных, так и аппаратных компонентов, — уверен Гиацинтов. — Они должны обмениваться данными в режимах, требуемых для функционирования каждого отдельного компонента».

Борис Вольпе: «В экосистемах совершенно иные требования к уровню надежности, интеграции, быстродействию и кибербезопасности»

Вольпе, в частности, обращает внимание на кибербезопасность: «Требуется огромный набор архитектурных приемов, обеспечивающих клиентам безопасный доступ в экосистему. Для этого, например, может применяться двухфакторная авторизация или видеодетекция — Face ID. Кроме того, нужны системы передачи данных, гарантирующие полное шифрование данных. Также необходимо обеспечить раздельное хранение ключей и данных, в том числе территориально распределенное, чтобы они физически не хранились в одном ЦОДе».

Кроме того, добавляет Вольпе, в экосистемах предъявляются гораздо более высокие требования к производительности ИТ-инфраструктуры — это нужно, чтобы предоставляемый клиентам сервис был быстрым. И, опять же, ИТ-инфраструктура экосистемы должна быть устойчивой не только в отношении сбоев и катастроф, но и DDoS-атак. «Иными словами, в экосистемах совершенно иные требования к уровню надежности, интеграции, быстродействию и кибербезопасности», — развивает свою мысль Борис. И поскольку объемы данных в экосистемах кратно больше, нужны технологии для работы с большими данными и огромные информационные хранилища.

Все перечисленные требования выливаются в кратно большее увеличение затрат, считает Вольпе. Поэтому важно заранее оценить, сможет ли увеличение выручки с клиента перекрыть эти затраты, будет ли спрос на новые виды предложений и не уйдут ли вообще клиенты из экосистемы.

Станислав Шлишевский: «Главная особенность цифровых экосистем — это объемы данных, которыми нужно управлять»

С коллегами соглашается и Шлишевский: крупной организации, в том числе экосистеме, потребуется изменение подходов как в архитектуре, так и в том, что касается выбора и интеграции инструментов: «Ядром экосистемы является умное озеро данных. Также должны присутствовать инструменты и культура Data Governance, автоматизация создания ETL-процедур, ИИ-средства для оптимизации сервисов подготовки качественных данных и различных рекомендаций, а также высококачественный контент всех видов метаданных и их связей».

Мустафаев отмечает пять основных направлений развития управления данными в экосистемах: «Первый — многослойная архитектура, включающая уровни сбора, хранения, обработки и анализа данных, которые могут находиться в разных организациях. Второй — обеспечение интероперабельности, в том числе разработка стандартов и протоколов для взаимодействия и обмена данными между различными системами и платформами экосистемы. Третий — безопасность и конфиденциальность, создание устойчивых систем для защиты данных и соблюдения нормативных требований по их безопасности при взаимодействии организаций. Четвертый — управление доступом, чтобы разделить и распределить права и роли пользователей из различных организаций. Наконец, пятый — аналитические платформы и инструменты, они должны уметь обрабатывать большие объемы данных из множества различных источников, что требует специфической инфраструктуры».

Не упускать из виду вопросы интеграции призывает Лазуков: «Для обеспечения эффективного взаимодействия между различными компонентами цифровой экосистемы в первую очередь разрабатываются стандарты и механизмы интеграции данных, позволяющие выполнять обмен данными, отвечающий требованиям ИБ, — они представляют собой так называемый технологический минимум».

Игорь Моисеев: «Первостепенную важность в экосистеме приобретают механизмы сквозного управления качеством данных»

Моисеев добавляет: «С увеличением объема и сложности данных в экосистеме первостепенную важность приобретают механизмы сквозного управления качеством данных. Даже небольшая ошибка в данных, например, несоответствие параметров качества, допущенное одним из участников экосистемы, может повлечь серьезные последствия для всей группы».

Как видим, управление данными в экосистемах предъявляет высокие требования к самым разным аспектам. Чтобы их обеспечить, необходима серьезная трансформация не только применяемых подходов, но и инструментов.