В «Ростелекоме» создана платформа обмена данными, призванная упростить и упорядочить информационные потоки между различными компаниями группы. Она обеспечивает безопасную работу с объединенными данными и существенно сокращает время создания новых аналитических решений. О реализации проекта, его результатах и дальнейших планах рассказывают Георгий Ашкар, директор проекта создания контура обмена данными «Ростелекома» и Александр Юрасов, начальник отдела разработки инструментов управления данными TData.

- Когда родилась идея обмена данными внутри «Ростелекома»? Как он был реализован?

Георгий Ашкар: Задача настроить обмен данными в рамках группы компаний «Ростелеком» не новая. Ежедневно множество сквозных процессов требуют обмена информацией: это и выявление целевых аудиторий, и повышение продаж, и оптимизация издержек.

Первые проекты обмена данными в «Ростелекоме» стали запускаться еще в 2020 году после завершения объединения с компанией Tele2. В первую очередь, данные требовались для пилотных проектов и проверки гипотез. В рамках этой задачи мы ожидали быстрый результат, поэтому никто из участников процесса на начальном этапе не был готов инвестировать в создание долгосрочного целевого решения. В итоге мы получили разрозненные потоки передачи данных, в рамках которых сложно было обеспечивать качество, актуальность, достоверность данных, а самое критичное – соблюдать значительно ужесточившиеся требования к информационной безопасности. Кроме того, с течением времени требования к регулярности и частоте обмена данными только росли, и на поддержку процессов уходило значительное количество ресурсов. Когда бизнес стал запускать промышленные проекты на объединенных данных, все эти проблемы встали достаточно остро.

Мы приняли решение строить платформу обмена, которая будет соответствовать требованиям архитектуры и информационной безопасности, и позволит эффективно управлять обменом, быстро масштабироваться.

- Какие задачи требовалось решить? Какие требования предъявлялись к создаваемой платформе обмена данными?

Георгий Ашкар: Мы должны были выполнить юридические требования по обмену данными и обеспечить информационную безопасность, что включало подписание соглашений с дочерними компаниями и проектирование защищенных каналов, а также соблюдение протоколов безопасности, таких как шифрование для чувствительных данных.

Александр Юрасов: Отмечу, что контур обмена данными полностью соответствует требованиям масштабируемой архитектуры и импортозамещенного технологического стека. Для создания платформы обмена мы выбрали инструменты управления данными TData, которые зарегистрированы как отечественное ПО. Итоговую разработку, выполненную специалистами «Ростелекома» и Т2, назвали Data Sharing Platform.

- Что же собой представляет Data Sharing Platform? Какие основные блоки она включает?

Александр Юрасов: Data Sharing Platform – универсальная масштабируемая платформа обмена данными, построенная на базе продуктов платформы управления данными TData внутри защищенного контура. По сути, она обеспечила эффективный обмен данными между разными проектами и бизнес-стримами внутри группы компаний.

Для хранения и работы с данными мы развернули несколько СУБД на базе PostgreSQL. Они имеют контур разработки и продуктовый контур для обеспечения корректного цикла разработки отчетности. Также мы разделили базы данных на интеграционную, которая необходима непосредственно для обмена данными с ДЗО, и целевую – для аналитики данных и формирования отчетности.

Для обработки данных используем продукт RT.Streaming, обрабатывающий потоковые данные в режиме реального времени на базе модуля Kafka, и в пакетном ETL-режиме на базе модуля NiFi. Для визуализации данных развернули BI-инструмент – RT.DataVision.

На базе RT.DataGovernance мы создали каталог сервисов обмена, который обеспечивает удобный доступ к данным. С его помощью участники процесса могут быстро находить нужную информацию о существующих дата-сервисах: потоках данных, их владельцах и качестве данных. В каталоге также представлены правила работы с дата-сервисами, сроки обновления данных и описания объектов с ключевыми показателями.

- Чьими силами был реализован проект создания и внедрения платформы обмена данными? Как были распределены зоны ответственности «Ростелекома» с TData?

Георгий Ашкар: Платформа обмена данными – результат плодотворного взаимодействия сразу нескольких команд. В первую очередь, это команды проекта на стороне «Ростелекома» и Т2, которые прорабатывали архитектуру, требования информационной безопасности, условия обмена данными. Команда TData предоставила решения, обеспечившие выполнение этих требований. В рамках проекта мы потратили немало усилий, чтобы соответствовать требованиям информационной безопасности. Кроме того, в продукте RT.DataGovernance мы специально разработали новый модуль – Каталог сервисов обмена. Наконец, в проекте участвовали команды продуктовой разработки, которые обеспечили разработку дата-продуктов в контуре обмена.

- Кто является основными пользователями платформы? Как изменилась их работа?

Георгий Ашкар: Основные пользователи платформы – команды, которые разрабатывают аналитические решения и отчеты. С помощью этой платформы они смогут работать с данными из источников без ограничений других корпоративных хранилищ. Это значительно ускоряет процесс подготовки отчетности для бизнеса.

В настоящее время якорным проектом является Т2. Мы полностью интегрировались с ними, и уже несколько направлений и сегментов получают консолидированные данные от компаний, входящих в контур «Ростелекома». Команда аналитиков подготовила агрегированные данные «Ростелекома» и Т2 по таким направлениям, как клиенты, продажи и оборудование для физических лиц.

Также хочется отметить, что с T2 мы также реализовали обратную интеграцию, когда дочерняя компания может получить со стороны платформы те самые агрегированные данные для бизнеса уже на своей стороне.

- Насколько сложной задачей становится подключение дочерних компаний к такому обмену данными? Какими это сопровождается проблемами?

Александр Юрасов: Основные сложности возникают на этапе интеграции. У каждой дочерней компании разная техническая готовность для передачи данных в платформу. Например, дочерняя компания Т2 использует модуль Kafka для обмена, а другие могут применять разные решения, такие как СУБД, SFTP, FTPS и так далее. Поэтому мы тратим много времени на проработку архитектуры каждого нового нестандартного решения. Если же в дочерней компании уже используются решения от TData, подключение к платформе проходит намного быстрее.

Не последнюю роль играет информационная безопасность. Если с подписанием NDA обычно не возникает особых сложностей, то согласование протоколов передачи и самого состава данных с отделом информационной безопасности может отнять достаточно много времени, так как каждый кейс рассматривается отдельно.

- Как решается проблема передачи персональных данных клиентов между компаниями?

Георгий Ашкар: Важно отметить, что как таковые персональные данные не передаются. Существуют обезличенные ключи, обмен которыми позволяет идентифицировать услуги, устройства, лицевые счета. С каждым ДЗО заключается типовой NDA на передачу персональных данных с учетом согласий пользователей.

- Какие бизнес-возможности открываются благодаря обмену данными между компаниями?

Александр Юрасов: В промышленном режиме уже работают несколько сервисов передачи данных. Несколько десятков атрибутов и сущностей, включая заявки, лицевые счета, продажи и оборудование, участвуют в ежедневном обмене. Например, по витринам услуг и лицевых счетов количество записей превышает 200 тыс. в месяц и показывает устойчивый быстрый рост, но скорость полного цикла обмена данными от поставщика до потребителя не превышает 10 минут.

- Какие результаты стали ключевыми? По каким критериям оцениваете результат проекта?

Георгий Ашкар: В первую очередь, это ускорение времени разработки продуктов для бизнес-заказчиков, а также выполнение строгих SLA по обработке данных, подготовке отчетности. В Т2 нам не пришлось проходить стандартную процедуру подключения источника к централизованному хранилищу, удалось собрать несколько отчетов сразу же на самой платформе и передать заказчику на верификацию.

Еще одним примером может послужить ранее озвученная обратная интеграция, когда бизнес-заказчики со стороны дочерних компаний получают на свою сторону необходимую отчетность, тогда как ранее такой возможности при работе с другими корпоративными хранилищами данных не было.

- В каком направлении будет развиваться платформа, как вы видите ее перспективы?

Георгий Ашкар: У нас уже есть согласованный план действий на несколько кварталов вперед, в рамках которого реализуем еще несколько дата-сервисов. Мы также разработали стратегическое видение развития платформы на следующие два-три года. В частности, планируем значительно расширить список дочерних компаний, подключаемых к платформе обмена данными. Кроме того, мы будем оптимизировать процесс подключения, чтобы ускорить все этапы согласования ИТ-ландшафтов.

Стоит обращать внимание и следовать актуальным трендам в сфере отечественных ИТ и оценивать их для возможности применения в нашем проекте. Это могут быть новые технологии загрузки данных, ввод в эксплуатацию новых модулей платформы TData.

В целом, можно сказать, что проект, который изначально казался сложным и трудно осуществимым, оказался вполне реальным и выполнимым в наших условиях, даже с учетом всех корпоративных и законодательных требований.