Отечественный производитель и поставщик ИТ-оборудования Fplus внедрил каталог данных и бизнес-глоссарий на базе Arenadata Catalog. Реализация проекта позволила провести быстрый переход к self-service аналитике и трансформировать культуру работы с данными. О ходе и значении проекта рассказывает Ярослав Назаров, начальник управления корпоративных данных Fplus и номинант на премию Data Award.

- Что представляли собой инструменты для работы с данными до сих пор?

Изначально аналитика была выстроена вокруг ERP-систем «1С» и Dynamics AХ. Кроме того, общее сведение данных осуществлялось в BI-системе Qlik. Мы явно переросли этот подход: требовалось повышать прозрачность и доступность данных. Чтобы соответствовать новым требованиям, было начато внедрение корпоративного хранилища, а также каталога данных и бизнес-глоссария на базе Arenadata Catalog.

- Почему это важно для компании?

Стратегической задачей стало глобальное перестроение культуры работы с данными. В компании должно появиться новое поколение сотрудников, которые знают, где находятся данные, согласно какой методологии они посчитаны и как их обработать, чтобы проверить свою бизнес-гипотезу. Увеличение доступности данных для бизнес-анализа позволяет своевременно и правильно принять решение.

Важно добиться максимальной ценности предоставленной аналитики именно для операционной деятельности бизнеса с помощью работы с данными и «честного» self-service, а не регламентированного управленческого учета или построения стандартизованных финансовых отчетов. Для этого требовалось внедрить инструменты, позволяющие бизнесу самостоятельно подготавливать необходимые аналитики и формировать прототипы будущих корпоративных отчетов и при этом быть уверенным, что они полностью соответствуют общепринятым стандартам холдинга.

- Какие задачи требовалось решить?

В целом перед командой офиса данных стояла задача заставить бизнес отказаться от собственных расчетов «на коленке» – как для внутренних отчетов, так и для повторения ряда общекорпоративных метрик в своей операционной работе, а также дать доступ к новым источникам или разрезам данных.

Для этого была сформирована стратегия, которая включала в себя внедрение полноценной self-service аналитики, преобразование методологии формирования корпоративной отчетности, и, конечно, внедрение инструментов и процессов Data Governance. Требовалось, во-первых, собрать в единой системе все корпоративные данные; во-вторых, предоставить новые удобные инструменты для самостоятельной работы; в-третьих, повысить доверие к данным.

Наконец, важна технологическая независимость: использовать отечественные программные и аппаратные решения, при этом выполнив требования по ИБ и другие обязательные требования законодательства. Важно отметить, что сетевое и серверное оборудование Fplus использовал собственного производства.

- Почему было выбрано решение Arenadata Catalog? Каковы были критерии?

При создании аналитического хранилища появляется новая модель данных. При этом надо понимать, что даже уже привычные пользователям представления в пользовательском интерфейсе известных им систем в хранилище выглядят по-другому. Другая характерная особенность – при создании хранилища появляется много этапов преобразования данных, которые формируют слои со своими принципами построения. Даже если бизнес-аналитик ранее сталкивался с хранилищами данных и понимает общие паттерны, ему все равно очень важно понимать, откуда берутся данные для того или иного отчета, или как правильно использовать нужные данные для проверки собственных гипотез. Без этого понимания новая платформа не была бы эффективной, а предоставление только инструментов self-service – бесполезным.

Поэтому сразу появился вопрос, как предоставить эту прозрачность пользователям, какие именно объекты должны быть описаны, чтобы бизнес-аналитик смог самостоятельно разобраться в данных. Помимо этого, еще на старте команде требовалось решить, как она будет вести техническую документацию и с помощью каких инструментов контролировать качество производимых данных. По сути, мы выбирали основной инструмент Data Governance.

Ранее на других проектах у команды был опыт внедрения каталога данных западного вендора, поэтому весь состав функциональных требований был заранее известен. Переработка собственными силами инструментов open source не выглядела удачной идеей в силу отсутствия времени, а ключевым фактором выбора стал принятый ландшафт новых аналитических продуктов. Важно было охватить коннекторами абсолютно весь ландшафт – как системы-источники данных и старую BI-платформу, так и новые платформы self-service. Решение Arenadata Catalog включало в себя все необходимые коннекторы и позволяло строить сквозное движение (data lineage) всего потока производства данных.

- Какие сложности возникали в ходе проекта, как их решали?

Мы столкнулись с типичными сложностями для такой категории проектов. Во-первых, это описание систем-источников. Обычно при внедрении каталога данных на основе хранилища описываются только те объекты источников данных, которые уже используются в конечных отчетах и по ним есть глубокое понимание у аналитиков хранилища. А вот другие области, которые пока не используются, но могут быть полезны в рамках self-service аналитики, оказываются не всегда описаны достаточно глубоко, чтобы начать с ним работать без помощи системного аналитика, отвечающего за этот источник. Вторая сложность, с которой мы столкнулись и которую нам удалось решить, – это «проблема нулевого шага», когда чтобы попасть в документацию и быстро найти необходимую информацию, нужно оказаться в нужном разделе каталога данных. Для этого мы интегрируем каталог данных c чат-ботом, а чат-бот встраиваем на страницы дашбордов, откуда можно быстро перейти на статью методики расчета нужного показателя.

- Что получилось наиболее удачным?

Быстрое и эффективное преобразование культуры работы с данными. За девять месяцев в компаниях ИТ-холдинга перешли от разрозненной работы с данными к единой платформе. При этом проект реализован небольшой командой без привлечения крупных интеграторов.

- За счет чего это удалось сделать?

Мы настойчиво вовлекали бизнес-подразделения с самого начала проекта. Пользователи активно участвовали в приоритизации задач, тестировании и верификации данных. Это позволило оперативно выявлять и исправлять ошибки, ускорив процессы принятия решений, а также повысив доверие к данным.

Важно предотвращение потенциальных проблем с качеством данных на ранних этапах. Внедрение Arenadata Catalog при создании хранилища данных «с нуля» помогло избежать проблем с ведением документации и контролем качества данных еще до их возникновения. В момент, когда нам требовался функционал, он уже у нас был, и нам не приходилась изобретать велосипед и писать собственные фреймворки.

- Какие меры были предприняты для стимулирования активности пользователей и трансформации их культуры?

Основным способом вовлечения была демонстрация эффективности непосредственно на их примерах. На первом этапе мы брали задачи, с решением которых у бизнес-подразделений возникали сложности или которые требовали больших трудозатрат. Они могли быть не так существенны или критичны для работы всего холдинга, но были ключевыми или самыми ресурсоемкими отчетами для самого подразделения. Когда на сборку еженедельного отчета больше не требуется тратить целый день, данные в нем имеют необходимую глубину для прослеживания тренда и аномалий, а любой дополнительный вопрос к данным не требует еще одного дня анализа, эффективность от перестроения культуры становится очевидной.

- Каких результатов уже удалось достичь? Чем можете поделиться?

Самое главное – реализация проекта действительно позволила перестроить культуру работы с данными, внедрив в процессы компании self-service аналитику. Каталог данных как основной инструмент управления ими позволил сотрудникам бизнес-подразделений самостоятельно заниматься аналитикой без участия специалистов дата-офиса, сократив время подготовки отчетов с нескольких дней до нескольких часов.

Бизнес-пользователи получили доступ к хранилищу, с которым интегрирован каталог данных, и новым аналитическим инструментам. Департаменты электронной коммерции, маркетинга, производства и HR активно используют их, снизив нагрузку на ИТ-подразделение. Бизнес сам подготавливает себе прототипы отчетов и может проверить или доработать методику или гипотезу, не тратя времени на формализацию требований и реализацию витрин данных силами офиса данных, чем значительно выигрывает во времени.

Показателен пример, когда одно из бизнес-подразделений собственными силами, используя детальные данные, сформировало собственный отчет по своему направлению. Бизнес-аналитики этого подразделения с помощью каталога данных самостоятельно смогли разобраться в загруженных исходных данных из нескольких источников и собрали отчет, за качество и корректность которого несут полную ответственность, понимая все нюансы получения данных от источника до конечной визуализации. Этим отчетом теперь активно пользуются и другие подразделения. При этом производство данных и доступ к отчету, а также производительность не отличается от отчетов, сформированных ИТ-специалистами и используемых для общекорпоративной отчетности.

Благодаря тому, что расчет управленческих и операционных отчетов, в том числе и сформированных бизнес-подразделениями, осуществляется на основе единых детальных данных с использованием корпоративных стандартов и унифицированных методов расчета, удалось повысить эффективность работы с данными и доверие к ним.

- Каков экономический эффект?

Комплексная оценка эффективности всего проекта говорит об экономии 400–600 млн руб. в год. Основной вклад в этот эффект вносит повышение доступности данных и автоматизация процессов подготовки отчетности. Также благодаря созданию хранилища удалось отказаться от доработок на стороне корпоративных систем (ERP, WMS, ITSM и др.), где создание нестандартных интегрированных отчетов требует гораздо больших ресурсов.

- В чем роль проекта для бизнеса компании и ее развития?

Проект позволил объединить разнородные данные в единую платформу, обеспечив прозрачность, согласованность и высокое качество данных. Внедрение self-service аналитики повысило самостоятельность бизнес-пользователей, ускорило принятие решений и снизило нагрузку на ИТ-департамент. Создание единых глоссариев и стандартов улучшило коммуникацию между департаментами. Использование отечественных программных и аппаратных решений обеспечило технологическую независимость и соответствие требованиям информационной безопасности.

Проект стратегически важен для холдинга, поскольку улучшает взаимодействие между подразделениями, повышает эффективность бизнес-процессов, экономит ресурсы и усиливает конкурентоспособность.

Каталог данных в том числе будет использоваться для отслеживания изменений при миграции ERP-системы на новую платформу, что сократит проектные риски. Он станет основой и для будущего развития аналитических возможностей. Например, заложена база для развития интеллектуальных помощников.