Банк «ЦентрКредит» (Казахстан) провел реинжиниринг корпоративного хранилища данных на базе решений Informatica. Это позволило консолидировать все знания о данных и выстроить работу с ними как с бизнес-активом. О реализации проекта рассказывает Рубина Лозовая, вице-президент по управлению данными банка «ЦентрКредит» и номинант на премию Data Award.

- Как банк пришел к реализации этого проекта?

Наше корпоративное хранилище данных было создано еще 12 лет назад. Однако со временем назрела необходимость модернизации существующей системы хранения данных, чтобы она отвечала текущим требованиям со стороны бизнес-подразделения. Требовалось адаптировать корпоративное хранилище данных к современным требованиям с точки зрения ИТ-архитектуры, производительности и скорости подготовки отчетности.

- Какие были бизнес-проблемы, что именно не устраивало?

Основной проблемой, которая стояла перед нами, было несоответствие старой системы хранения данных современным требованиям бизнеса и ИТ-инфраструктуры. В частности, существующее хранилище не обеспечивало достаточную гибкость и производительность для быстрой обработки больших объемов данных. Это влияло на скорость подготовки отчетности, что, в свою очередь, сказывалось на принятии управленческих решений. Кроме того, старое хранилище не соответствовало требованиям по масштабируемости и интеграции с новыми системами и приложениями, что ограничивало возможности для дальнейшего развития и инноваций в компании.

В итоге, для улучшения бизнес-операций и повышения эффективности работы с данными возникла необходимость в реинжиниринге системы, чтобы она могла удовлетворять современные требования бизнеса и ИТ.

- Что представляла собой инфраструктура работы с данными до начала проекта?

До начала проекта инфраструктура работы с данными представляла собой старую и относительно устаревшую систему хранения данных, которая не отвечала современным требованиям по производительности и гибкости. Выделю несколько характеристик. Самое главное — низкая производительность: старое хранилище данных не обеспечивало необходимую скорость обработки больших объемов информации, что затрудняло своевременную подготовку отчетности и анализа данных. Кроме того, инфраструктура была не очень гибкой для интеграции с новыми решениями, что мешало адаптироваться к изменяющимся требованиям бизнеса и быстро внедрять инновации. Система не могла эффективно масштабироваться в ответ на рост объемов данных, что ограничивало возможности для дальнейшего расширения банка и улучшения аналитики. Отсутствовала консолидация данных: онибыли разделены по различным источникам и системам, что затрудняло получение целостного представления о бизнесе. Это влияло на процесс принятия решений, поскольку не было единого источника правды. Наконец, наблюдались задержки в отчетности. Проблемы с производительностью и интеграцией данных затрудняли ее подготовку, что затрудняло оперативное принятие решений и влияло на конкурентоспособность банка.

Эти проблемы подталкивали к необходимости модернизации системы, чтобы обеспечить более высокую производительность, гибкость и возможность масштабирования для удовлетворения потребностей бизнеса в реальном времени.

- Какие технологии стали основой новой платформы?

В основу новой платформы единого хранилища данных (ЕКХД) легли два ключевых решения: Oracle Exadata — высокопроизводительная программно-аппаратная платформа, оптимизированная для работы с базами данных, и Informatica, отвечающая за интеграцию, трансформацию и управление потоками данных.

Oracle Exadata сочетает в себе мощные серверы, специализированное хранилище и передовые программные технологии, обеспечивающие высокую скорость обработки транзакций и аналитических запросов. Ключевые особенности Exadata включают технологии Hybrid Columnar Compression для эффективного сжатия данных, Smart Scan для интеллектуальной фильтрации запросов на уровне хранения и высокопроизводительную межсерверную сеть с минимальными задержками. Они позволяют значительно ускорить обработку данных и снизить нагрузку на центральный процессор, что делает Exadata оптимальным решением для корпоративных хранилищ данных.

ETL-платформа интеграции данных Informatica PowerCenter дает возможность извлечения и трансформации данных из любых баз данных, систем, мейнфреймов, плоских и XML-файлов. Благодаря этому мы сможем решать широкий спектр задач, связанных с интеграцией и синхронизацией данных.

Вместе с PowerCenter используется решение PowerExchange for Database — CDC Option, которое предназначено для извлечения данных из источников (в первую очередь, баз данных) в режиме реального времени. Оно эффективно извлекает данные из источников и обеспечивает быструю загрузку в принимающую систему. С этим решением по репликации данных ИТ-подразделение может более быстро извлекать, перемещать данные и синхронизировать между системами для повышения их доступности, качества и целостности.

Также в рамках проекта используются и другие решения Informatica. Так, чтобы собрать все метаданные в едином репозитории и обеспечить фундамент реализации любых проектов, опирающихся на данные, в хранилище встроен Enterprise Data Catalog. Наряду с ним у банка имеется модуль сканирования метаданных (AdvancedScanner), который позволяет сканировать хранимые процедуры непосредственно в СУБД и строить data lineage на основании динамических, параметризированных и сложносоставных скриптов.

Решение Axon Data Governance позволяет консолидировать все знания о данных как о ключевых активах банка, что дает возможность эффективно управлять корпоративными данными и повышать операционную эффективность кредитной организации. Продукт Informatica Data Quality помогает управлять решениями по проверке и обеспечению качества данных, а это, в свою очередь, приводит к существенному снижению рисков.

- Какие проблемы возникали в ходе проекта?

В переходный период нам приходится поддерживать одновременно два хранилища — текущее и новое. Это усложняет работу команды сопровождения, увеличивая нагрузку на администрирование, синхронизацию данных и контроль целостности. Кроме того, такой режим повышает риски возникновения несоответствий, задержек в обработке информации и возможных сбоев. Чтобы минимизировать влияние этих факторов, мы привлекли дополнительный персонал и перераспределили обязанности внутри команды.

Внимания потребовал и переход на программно-аппаратный комплекс Oracle Exadata. Хотя в его основе лежит знакомая СУБД Oracle 19c, переход на Exadata потребовал пересмотра подходов к хранению и индексированию данных, поскольку система использует уникальные технологии, такие как Hybrid Columnar Compression (HCC) для эффективного сжатия данных и Smart Scan для интеллектуальной обработки запросов на уровне хранения. Эти возможности позволили оптимизировать производительность и снизить нагрузку на вычислительные ресурсы.

- Какие результаты достигнуты и ожидаются?

Нами проработаны методические рекомендации по работе с системой управления данными для управления корпоративными данными и реализации инициатив, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного корпоративного актива. Создано описание процессов определения наиболее важных данных и их описания, определена и описана функциональная ролевая модель.

- Какие бизнес-проекты стали возможными благодаря оптимизации хранилища данных?

Оптимизация ЕКХД создала технологическую основу для реализации ряда стратегически важных бизнес-проектов, направленных на повышение эффективности, конкурентоспособности и качества клиентского сервиса. В начале 2024 года в банке утверждена Стратегия развития искусственного интеллекта, и новое хранилище станет фундаментом и драйвером цифрового инновационного контура.

В качестве первого из бизнес-проектов можно выделить персонализированные предложения и рекомендации. Улучшенная обработка и анализ клиентских данных позволили банку внедрить системы персонализированных предложений. Теперь кредитные, депозитные и инвестиционные продукты адаптируются под индивидуальные потребности клиентов на основе их финансового поведения.

Еще одно важное направление работ — совершенствование системы управления рисками.

Благодаря ускоренной обработке данных и унифицированному подходу к управлению ими банк получил возможность оперативно оценивать кредитные и операционные риски. Это особенно важно для автоматизированного скоринга заемщиков и мониторинга финансового состояния клиентов.

Также большое значение имеет развитие омниканального обслуживания. Консолидация данных из различных точек взаимодействия с клиентами (мобильные приложения, интернет-банкинг, контакт-центр, офисы) позволила создать единое клиентское досье. Это повысило качество обслуживания и дало клиентам возможность бесшовного взаимодействия с банком через любые каналы.

Централизованный доступ к данным и повышение их качества позволили сократить время подготовки регуляторной отчетности и минимизировать риски ошибок. Теперь отчетность формируется быстрее, а ее точность и согласованность значительно выросли. Кроме того, оптимизированная инфраструктура хранения данных открыла новые возможности для использования искусственного интеллекта и машинного обучения. Это позволило прогнозировать потребности клиентов, анализировать вероятность дефолтов по кредитам и моделировать финансовые сценарии.

Отдельно следует сказать про оптимизацию процессов антимошеннического контроля.

Новая платформа дала возможность значительно ускорить выявление подозрительных операций и аномального поведения клиентов, что повысило уровень безопасности и доверия к банковским сервисам.

В рамках развития корпоративной системы KPI и финансового планирования упрощение работы с данными позволило создать гибкие дашборды для мониторинга ключевых финансовых и операционных показателей в режиме реального времени. Это обеспечило топ-менеджменту быстрый доступ к аналитике и инструментам для оперативного управления бизнесом.

Стало доступным эффективное управление ликвидностью и ALM-моделирование (управление активами и пассивами). Оптимизированное хранилище данных позволило создать единую платформу для прогнозирования ликвидности и управления активами и пассивами банка, что повысило эффективность финансового планирования.

В целом, благодаря модернизации хранилища данных банк ЦентрКредит получил технологическую базу для гибкого управления бизнесом, оперативного принятия решений и внедрения инновационных цифровых сервисов.

- Пытались ли подсчитать экономический эффект?

Да, экономический эффект от реинжиниринга корпоративного хранилища данных подсчитан, поскольку проекты такого масштаба всегда сопровождаются анализом стоимости и потенциальной отдачи. Хотя конкретные цифры могут быть закрыты для публичного обсуждения, можно выделить несколько ключевых аспектов, которые оказывают влияние на экономический эффект от внедрения новых технологий.

Произошло снижение операционных затрат. Оптимизация работы с данными с использованием решений Oracle Exadata и Informatica позволяет значительно снизить затраты на обработку данных, ускорить процессы отчетности и анализа. В частности, это снижаются затраты на серверные мощности, на обработку данных и на поддержку старых, устаревших систем. Банк также может сэкономить на ручной обработке данных благодаря автоматизации процессов.

С увеличением скорости и точности аналитики, банк может быстрее реагировать на изменения на рынке и в бизнесе, что способствует повышению конкурентоспособности и снижению рисков. Более точные и оперативные решения, в свою очередь, могут привести к экономии времени и ресурсов.

Отмечено увеличение доходов от персонализированных предложений. Благодаря улучшенной аналитике данных и сегментации клиентов банк может создавать более персонализированные продукты и услуги, что помогает привлечь новых клиентов и увеличить доходность от существующих. Эти меры могут положительно сказаться на финансовых показателях банка в долгосрочной перспективе.

Крайне важно снижение рисков и улучшение соблюдения нормативных требований. Современная система управления данными помогает снизить риски, связанные с несоответствием нормативным требованиям или ошибками в данных, что может привести к штрафам и репутационным потерям. Меньше ошибок в данных также означает меньшие затраты на их исправление и меньшую вероятность ошибок в процессе принятия управленческих решений.

Внедрение автоматизированных систем и улучшенная инфраструктура позволяют сотрудникам банка работать быстрее и более эффективно, что сказывается на производительности труда и снижении избыточных затрат на рабочие процессы. Несмотря на первоначальные затраты на внедрение новых технологий и обучение персонала, долгосрочные выгоды, такие как улучшение качества данных, ускорение процессов и снижение рисков, в конечном итоге приводят к значительному возврату инвестиций.

Для точной оценки экономического эффекта проектная документация включала расчет ROI, стоимости владения и других ключевых показателей эффективности. Банк использовал разные методы для оценки результатов внедрения и ожидаемого эффекта от оптимизации хранилища данных.

- В чем роль проекта для бизнеса банка?

Для нас важно консолидировать все знания о данных, как о ключевых активах. Это поможет организовать совместную работу с ними и понимание, как данные влияют на бизнес, с каким бизнес-контекстом, проектами, процессами и бизнес-инициативами они связаны.

Этот проект также является важным шагом в стратегическом развитии банка. Улучшенная работа с данными позволяет не только решать текущие операционные задачи, но и закладывает основу для будущего роста и расширения банка, будь то через новые технологические инициативы, улучшение клиентского сервиса или расширение спектра услуг.

Таким образом, проект по реинжинирингу хранилища данных не только решает технические задачи, но и имеет глубокое стратегическое значение для банка, поддерживая его цели по улучшению клиентского опыта, снижению рисков и повышению эффективности бизнеса в целом.

- В каком направлении будет развиваться проект?

Развитие проекта по реинжинирингу корпоративного хранилища данных вероятно, будет двигаться в нескольких ключевых направлениях, направленных на дальнейшую оптимизацию и расширение возможностей работы с данными. Можно рассказать о нескольких вероятных направлениях.

Будет расширяться интеграция с новыми источниками данных. В будущем банк будет стремиться интегрировать все больше внутренних и внешних источников данных, включая данные из облачных платформ и Интернета вещей, а также открытых и сторонних источников. Это позволит получить более полное и точное представление о состоянии бизнеса, клиентах и рынке в целом.

Планируется расширение использования аналитики и машинного обучения. С увеличением объема и качества данных, мы будем продолжать внедрять более сложные алгоритмы машинного обучения и искусственного интеллекта для улучшения прогноза, оценки рисков, а также для автоматизации принятия решений. Это направление станет особенно важным для предсказания финансовых рисков, персонализированных предложений и повышения операционной эффективности.

Важным направлением будет продолжение работы по улучшению управления данными, обеспечению их качества и соответствия нормативным требованиям. Внедрение более строгих процессов для управления метаданными, обеспечения согласованности и точности данных, а также усиление роли Data Governance для поддержания надежности данных будет ключевым аспектом для поддержания доверия к данным и эффективного их использования.

В будущем возможна разработка и внедрение гибридных облачных решений, которые позволят интегрировать корпоративные данные с облачными платформами для обеспечения гибкости и масштабируемости. Облачные решения могут также обеспечить более низкие затраты на инфраструктуру, повысить доступность данных и улучшить возможности для сотрудничества с внешними партнерами.

Мы будем продолжать оптимизировать процессы, связанные с обработкой и трансформацией данных, а также с их интеграцией в реальные бизнес-процессы. С помощью автоматизации можно снизить затраты, улучшить качество обслуживания клиентов, ускорить время отклика и повысить оперативность принятия решений.

Важно также развитие в области соблюдения стандартов безопасности и приватности данных. В условиях все более жестких требований по защите данных и конфиденциальности (например, GDPR), банк будет активно развивать систему защиты данных и улучшать меры по обеспечению безопасности на всех уровнях — от хранения до передачи данных. Это обеспечит надежность и соответствие нормативным требованиям, что критично для финансовой отрасли.

Можно ожидать инноваций в области цифровых технологий и блокчейна. В долгосрочной перспективе банк может внедрять новые технологии, такие как блокчейн, для повышения прозрачности и надежности транзакций, а также для улучшения механизма управления данными и их отслеживания.

Возможно развитие самообслуживания и аналитики для пользователей. Банк будет развивать возможности для своих сотрудников, а также для клиентов, предоставляя им более удобные инструменты для самостоятельного анализа данных и создания отчетности. Это может включать использование дашбордов, BI-инструментов и других решений для самообслуживания.

Эти направления позволят не только поддерживать актуальность и эффективность корпоративного хранилища данных в долгосрочной перспективе, но и открывать новые возможности для улучшения операционной деятельности и повышения конкурентоспособности банка.