Альфа-Банк запустил Feature Store – онлайн-маркетплейс данных и инструмент для создания и повторного использования признаков ML-моделей (фичей), упрощающий работу с данными. Решение автоматизирует сбор, расчет и мониторинг фичей, сокращая время разработки и снижая риски работы с некорректными данными. О реализации проекта рассказывает Лев Абрамов, руководитель направления развития фреймворков центра разработки ML-технологий Альфа-Банка и номинант на премию Data Award.

- Какие проблемы привели к созданию Feature Store?

В Альфа-Банке хранится огромное количество данных о миллионах клиентов с глубиной хранения в несколько лет. До недавнего времени у нас не было единого подхода к хранению, обработке данных и созданию так называемых «фичей» – признаков ML-моделей. Это вело к массе проблем. К ним относятся высокие трудозатраты на ручную подготовку датасетов для каждой модели, дублирование фичей между командами дата-сайентистов, разные подходы к расчету ключевых параметров, отсутствие единого подхода к качеству и безопасности данных.

Все это существенно замедляло процесс разработки моделей, «съедая» ресурсы сотрудников и мешая поддержанию стабильного качества работы с данными в банке.

- Какие варианты решения этой проблемы вообще могут быть?

Можно было создавать локальные витрины данных для каждой команды или даже каждой модели, но это привело бы к еще большему дублированию и хаосу. Другой вариант – централизовать управление признаками ML-моделей, именно этот путь и был выбран. Это позволило стандартизировать подходы к созданию и повторному использованию признаков.

- Как пришли к идее создания Feature Store? Подсмотрели где-то, или это собственное изобретение?

Идея Feature Store – не изобретение Альфа-Банка. Подобные подходы используются в технологических компаниях, таких как Uber, Airbnb, Google. Однако реализация в Альфа-Банке адаптирована под специфические процессы, архитектуру и требования банка, что делает ее уникальной.

- Какие требования предъявлялись к создаваемому решению?

Среди требований – безопасность, возможность работы с историческими данными (ретро-расчеты), удобство использования для разных ролей (дата-сайентисты, ML-инженеры, аналитики), масштабируемость, интеграция с существующими ИТ-системами, поддержка онлайн- и офлайн-моделей, автоматическая проверка качества данных и их мониторинг.

- Что по сути представляет собой Feature Store?

Это централизованная система хранения и управления фичами, включающая в себя компоненты для расчета, каталогизации, мониторинга и бесшовной доставки признаков в модели. Также реализована система управления метаинформацией, поддержка ретро-расчетов и использование векторного поиска.

- Какие ИТ-платформы использованы при его создании?

Использованы собственные ИТ-решения банка, включая Alfa Data Adapter, а также open source инструменты для оркестрации – например, Airflow. Также применяем Spark для расчетов, хранилища на базе Hadoop, и сервисы метаданных.

- Каковы функции решения? Кто его основные пользователи?

Разработка решения заняла два года, но при этом удалось учесть все специфические требования Альфа-Банка. Feature Store стал единым решением проблем в работе с ML-моделями. Он централизует хранение и управление фичами, обеспечивая повторяемую логику расчета данных, автоматическую проверку качества и мониторинг, снижение времени разработки моделей.

У Feature Store несколько категорий пользователей. Дата-инженеры создают и рассчитывают фичи. Дата-сайентисты выбирают существующие фичи или заказывают новые. ML-инженеры упрощают вывод моделей в промышленную эксплуатацию. Аналитики используют эталонные данные для бизнеса.

- Каковы основные возможности решения?

Фичи и данные из внутренних и внешних источников хранятся централизованно — «в одном окне». Данные для обучения разных моделей подбираются разными командами согласно единой логике. Информация о фичах, старте расчетов, статусе работы сохраняется автоматически. Построены система мониторинга качества данных и система управления ретро-расчетами.

Создан Alfa Data Adapter, предоставляющий унифицированный интерфейс для взаимодействия с метаинформацией витрин, в том числе используя технологии векторного поиска. Разработан трансформатор фичей для бесшовной интеграции онлайн- и офлайн- моделей. Реализована бесшовная доставка фичей в промышленную среду для функционирования боевых моделей.

- Какие результаты достигнуты и ожидаются?

С момента запуска в промышленный контур решение принесло существенные результаты. Произошло сокращение времени разработки ML-моделей на 20 дней. Сроки внедрения моделей сократились с более чем 30 до 9 дней. Произошло повышение доступности данных до 98%. Количество доступных для использования фичей выросло в 8,5 раз.

Как результирующий эффект можно отметить снижение операционных затрат на 350 млн руб. за полгода.

- Какова роль проекта для бизнеса банка?

Feature Store стал новым стандартом работы с данными в Альфа-Банке, который трансформирует подход к аналитике путем устранения разрозненности в данных, получения операционной прибыли за счет ускорения процессов разработки и внедрения моделей, получения более точных прогнозов моделей за счет большого количества фичей высокого качества и, как следствие, возможность внедрять продвинутую аналитику во все большее число бизнес-процессов банка.

- В каком направлении планируете развивать проект?

Развитие Feature Store в Альфа-Банке будет идти в рамках стратегического курса на построение единой ML-платформы нового поколения (MLOps Platform), охватывающей весь жизненный цикл моделей – от идеи до промышленного внедрения и мониторинга.

В ближайшей перспективе ожидается развитие в нескольких ключевых направлениях. Во-первых, это функциональность Alfa Data Adapter: расширение возможностей векторного поиска по фичам, моделям и витринам, а также внедрение интеллектуального помощника для подбора и рекомендации фичей на основе контекста задачи. Второе направление – интеллектуальное управление переиспользованием фичей: автоматическая подсказка и визуализация существующих фичей на этапе проектирования модели, метрики повторного использования, рейтинги и отзывы на фичи, гибкое управление версионностью и источниками данных. Наконец, контроль ресурсов и оптимизация затрат. Будет проводиться автоматическая проверка лимитов хранения, версионности и сроков жизни фичей, запустим механизмы очистки и деактивации устаревших сущностей, займемся детализацией затрат на хранение и вычисления.