Счетная палата: инспекторы становятся аналитиками данных

В 2020–2022 годах Счетная палата разработала комплексную программу подготовки специалистов (КППС) по управлению данными. Наличие у инспекторов высшего органа внешнего государственного аудита знаний, приобретенных в ходе обучения, позволило значительно повысить производительность их работы — сотрудникам удалось самостоятельно разработать более 120 решений по анализу данных. В результате улучшились качество и актуальность рекомендаций по итогам аудита, снизилось время сбора аудиторских доказательств. Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации и номинант на премию Data Award 2023, — о причинах инициации и задачах проекта КППС.

В чем были проблемы и какие задачи требовалось решить с помощью КППС?

Проблемы типичны для многих госструктур: отсутствие у сотрудников опыта аналитической работы; низкий уровень технологической подготовки, в том числе работы с инструментами аналитики; недостаточное понимание процессов управления данными и т. п. Утвержденная в 2021 году Модель компетенций требует наличия у сотрудников всех этих навыков, описывает требования к знаниям и умениям применительно к ролям в процессах Счетной палаты.

Особенностью и приоритетом Модели стали специальные профессиональные компетенции, свойственные определенным профессиональным ролям, а также универсальные цифровые компетенции, которые могут распространяться на всех сотрудников Счетной палаты. Однако на рынке отсутствовали программы обучения, нацеленные на подготовку необходимого уровня специалистов. Кроме того, нам нужна не теория, а практика — такие специалисты, как наши, лучше всего учатся именно на реальных примерах.

Программа была разработана и реализована нами в 2020–2022 годах в рамках стратегии развития Счетной палаты в 2018–2024 годах, которая, в частности, предусматривает цифровую трансформацию процессов операционной деятельности; развитие собственных аналитических компетенций и инструментария, основанных на современных подходах к моделированию; развитие дистанционных методов аудита, а также аналитических разработок и прикладных методов для обеспечения функции государственного аудита. Фактически КППС — один из важнейших инструментов решения задач стратегии. Предназначение программы — обеспечить наших сотрудников техническими знаниями и навыками, которые необходимы для совершенствования государственного аудита путем использования инструментов обработки больших объемов данных, с акцентом на самостоятельную подготовку.

С учетом специфики работы с аналитическими инструментами, а также процессов параллельно внедряемой системы управления данными было выделено несколько ключевых ролей сотрудников: инспектор-«дата-стюард», инспектор-«дата-аналитик», дата-инженер. Для каждой из этих ролей в модель компетенций были включены соответствующие профили, для некоторых из них обучение проводилось обычно по нескольким уровням: начальный, средний и продвинутый (иногда добавлялся еще один уровень — экспертный). Для обычных инспекторов также предусматривается обязательный базовый уровень цифровой подготовки — ведь, даже лишь владея Excel, можно решать большое количество аналитических задач.

Приведите пример таких профилей.

Например, дата-стюард — на начальном уровне должен понимать простые структуры и типы данных, обладать теоретическими знаниями о возможностях использования инструментов и принципах функционирования системы управления данными Счетной палаты, уметь работать с ГИС и разбираться в базовых принципах управления данными. На продвинутом уровне все уже гораздо серьезнее — сотрудник должен обладать базовыми знаниями SQL; уметь работать с СУБД PostgreSQL и PolyAnalyst; разрабатывать правила надежности и обеспечения качества данных; быть в состоянии сформулировать рекомендации по составу и порядку формирования данных при создании и модернизации ГИС; уметь формировать задание на загрузку данных инженеру по данным из любого источника данных; обладать углубленными знаниями в области работы с данными, подтвержденными сертификатами или дипломами.

Каковы потребности Счетной палаты в экспертах по управлению данными и работе с ними? Должен ли в итоге каждый инспектор стать кем-то из дата-специалистов?

Конечно, далеко не каждый инспектор должен быть продвинутым специалистом по управлению данными — на один профильный аудиторский департамент, которых у нас 15, из 40–50 человек вполне хватит двух-трех дата-стюардов, отвечающих за предметное изучение данных и постановку задач на их «интеграцию»: определение и описание необходимых источников, наборов данных и т. п. Остальные же инспекторы вполне могут обладать базовым пониманием того, как устроены базы данных и информационные системы на уровне квалифицированных пользователей.

Почему потребовалась собственная программа обучения?

Каждый из профилей ролей требовал подбора адекватных программ обучения. Выяснилось, что на образовательном рынке отсутствовали, да и до сих пор отсутствуют предложения по подготовке специалистов по работе с данными, набор компетенций которых соответствовал бы нашим специфическим требованиям. А «затачивать» под нас программу обучения никто из провайдеров не был готов. Поэтому было принято решение разработать и реализовать собственную комплексную программу по подготовке специалистов по управлению данными, специфичную для высшего органа внешнего государственного аудита. Ее преподавателями стали как сотрудники нашего Департамента цифровой трансформации, так и подведомственного Центра экспертно-аналитических и информационных технологий Счетной палаты Российской Федерации (ФКУ «ЦЭАИТ СП»).

Какие направления охвачены программой?

КППС включает три постоянно действующих курса обучения для разных аудиторий. Это курс для всех инспекторов — «Практика цифровой трансформации»; курс для инспекторов-«дата-стюардов» — «Образовательный трек по работе с данными»; курс для инспекторов-«дата-аналитиков» — «Работа с аналитическим инструментом PolyAnalyst». Занятия на курсах обычно проводились дважды в неделю и представляли собой как традиционные лекции, так и практические работы на основе актуальных кейсов из практики инспекторов Счетной палаты. Повышенное внимание уделялось практическому применению полученных знаний — на решение кейсов по внешнему государственному аудиту в программах курсов отводилось до половины учебного времени.

По итогам очного обучения мы также разработали еще и набор электронных материалов, по которым новые сотрудники смогут в полном объеме пройти подготовку самостоятельно. Записи лекций и материалы для самостоятельного изучения выкладываются в нашей системе управления развитием персонала и системе управления знаниями. Эти системы появились у нас не так давно, и без них такой объем обучения, особенно в условиях удаленной работы, реализовать было бы просто невозможно.

Чуть подробнее про курсы, например, что изучают дата-аналитики?

На этом курсе инспекторы, ориентированные на мероприятия по стратегическому аудиту, на экспертно-аналитические мероприятия, осваивают инструменты аудита, основанного на больших данных. Исходя из решаемых задач, сложности обрабатываемых данных и применяемых инструментов курс разделен на несколько уровней: начальный, средний, продвинутый и экспертный.

На начальном уровне инспекторы изучали возможности бизнес-аналитики применительно к структурированным данным — агрегирование и визуализация первичных данных из государственных информационных систем. В результате они научились строить и использовать в отчетах несложную инфографику: витрины данных, графики, диаграммы и т. п.

На среднем уровне уже охватываются методы обработки текстовых данных из первичных документов — извлечение с помощью лингвистических правил и словарей сущностей и концептов из договоров, платежных поручений, актов, протоколов, доверенностей и др.

На продвинутом уровне сотрудники познакомились с программной библиотекой Pandas на языке Python, которую иногда называют «Excel XXI века». По итогу этих уровней слушатели умеют проводить несложную текстовую аналитику по большим массивам документов.

На экспертном уровне осваиваются новейшие методы искусственного интеллекта — модели-трансформеры и трансферное обучение в Natural Language Processing (NLP).

По итогам обучения на всех уровнях инспекторы готовили индивидуальные и групповые учебные проекты, непосредственно связанные с их рабочими задачами. Результаты многих проектов вошли в отчеты Счетной палаты о проведенных контрольных и экспертно-аналитических мероприятиях. Например, группой из трех инспекторов была обучена нейронная сеть-трансформер на нормативно-правовых актах и применена в ходе антикоррупционной экспертизы планов федеральных органов исполнительной власти. Новый подход снизил сроки проведения экспертно-аналитического мероприятия — с 90 до трех дней.

Роль дата-стюардов пока еще экзотика…

Действительно, внедрение роли дата-стюардов в деятельность Счетной палаты стало уникальным опытом в организации работы с данными в деятельности государственных органов аудита, да и остальных государственных органов. Наши дата-стюарды — сотрудники направлений аудита, ответственные за поиск, сбор, обработку и использование данных. Они определяют источники получения данных и необходимость доступа к ним, необходимые виды данных, содержащиеся в источниках данных. Они же формируют в системе управления данными паспорта объектов данных, карты данных и требования к загрузке исходных данных, требования к витринам данных, определяют периодичность сбора, загрузки и обработки обновлений исходных данных.

Образовательный трек для дата-стюардов разработан на период 2021–2022 годов в соответствии с профилем роли. Курс разделен на триместры, занятия проходят еженедельно. Его особенность — последовательное погружение инспекторов в разные области знаний, связанных с управлением данными.

Дата-стюарды овладели знаниями по поиску, сбору, систематизации данных из различных источников, научились поддерживать наборы данных в актуальном состоянии. Спецификой курса является также система получения практических навыков: выполняя домашние задания в рамках курса, дата-стюарды постепенно наполняют наше озеро данных «живыми» кросс-функциональными наборами данных, а систему управления данными — описанием востребованных в проверках источников данных и наборов данных.

Вероятно, курс «Работа с аналитическим инструментом PolyAnalyst» — самый «легкий» с точки зрения длительности обучения?

Потребность в таком курсе возникла в связи с высокой загрузкой штата инспекторов, а также сложностью с привлечением на работу дорогостоящих технических специалистов и исследователей данных (data scientist). Сотрудники, задействованные в проверках, не располагают временем на продолжительную учебу и программирование, да и набор аналитических задач для таких проверок обычно типичный — требуются инструменты, позволяющие решать текущие задачи по обработке больших наборов данных в режиме «здесь и сейчас».

Поэтому была выбрана стратегия использования инструментария low-code/no-code, позволяющего без программирования решать большинство аналитических задач, тем самым снижая «порог входа» в аналитику данных для обычных сотрудников, не имеющих специализированной технической подготовки. Некоторые инструменты осваиваются инспекторами самостоятельно по специально разработанным руководствам по работе с ними.

Но для наиболее сложного из таких инструментов — аналитической платформы PolyAnalyst — был разработан специальный курс. Эта платформа принята у нас в качестве базового универсального инструмента для анализа всех видов данных и визуализации результатов работы с данными, поэтому навыки работы с ней необходимы и инспекторам из направлений аудита, и дата-стюардам, и другим сотрудникам. В рамках программы подготовки был разработан специальный курс обучения PolyAnalyst для всех заинтересованных специалистов, включающий три уровня: начальный, средний и продвинутый. Курс позволяет приобрести такие навыки, как импорт данных и операции с данными, основы анализа и классификации данных, регрессионный анализ и кластеризация, основы обработки текстовых данных.

Кроме того, изучаются язык поисковых запросов Pattern Definition Language (PDL), классификация и кластеризация текстов, таксономия, а также язык, предназначенный для описания определений и реализаций процессов eXtended Pattern Definition Language (xPDL). Выпускники начального уровня приобретали навыки по объединению в PolyAnalyst данных из нескольких источников, агрегированию и визуализации данных. На среднем уровне слушатели осваивали более сложную аналитику, в частности, статистический и текстовый анализ. На продвинутом уровне сотрудники Счетной палаты получили профессиональную специализацию «лингвист-аналитик», изучив углубленные и сложные правила xPDL и PDL для обработки аудиторских документов.

Михаил Петров: «Введение роли дата-стюардов, формирование модели компетенций и программ обучения — уникальный опыт в организации работы с данными не только государственных органов аудита, но и других органов власти Российской Федерации»

С какими источниками данных и инструментами приходится иметь дело специалистам Счетной палаты?

Источников данных очень много. Исходя из специфики нашей работы, главным образом это различные ГИС — системы в сфере управления общественными финансами, системы типовой деятельности федеральных органов исполнительной власти, системы документарной деятельности, системы в сфере управления материальными и нематериальными активами. Помимо платформы PolyAnalyst, мы используем инструменты бизнес-аналитики и data science из числа свободно распространяемого программного обеспечения: Metabase, Python и дополнительные библиотеки по работе с данными, RStudio, JupyterLab, LabelStudio, streamlit, а также инструменты работы с базами данных pgAdmin, DBeaver, Arenadata DB, Arenadata Hadoop.

Как отбираются инспекторы для обучения и какая у них мотивация повышать квалификацию?

Мы не ставим барьеров. На «начальный» уровень подготовки может прийти любой желающий. На следующие уровни также могут приходить все желающие, но там уже чисто объективно не все могут с ними справиться. Условно можно сказать, что происходит «естественный отбор» — например, на самом высоком — расширенном уровне — необходимы знания математики, достаточные для понимания того, как работают нейронные сети, а это не каждому под силу. Однако далеко не всем инспекторам необходим максимальный уровень — наверное, таких лишь 5% от всей численности.

Специальной мотивации для повышения квалификации нет — как показывает практика, этого и не нужно. Сотрудники и сами прекрасно понимают, что данное обучение повышает их ценность как специалиста, дает уверенность в будущем, что в наше время очень важно. Ну а того, кто этого не понимает, мотивировать бесполезно и бессмысленно.

Курс «Практика цифровой трансформации» прошли 370 специалистов, это 65% всех сотрудников направлений аудита, причем 85 из них обучены по расширенному и экспертному уровням. Систему PolyAnalyst изучили 210 сотрудников. В рамках образовательного трека для дата-стюардов обучено 60 дата-стюардов и 10 инспекторов.

Какие достигнуты результаты? Что из этого вы считаете наиболее важным?

По итогам реализации КППС в Счетной палате в четыре раза выросло количество аналитических решений с использованием новых методов и инструментов анализа данных. Если в 2020 году их было 16, в 2021 году — 31, то в 2022-м их число достигло 80.

Кроме того, до 70% увеличилась доля самостоятельных решений, созданных инспекторами аудиторских направлений без менторской поддержки Департамента цифровой трансформации. При этом по 11 цифровым решениям достигнута их повторяемость и масштабируемость в различных бюджетных циклах и аудиторских направлениях.

Появились и первые решения с использованием методов искусственного интеллекта. Например, в ходе проверки выплат адвокатам по назначению инспектор разработал лингвистическое правило, позволившее извлечь информацию из поля «Назначение платежа» в платежном поручении. После обработки почти 1 млн платежных поручений были обнаружены транши 424 адвокатам с признаками нарушений на общую сумму 20,7 млн руб. На порядок увеличилось количество объектов контроля, а сам процесс анализа первичных документов по выплатам адвокатам сократился по времени в семь раз.

В 2021 году Счетная палата выиграла конкурс на проведение внешнего аудита Организации Объединенных Наций по промышленному развитию (ЮНИДО). В ходе этой проверки слушатели программы обучения применили свои знания на практике, проведя анализ Journal Entry Testing для выявления мошенничества с финансовой отчетностью. С его помощью удалось отобрать аномальные бухгалтерские транзакции в зоне повышенного аудиторского риска.

Образовательный контент, созданный и апробированный в ходе реализации КППС, начал использоваться в международных образовательных программах — в Университете высших органов аудита при ИНТОСАИ (Международная организация высших органов аудита).

Важно, что для подготовки аналитических решений инспекторы и дата-стюарды самостоятельно находят в Системе управления данными и описывают нужные для работы данные, формируют структуры кросс-функциональных витрин данных и ставят задачи на их загрузку в озеро данных.

Какие были построены наиболее масштабные цифровые решения?

В общей сложности наши сотрудники реализовали более 120 кейсов по анализу данных. Ярким проектом стал автоматизированный анализ статистической отчетности ФНС России, в рамках которого сотрудниками департамента аудита доходов было организовано автоматическое извлечение показателей статистической отчетности ФНС и построение временного ряда за пять лет. Более 2 тыс. показателей сведены в единую аналитическую таблицу, в том числе при помощи лингвистического анализа, что позволило примерно на порядок снизить трудозатраты на проведение анализа статистической отчетности ФНС.

Еще один пример — мониторинг федерального недвижимого имущества. Новые знания и умения позволили сотрудникам реализовать геопространственную и визуальную аналитику объектов федерального недвижимого имущества, арендованного и сданного в аренду, по уровню арендной ставки. В результате, в частности, были выявлены существенные аномалии в распределении уровня арендной ставки.

Наконец, стоит отметить разработку цифрового решения «Государственный долг субъектов Российской Федерации». Используя навыки работы с PolyAnalyst, сотрудники департамента аудита финансовых рынков и государственного долга создали интерактивный инструмент мониторинга и анализа данных по госдолгу регионов: виджеты с табличным и графическим представлением аналитической информации об объеме, структура и динамика совокупного государственного долга субъектов РФ и муниципальных образований, объем и структура долговых обязательств регионов.

В чем роль образовательного проекта для Счетной палаты?

Для нас было крайне важно внедрить практику непрерывного обучения и профессионального развития сотрудников в соответствии с принятыми моделями и профилями компетенций. Этот результат является основой для системной реализации ключевых направлений развития Счетной палаты и достижения стратегической цели по повышению качества государственного управления.

Еще раз подчеркну — введение роли дата-стюардов, формирование модели компетенций и программ обучения инспекторов и дата-стюардов является уникальным опытом в организации работы с данными в деятельности не только государственных органов аудита, но и остальных государственных органов Российской Федерации.

Наличие у сотрудников Счетной палаты знаний и умений, приобретенных в ходе реализации КППС, позволило значительно повысить производительность и качество их труда. Выросла квалификация инспекторов аудиторских направлений по сбору и анализу данных, по оценке государственных программ и политик, развитию доказательных методов аудита. Расширилось применение новейших методов и инструментов анализа данных, что улучшило качество и актуальность рекомендаций по результатам аудита, минимизировало время сбора аудиторских доказательств, довело на некоторых мероприятиях количество проверяемых объектов до 100%.

Это все и есть реальная цифровизация и трансформация деятельности, предусмотренная в нашей стратегии, которая была бы невозможна без обучения.

Можно ли оценить финансовую эффективность программ обучения?

Конечно. В нашем случае напрямую в деньгах эффект оценить вряд ли получится, но можно говорить о том, что подготовленные инспекторы уже экономят массу времени за счет применения нового аналитического инструментария, — и речь идет о тысячах человеко-часов за год. Эффект заключается также, например, в том, что вместо десятков документов или транзакций сотрудник может анализировать тысячи и десятки тысяч или находить какие-то закономерности, аномалии, которые невозможно выявить невооруженным взглядом. Также инспектор может вывести результаты в виде наглядной инфографики, необходимой для подготовки качественных выводов по итогам работы. Таким образом, можно говорить о принципиально другом качестве результата, который сложно оценить в деньгах.

Планы развития программы?

Реализация основных запланированных этапов программы завершается, дальше мы будем говорить о ее «тюнинге» — ориентации на решение каких-либо частных вопросов применения инструментов и технологий, возникающих по итогам практического применения уже освоенного материала.

Николай Смирнов (nsmirnov@osp.ru) — независимый автор (Москва).