Электронные архивы больших данных

Иван Агапов, руководитель направления развития бизнеса компании Directum.

В первой части статьи мы рассмотрели проблематику смешанного электронно-бумажного документооборота, предметную область архивного дела, актуальность темы центров хранения электронных документов на текущий момент, а также выяснили, почему системы, которые ранее использовались, уже не устраивают организации.

Тема цифровых архивов теперь интересна не только делопроизводителям и юристам, но и специалистам ОЦО, HR-менеджерам, финансистам, бухгалтерам, логистам, производственникам и др.

К этому нужно быть готовым директору по данным. Накопленные и постоянно растущие объемы цифрового управленческого контента начинают создавать существенные проблемы для бизнеса или касаются критических запросов контролирующих органов.

Актуальность для бизнеса

Электронные архивы и системы хранения электронных документов (СХЭД) — темы для прокачки компетенций широкого круга специалистов: от архивариусов и делопроизводителей до директоров по данным и цифровой трансформации. С одной стороны, это новая сфера, где есть место ИТ-технологиям (высоконагруженные архитектуры, шифрование, блокчейн), а с другой — приходится принимать во внимание развивающееся законодательство, которому нужно соответствовать.

Директорам по цифровой трансформации тема СХЭД будет полезна, так как затрагивает тренд на цифровизацию всё большего числа бизнес-процессов и сотрудников, а также на гиперавтоматизацию.

Бизнес-задачи по электронным архивам

Что ИТ-специалисту нужно знать об электронных архивах

Архив по определению — место, куда стекается информация. В электронное хранилище она должна поступать из множества ИТ-систем компании и других источников, в том числе внешних систем, и из бумажных архивов. Вопросы встраивания в ИТ-ландшафт, интеграции, оцифровки — это как раз область компетенций директора по ИТ и цифровой трансформации. В части работы с локальными нормативными актами и нормативно-справочной информацией тематика СХЭД будет пересекаться со сферой директора по данным.

Что ИТ-специалисту в первую очередь нужно знать про электронные архивы:

• архитектурный уровень:
  • разница между СЭД, ECM, СХЭД;
  • архитектура электронного архива и встраивание в ИТ-ландшафт;
  • как перераспределять нагрузку на ИС;
     
• технические детали:
  • электронные подписи и метки времени;
  • структура хранения и контейнеры;
  • уничтожение и проверка целостности;
  • оцифровка, распознавание, применение ИИ.

Почему не справляется СЭД

Отличия СЭД от систем архивного хранения

Посмотрим на определение СЭД — система электронного документооборота. Ключевое слово — «документооборот», то есть акцент — на оперативных процессах «оборота» документов. Таким образом, функция хранения, а тем более архивного хранения, не является фокусом этого класса программных продуктов.

ECM-системы — здесь ключевое понятие management (управление). Оно более широкое и рассматривает жизненный цикл и управление архивами. Определение ECM-систем по Gartner включает функции хранения и долговременного хранения. Но если обратиться к более детальному описанию, то можно увидеть, что компоненты и функции Хранения (Store) и Архивного хранения (Preserve) разделены. Архивное хранение — это долгосрочное безопасное хранение и резервное копирование неизменной информации.

Использование выделенной системы архивного хранения соответствует методическим рекомендациям по организации СХЭД для государственных органов. Фактически они задают российский стандарт для архивной отрасли.

Рассмотрим разницу систем оперативного хранения (СЭД/ECM) и архивного, в том числе долговременного, хранения.

Архитектура электронного архива

Задачи построения мощных систем хранения больших объемов данных могут касаться разных предметных областей. Если рассматривать основные технические требования, то к ним можно отнести:

• масштабируемость;
• поддержку импортонезависимых платформ;
• обеспечение юридической значимости.

Несомненно, российские системы управления корпоративным контентом переросли определение СЭД. Но приблизились ли они к мощности систем, которые ранее были распространены среди крупных заказчиков? Задача импортозамещения поставила перед российскими разработчиками амбициозные задачи — заменить крупных западных вендоров хранилищ на новых платформах.

Большими будем называть массивы данных, если речь идет об объемах от 100 млн документов с загрузкой новых объектов в сутки от 500 тыс. до 2 млн единиц.

Системы для работы с большими архивами должны уметь обрабатывать такие внушительные данные с сохранением стабильности и скорости выполнения запросов. Как правило, требуется предоставить доступ не только локальным пользователям, но и сотрудникам территориально удаленных подразделений, причем с соблюдением модели прав доступа. Электронные архивы должны быть надежными хранилищами, так как содержат критически важную для бизнеса информацию.

Большой электронный архив — не только способность платформы хранить сотни миллионов единиц контента, но и продуманные сценарии занесения документов, специализированные быстродействующие поиски, политики назначения прав и т.д.

Архитектура системы должна поддерживать высокую скорость работы одновременно с низким временем отклика для всех основных операций. При этом такие операции могут быть специфическими — например, преобразование в PDF, назначение прав или формирование электронной подписи.

Для обеспечения приемлемой скорости импорта информации важно учесть множество факторов. Высокие требования предъявляются к скорости используемых носителей, потокам CPU, алгоритмам захвата и обработки. При общих внушительных объемах данных подходы будут совершенно разными в зависимости от сочетания параметров размера импортируемых файлов (малые или средние/большие) и частотой занесения (повышенная или средняя частота).

Могут быть разные исходные места хранения — файловая система, системы с БД, с открытой структурой, с возможностью доступа через API, реже закрытые системы. Способы импорта будут различны, например, для FileNet, OpenText, S3 и т.д.

Помимо максимальной переориентации на российское ПО новых проектов внедрения, активизируются проекты перевода существующих систем на импортозамещенную серверную инфраструктуру и серверное ПО. Именно технологическая независимость обеспечит непрерывность бизнес-процессов и сохранность корпоративного контента.

Крупных проектов с большими электронными архивами на полностью импортозамещенной инфраструктуре на рынке пока немного. Не все вендоры готовы к таким масштабным вызовам. В компании Directum планомерно подходили к задаче перевода на новые ОС и СУБД. За прошлый год выполнили ряд значимых проектов на импортозамещенном ПО с охватом 4000, 5000 и более пользователей в Directum RX. Недавно прошло тестирование платформы с использованием Linux и Postgres Pro на 50 тыс. одновременных подключений, что соответствует 80-120 тыс. реальных пользователей системы. Идем дальше — есть планы тестирования на большее число подключений.

Кейсы Directum с масштабным импортозамещением ПО

Как электронные архивы помогают распределять нагрузку на ИТ-системы

Система управления корпоративным контентом должна быть быстрой, всегда доступной и оперативно восстанавливаться в случае сбоев без потери критичных данных, к которым относятся: кластеры, балансировка, виртуализация, распределенная обработка и хранение. Словом, все то, что заставляет закладывать больше финансов на «железо».

Чтобы снизить стоимость владения инфраструктурой для объемных архивов необходима опция разделения хранилищ на несколько уровней с разной скоростью отклика. Системы хранения могут обеспечивать различные политики хранения на более экономичных медленных носителях.

Нельзя забывать про резервное копирование. Важно, что для данных, измеряемых террабайтами, это довольно долгий процесс. Для таких ситуаций создают распределенные файловые хранилища так, чтобы время полного/разностного резервирования укладывалось в интервал, запланированный политикой хранения.

На схеме приведен пример одного из реальных кейсов компании Directum по оптимальной организации хранения и резервного копирования.

Далее данные можно перенести в другую систему — на архивное хранение. Сотрудники к такой информации обращаются уже очень редко (хотя доступ все равно нужен), и требования к обеспечению доступности значительно ниже, а значит, «железо» проще и дешевле.

Если рассматривать передачу документов на архивное хранение с точки зрения законодательства, то для этого существуют определенные нормы и процедуры. И это еще одна сторона организации центров хранения электронных документов, рассмотрим ее ниже.

Юридическая значимость при хранении

Gartner, описывая функцию хранения, делает акцент на юридической значимости: архивное хранение нужно, чтобы помочь компаниям соблюдать государственные и отраслевые нормы и требования.

С более жесткой юридической точки зрения, электронный документ (ЭД) будет равнозначен бумажному, если соблюдены все нормы ст.6 ФЗ-63 «Об электронной подписи».

Одна из функций архива электронных документов — поддержание их юридической значимости в течение длительного времени. Этому мешают несколько факторов:

• сертификат электронной подписи (ЭП) для обычного пользователя действует только год;
• устаревают сами алгоритмы ЭП;
• устаревает форматы записи файлов и отображения информации.

Эти проблемы решаемы на текущий момент с использованием норм российского законодательства и отраслевых стандартов.

Формат усовершенствованной электронной подписи предусматривает обязательное включение в реквизиты ЭП доказательства момента создания подписи (метка времени) и действительности сертификата в момент создания подписи. Таким образом, усовершенствованная ЭП позволяет избежать необходимости собирать доказательства действительности сертификата на момент проверки подписи. Ведь момент проверки подписи может наступить через пару десятков лет, когда эти доказательства будет уже не собрать.

Для электронных документов длительного и постоянного хранения (без ограничения времени) использования однажды сформированной усовершенствованной квалифицированной ЭП оказывается недостаточно. А по нормам законодательства такого хранения требуют многие виды документов, в том числе кадровые и некоторые управленческие.

В этом случае необходимо использовать «перештамповку». В результате этой процедуры образуется цепочка электронных подписей, в конце которой всегда есть электронная подпись (с меткой времени и другими необходимыми доказательствами), сформированная с помощью действующего сертификата. Новые подписи могут формироваться по обновленным алгоритмам, которые появятся в будущем.

Для решения задачи воспроизводимости документов в мировой практике наиболее надежным и распространенным считается формат PDF/A. По факту он стал стандартом хранения, поэтому можно считать, что повсеместное его использование будет гарантировать поддержку читабельности в будущем.

При разработке своих решений, таких, как «Долговременный архив», в компании Directum ориентируются на нормативные требования, рекомендации контролирующих органов, отраслевую, мировую и собственную практику. Даже при некотором несовершенстве законодательства это позволяет уже сейчас решать задачи долговременного хранения ЭД. Мы внимательно отслеживаем возможные изменения и рекомендации, которые появляются в российском законодательстве, и учитываем их при развитии ИТ-решения.

Встраивание долговременного архива в ИТ-ландшафт

Системы в ИТ-ландшафте компаний, которые генерируют массивы контента, разнообразны. Решая задачу организации долговременного хранения необходимо провести их ревизию. Может оказаться, что не все системы-источники хранят электронные документы с сохранением юридической значимости. А это крайне важно, так как чтобы документ был юридически значимым при получении (запросе) из архива, должно соблюдаться два условия:

1. документ должен быть юридически значимым при передаче в архив — это задача информационной системы-источника;
2. юридическая значимость должна быть сохранена в процессе хранения — это работа архивной системы.

Если оказалось, что какие-то системы в имеющейся ИТ-инфраструктуре не обеспечивают юридическую значимость, есть разные варианты решения этой проблемы:

• Доработать/заменить систему-источник так, чтобы она хранила и выдавала данные, готовые к передаче в архивную систему.
• Передать задачу оперативного хранения ЭД с юридической значимостью СЭД/ECM-системе (и ей же — подготовку к долговременному хранению).
• Сразу передавать поступающие извне документы в систему архивного хранения.

Выбор варианта будет зависеть от системы-источника и других условий на конкретном проекте.

При этом важно проработать все методические вопросы и правила электронного архива. У каждой системы и типов документов есть свои нюансы, в том числе касающиеся правил формирования сдаточных описей, регламентов отображения информации в карточке документов. Нужно определиться с моментом передачи в архивную систему, зафиксировать правила и процедуры подготовки к передаче и автоматизировать процесс для каждой из N систем, которые используются в компании. Таким образом, задача ИТ-службы — наладить конвейер обработки данных и передачи в архив.

Встраивание СХЭД в ИТ-ландшафт компании может оказаться достаточно сложным и многоэтапным процессом. Ниже представлен вариант организации правил передачи на долговременное хранение электронных документов из различных ИС.

Исходные файлы внутри систем-источников могут быть в различных форматах:

• xml — счета-фактуры, чеки и т.д.;
• doc, xls — управленческие документы;
• igs, zip — конструкторская документация;
• другие.

Но для систем архивного хранения фактическим стандартом является способ хранения документов в ZIP-контейнерах. Это соответствует рекомендациям Росархива, кроме того, ZIP-архив легко формировать в любой системе-источнике.

ZIP-контейнер обычно содержит исходные файлы, ту же информацию в формате PDF/A, электронные подписи, метаданные в XML-формате. Описание контейнера содержит информацию о том, кем и где был создан документ (система-источник), срок его хранения, кто его подписывал. Описание позволяет архивной системе заполнять карточки и получать информацию о самом документе.

Нужна максимальная цифровизация процесса подготовки и передачи документов так, чтобы архивное хранение не усложняло работу, а упрощало. Тогда это станет эффективно и востребовано. Эти нюансы мы учитываем на проектах внедрения.

Итоги

Итак, мы разобрались с вопросами внутренней организации архива, но не менее важным является процесс миграции на новую систему и оцифровки бумажного архива. С одной стороны, это решается конфигурацией проекта, с другой стороны, технические возможности архивной системы тоже важны. Возможный разброс решений — от полностью ручной оцифровки до максимально автоматизированной с использованием искусственного интеллекта.

Важный момент: чтобы успешно организовать централизованный электронный архив, нужно решить не только технические вопросы, но и массу организационных. В этом ИТ-директору нужна будет мощная поддержка методической группы.

Понимание всего комплекса задач организации масштабных электронных архивов в компании Directum подкреплено успешным взаимодействием с рабочими группами заказчиков и выполненными проектами. Системный взгляд на управление цифровым корпоративным контентом позволяет выстраивать развитие продуктов Directum с учетом целей максимального перевода в цифру процессов и жизненного цикла контента.