Музей 4.0: умные сервисы для умных горожан

До недавнего времени Пушкинский музей, Третьяковская галерея и Эрмитаж совсем не ассоциировались с цифровыми сервисами. Но сегодня музеи встали на путь трансформации: собирают данные для принятия решений и формируют цифровую стратегию, оцифровывают свои сокровища и берут на хранение первые цифровые экспонаты. А по активности экспериментов с разнообразными технологиями они способны дать фору даже некоторым коммерческим организациям.

«Мы не можем не учитывать, что живем в эпоху цифровой трансформации, и должны изменить логику своих действий на основе новых возможностей и инструментов, связанных с применением ИТ», – отметил Владимир Определенов, заместитель директора ГМИИ им. А. С. Пушкина по ИТ, в ходе своего выступления на конференции Smart Industry&City, организованной издательством «Открытые системы».

Именно музеи начали раньше других накапливать опыт применения самых многообещающих технологий: машинного зрения и дополненной реальности.

Умный музей в умном городе

Ежегодно в Музей изобразительных искусств им. А. С. Пушкина приходят около 1,3 млн человек, музей хранит примерно 670 тыс. предметов, 350 тыс. томов в библиотеке и 800 тыс. архивных материалов – их точное количество еще предстоит определить в процессе оцифровки.

Сейчас музей, включающий 27 зданий и строений в центре Москвы, находится в активной стадии реконструкции и реализации новой концепции развития. Эта концепция, предусматривающая создание целого музейного квартала, является логическим продолжением концепции Smart City и предполагает, что само пространство формирует человека, а музей должен быть максимально открытым, доступным, изменчивым и обладать качественной обратной связью. «В умном городе воспитание умного горожанина – во многом наша ответственность», – говорит Определенов.

В Пушкинском намерены повышать свой уровень обслуживания на основе новой инфраструктуры, Интернета вещей и разнообразных технологий, которые сегодня тестируются.

Площадь музея к 2025 году увеличится почти в два раза по сравнению с текущей и составит 102 тыс. кв. м, при этом общественные пространства вырастут почти в десять раз. Благодаря cистеме архитектурного и экспозиционного 3D-проектирования, можно уже сегодня расставить экспонаты и оценить, как будет выглядеть музейный квартал в 2025 году. Проблема в том, что ИТ-интеграторов, понимающих, как работать с памятниками архитектуры при выстраивании такого пространства, практически нет, сожалеет Определенов.

В дальнейшем 3D-модель музея планируется использовать в единой системе диспетчеризации. Благодаря средствам видеоаналитики появятся совершенно другие возможности: видеонаблюдение позволяет видеть весь комплекс целиком, а искусственный интеллект покажет оператору именно то место, где происходит что-то неладное.

В музее намерены не только считать посещаемость, но и отслеживать внутренний трекинг посетителей, чтобы понять, что им нравится, а что нет, где экспонаты расположены удачно, а где – не очень. При этом CRM-система, которая работает с программой лояльности, должна понимать, кто именно приходит в музей. «Это очень важные данные, и их нужно серьезно защищать», – подчеркивает Определенов.

Трансмедийность – поле для эксперимента

Владимир Определенов, замдиректора по ИТ ГМИИ им. А. С. Пушкина: «Музей – это уникальная площадка, на которой надо попробовать все, что может помочь улучшению коммуникации с посетителем»

Цифровизация кардинально меняет взаимодействие с аудиторией музеев, которую скоро перестанут делить на реальную и виртуальную. Стремясь повысить качество коммуникаций, в Пушкинском изучают всевозможные варианты быстрой передачи данных посетителю. «Надо понять, как быстрее доставить в гаджеты ту информацию, которую нам бы хотелось», – указывает Определенов. С этой целью в музее сравнивают возможности QR-кодов, NFC-меток, Bluetooth-маячков, технологий машинного зрения, а также экспериментируют с системой светового кодирования (LinkRay), планируя модулировать обычное освещение таким образом, чтобы любой источник света стал источником кода для смартфона. В залах музея установлены светодиодные светильники на трековой шине, куда монтируются модуляторы системы LinkRay, таким образом само освещенное пространство превращается в носителя информации.

В отличие от QR-кода, cветовой код можно считать с расстояния до нескольких метров и в толпе, к тому же система LinkRay четко распознает данные даже о близко расположенных экспонатах, поэтому на стадии приема мобильными гаджетами информационные потоки не пересекаются.

Кроме того, система LinkRay способна собирать статистические данные о посетителях, обеспечивать навигацию и выстраивание маршрута от экспоната к экспонату. В перспективе в Пушкинском надеются дополнить навигационные элементы технологиями со световым кодом. «В идеале хотелось бы, чтобы в будущем все упомянутые технологии сошлись и мы получили точно те данные, которые хотим», – говорит Определенов. Но трансмедийность (передача информации посредством различных медиа), по его словам, возможна уже сейчас.

Идее трансмедийности отвечают комплексные проекты музея – например, по тематической коллекции живописи. Проект предусматривает создание архива высокоточных изображений и тематического сайта, выпуск электронного издания с виртуальными прогулками по залам музея и видеофильма, посвященного шедеврам коллекции, в разрешении Full HD, а также интернет-версии виртуальных залов на портале музея.

В настоящее время для виртуальных экскурсий открыты пять филиалов Пушкинского, от главного здания до мемориальной квартиры Святослава Рихтера. Предлагаются два варианта прогулки по музейным залам: фотопанорама с интерактивным вызовом экспонатов, снабженная текстовыми пояснениями и аудиогидом, а также 3D-версия для просмотра с помощью очков виртуальной реальности и аудиогида.

Важной частью трансмедийных коммуникаций является дополненная реальность (augmented reality, AR). В Пушкинском активно используют AR-приложение «Артефакт» и видят за ним будущее в плане повышения качества музейных коммуникаций. Пока же, по словам Определенова, дополненной реальностью интересуются 1-3% посетителей. Но это не повод от нее отказаться. «Музей – это уникальная площадка, на которой надо попробовать все, что может помочь улучшению коммуникации с посетителем», – полагает он.

Широкое поле для применения цифровых технологий видят и в Эрмитаже. Здесь их используют, помимо прочего, при реализации программы энергосбережения. В фондохранилище окупаемость системы автоматического управления средствами компенсации реактивной мощности составляет 3-4 года, а в случае роста тарифа – и того меньше. Как рассказал Алексей Богданов, заместитель директора Государственного Эрмитажа, некоторые идеи по эффективному применению цифровых технологий в музее удается почерпнуть на хакатонах. Так, по итогам одного из них сейчас разрабатывается приложение для борьбы с очередями.

В начале цифровой эры

Интенсивное насыщение музейных залов медиа и авторскими трехмерными моделями создает научно-вспомогательный цифровой фонд, который тоже пора брать на хранение. Будущее музейного дела связано, помимо прочего, с хранением цифровых объектов.

В августе 2017 года Пушкинский взял на хранение и поставил на учет первые два предмета, не имеющие материальных носителей, – произведения медиаискусства. На очереди еще несколько десятков произведений. Как будет организовано их хранение, еще предстоит понять: стандартов пока нет, каждый музей вырабатывает собственный регламент.

Между тем вопрос сохранения культурного наследия в цифровую эпоху стоит весьма остро. «С точки зрения судеб и переживаний конкретных людей о первой чеченской войне мы знаем очень много, поскольку тогда еще писали письма, о второй – крайне мало, так как появились SMS, – говорит Определенов. – Целых 20 лет жизни в наш цифровой век мы во многом потеряли». Утверждать, что все сегодня доступно в Интернете, еще рано. По словам Определенова, в сети есть не более 2% накопленного человечеством знания, остальное находится в институтах памяти, которые пока еще только начали свой путь цифровой трансформации.

Дальше всех успели продвинуться по этому пути музеи с мировой известностью. Так, в Эрмитаже решили за три года оцифровать все экспонаты, делая по четыре изображения (не художественных) на предмет, в 2018 году работа должна завершиться. Почти 37 тыс. картин оцифровано в высоком разрешении и порядка 40 тыс. экспонатов – в супервысоком. По словам Богданова, программа перекачки изображений на сайт работает круглосуточно, и через два года там можно будет найти любой экспонат Эрмитажа.

В оцифровке культурного наследия очень важно выбрать правильный подход. Представьте, какой виток совершат технологии в ближайшие пять лет. Если не уделять должное внимание качеству и методам оцифровки, то существенная часть работы будет выполнена зря. «Многие файлы потом невозможно будет использовать в системах с искусственным интеллектом, а это означает, что труд множества людей, включая грузчиков, осветителей, фотографов, был во многом бесполезным с точки зрения смысла оцифровки для публичного представления и введения предметов в мировой научный оборот», – говорит Определенов.

Примером правильного подхода к такой работе в Пушкинском музее считают оцифровку коллекции клинописных табличек, каждая из которых снимается в 16 режимах динамического освещения под тремя разными углами. Затем, после математической обработки, получаются два изображения, которые можно распознавать с помощью машинного зрения и применять для обучения системы искусственного интеллекта. «Когда мы научим машину хорошо читать клинопись, это изменит весь ландшафт цифровых музейных коммуникаций и научных исследований», – уверен Определенов. Но нейронным сетям для анализа нужны качественные изображения, настойчиво напоминает он.

Пока же смысл древних символов музеи раскрывают другими средствами.

Интерактивный «проявитель»

В экспозиции Государственного историко-архитектурного и художественного музея-заповедника «Казанский Кремль» для этой цели используются интерактивные технологии: проекционные инсталляции, сенсорные киоски, аудиоточки. К примеру, интерактивный Коран в музее исламской культуры позволяет слушать суры по выбору посетителя. Как рассказала Ольга Макарова, руководитель Музея естественной истории Татарстана, некоторые экспонаты, такие как дорожка следов, возраст которых составляет несколько миллионов лет, оставались практически невидимыми, пока не появилось интерактивное сопровождение. В тесном сотрудничестве с палеонтологами в этом музее выполнили анимацию экспонатов дополненной реальности «Ледниковый период». А мобильный палеонтологический AR-тур выполняет роль «ожившей афиши»: его показывают, выезжая в районы республики, чтобы рассказать о музее. Благодаря AR-технологиям о себе рассказывают даже памятники, находящиеся за сотни километров от музеев. Коснувшись палочкой-«писалом» резных тюркских рун на изображении каменной стелы Кюль-тегина в Монголии, можно прочитать их перевод на трех языках. «Этот экспонат точно никто бы не увидел, если бы не интерактивное сопровождение», – подчеркнула Макарова.

AR-гид своими руками

Большая часть аудитории музеев сегодня делает селфи и отправляет их в социальные сети. Мобильные устройства конкурируют с музеем за внимание аудитории, но ими же можно воспользоваться и для привлечения ее внимания.

Источник: ГИВЦ Министерства культуры РФ

В Министерстве культуры разработали платформу дополненной реальности «Артефакт» с мобильным приложением. На ее основе сотрудники музеев могут самостоятельно создавать AR-гидов и виртуальные выставочные проекты.

При наведении камеры гаджета на экспонат, «Артефакт» идентифицирует его и выводит поверх его изображения интерактивные точки с пояснениями к ключевым деталям, интересными фактами биографии автора или истории создания произведения, в том числе и в форме длинных текстов, насыщенных мультимедиа. Кроме того, если музей провел соответствующую подготовительную работу, то при помощи «Артефакта» можно посмотреть эскизы картины или ее другие вариации, разглядеть скульптуру со всех сторон или вид до реставрации, cопоставить графику и живописные полотна, в том числе хранящиеся в разных музеях.

Таким образом, гаджет не отвлекает от взаимодействия с музеем, а используется как еще один канал коммуникации, повышающий вовлеченность. «В этой ситуации, когда для коммуникации используется устройство, которое посетитель принес с собой, музей выигрывает», – подчеркнул Тимур Алейников, заместитель директора ГИВЦ Министерства культуры России, выступая на конференции «Digital музей. Инновационные технологии для музеев и выставочных пространств». По его словам, дополненная реальность дает музеям возможность соответствовать ожиданиям и привычкам, которые у людей уже успели сформироваться. «Записать интересный факт и пойти искать информацию в каталоге или энциклопедии – это ушедшая модель, – говорит Алейников. – Посетитель музея хочет узнать ответ на свой вопрос здесь и сейчас».

Платформа, работающая под iOS и Android, а также имеющая веб-версию, музеям предоставляется бесплатно. Проекты на основе «Артефакта», охватывающие постоянную экспозицию или временные выставки, уже сделали 20 музеев, в том числе Тульский музей оружия, музеи-заповедники «Кижи», «Петергоф», музей-усадьба «Кусково», Вологодский государственный музей-заповедник, Русский музей.

Подключившись к системе, музеи создают выставки, загружают фото экспонатов, тестируют их распознавание смартфоном, размечают активные точки и верстают статьи. При желании можно также загрузить дополнительные слои или перевести все материалы на английский язык. После того как AR-гид подготовлен, нужно сообщить об этом оператору платформы, провести финальное тестирование и сверстать баннер-инструкцию для посетителей, не забыв разместить AR-метки рядом с экспонатами и обучить сотрудников. Так как быстро обеспечить полное Wi-Fi-покрытие на обширных музейных территориях зачастую проблематично, планируется добавить в «Артефакт» поддержку офлайн-режима, сообщил Алейников. Кроме того, в ближайшее время намечена интеграция с сервисом izi.travel, и тогда можно будет добавлять на платформу аудиогиды. Предполагается, что в 2018 году платформу научат распознавать и объемные изображения. Но поскольку 3D-сканеры еще дороги и их обладателей пока можно пересчитать по пальцам, для работы с «Артефактом» планируется использовать псевдообъемные изображения на основе многоракурсной фотосъемки.

Расширяя пространство

Цифровая стратегия Третьяковской галереи, основанная на общей концепции музея и на анализе всего предшествующего опыта работы с аудиторией, нацелена прежде всего вовне, призвана привлечь внимание как можно более широкой аудитории c помощью Интернета, мобильных технологий, включая мультимедиа и даже игры. «Наши посетители живут в цифровом мире, и в этом мире мы с ними работаем», – рассказывает Татьяна Николаева, начальник отдела мультимедиа- и интернет-проектов Государственной Третьяковской галереи.

В мае 2017 года был запущен новый сайт галереи с изображениями хорошего качества, панорамами залов, виртуальными выставками, в том числе существующими только в электронном виде. Здесь можно «полистать» альбомы живописи, каталоги, научные сборники, а также опробовать арт-конструктор – игровые мобильные приложения «Пейзаж» и «Натюрморт». Впрочем, панораму основных экспозиций Третьяковки теперь можно увидеть даже на «Яндекс.Картах».

«Виртуальный, цифровой мир расширяет наши границы», – говорит Николаева. Для работы в этом пространстве галерея намерена активно использовать не только сайт, но и социальные сети, другие платформы и онлайн-сообщества. Предполагается задействовать электронные устройства для развития диалога о коллекции и о художниках, создавать новые формы виртуального погружения и инсталляций, собирать и представлять публике цифровые формы искусства, привлекать денежные средства через Интернет или с помощью SMS, налаживать онлайн-продажи сувенирной и книжной продукции, а также разрабатывать конкурентоспособные электронные продукты – например, виртуальные образовательные курсы.

Эмоции неандертальцев

3D-копии бюстов неандертальцев «оживляют» с помощью датчика Kinect Источник: Государственный Дарвиновский музей

Насколько интенсивно музеям следует вкладываться в развитие технологий виртуальной и дополненной реальности? У ИТ-директоров нет единодушия по данному вопросу. Одни считают, что делать это вектором развития преждевременно, особенно региональным музеям, чьи ресурсы ограниченны. Другие, напротив, полагают, что эти направления уже стали массовыми. Если стремиться к экономии и делать все своими силами, то получается слишком долго и технология успевает уйти на другой уровень. Следующим этапом станет работа с нейроинтерфейсами, в экспозиции Политехнического музея они уже появились, сообщил Михаил Яковенко, заместитель генерального директора по ИТ Политехнического музея.

Доступность для современной аудитории стоит недешево: необходимо не только привлечь средства и оборудование, измениться должны и сами сотрудники. К примеру, на сканирование в очень высоком разрешении одного зала Юпитера в Эрмитаже потребовалось три дня и почти 3 млн руб. Трехмерное виртуальное изображение было создано методом онлайн-фотограмметрии. Зато теперь возможность побывать в зале Юпитера и даже взглянуть на него сверху появилась в регионах, где устраиваются Дни Эрмитажа. «Мы смотрим на реакцию, – отметил Богданов. – И по итогам эксперимента видим, что потребность в VR очень большая».

«VR-технологии однозначно нужны, вопрос только в том, когда будет создан адекватный качественный контент, расширяющий возможности музея и комфортный для пользователя. Пока его очень мало», – считает Татьяна Кубасова, заместитель директора по научно-исследовательской работе Дарвиновского музея.

Тем не менее к настоящему времени уже почти 500 музеев мира загрузили порядка 13 тыс. оцифрованных предметов в сервис SketchFab – аналог YouTube для 3D-моделей.

Дарвиновский является одним из немногих музеев – обладателей 3D-сканера и 3D-принтера, на котором можно печатать гипсовые объекты для экспозиции. В музее была создана витрина с художественными реконструкциями животных, живших 420 млн лет назад, и черепом давнего предка человека – проконсула. Трехмерную копию, в отличие от самого экспоната, можно повертеть в руках. Правда, изготовленные на 3D-принтере копии дороги, поэтому такая возможность предоставляется только посетителям с ограниченными возможностями. И вместо печати целой коллекции 3D-моделей, в музее решили создавать мультимедийные объемные модели, которые будут изображены в движении и расскажут о себе сами, без экскурсовода.

Уже сегодня цифровые копии бюстов неандертальцев анимируют с помощью датчика Kinect, который распознает 42 эмоции посетителей и в реальном времени накладывает их на трехмерные интерактивные аватары.

Данные есть, дело за решениями

Большая часть музеев субсидируется, им не приходится бороться за выживание. Если же посмотреть на выживающих на рынке самостоятельно, то можно увидеть, что лидируют те, кто максимально использует технологии сбора и анализа данных, указывает Яковенко.

Он предлагает рассматривать департаменты культуры и платформы, которые они предоставляют, в качестве элементов цифровой музейной экосистемы. В этой экосистеме уже появились крупные источники открытых данных о коллекциях, о статистике посещений. Формально существуют стандарты хранения и передачи данных, протоколы обмена. Технологии дают возможность автоматизировать сбор данных с сайтов с привязкой профилей из соцсетей, из билетно-кассовых систем, со счетчиков посетителей на входе. Большая часть музеев накапливают данные просмотра экспозиции видеокамерами, и эта информация хранится продолжительное время. «Необходимо акцентироваться на стандартизации, защите накопленных данных и резервном копировании, – подчеркивает Яковенко. – Иначе есть риск потерять информацию».

В таких музеях, как Пушкинский и Эрмитаж, где потоки посетителей измеряются миллионами в год, решения уже принимают на основании данных. Однако многие другие музеи, несмотря на многолетний рост числа мобильных пользователей, продолжают делать сайты для десктопов, а выбор соцсети для присутствия и планирование ассортимента сувенирных магазинов нередко определяются исходя из предпочтений сотрудников, а не аудитории. Зачастую музеи даже не считают конверсию, хотя проанализировать аудиторию по полу и возрасту сейчас не так уж сложно – такие решения есть. А в перспективе собранные данные можно будет обрабатывать с помощью искусственного интеллекта.

«Данных уже достаточно, и получить дополнительные – недорого, – говорит Яковенко. – В отличие от коммерции, мы не конкурируем так жестко между собой, поэтому в своей экосистеме можем свободно обмениваться данными и массово использовать чужой опыт и исследования». По его мнению, если добавить немного давления со стороны учредителя (Минкультуры), то можно в музеях добиться такой же активности применения данных, как, допустим, в ретейле.

Межмузейное дело

Ожидается, что по мере развития ИТ-инфраструктуры откроются новые возможности для межмузейного взаимодействия – от виртуальных кросс-музейных экспозиций до сети «виртуальной памяти», объединяющей музейные фонды. Об этом задумываются и в Музее истории ГУЛАГа, и в Государственном музейно-выставочном центре Росфото.

В центре единого информационного пространства молодого Музея Росфото, вся коллекция которого существует в цифровом виде, находится репозиторий с документами и фотографиями. Эта общая система хранения данных о фондах музея не только объединяет хранителей, исследователей и кураторов различных проектов, но и облегчает публикацию информации о предметах в машиночитаемом виде. Репозиторий обрел статус доверительного источника информации для всех сотрудников, причем доступ к нему может быть предоставлен сторонним исследователям и кураторам, а также посетителям музея. «Мы можем построить «новый Интернет», где данные будут верифицированы музеями», – считает Алексей Тихонов, заведующий отделом фототехнологической работы Центра Росфото.

Если музеи способны заимствовать интересные технологические подходы в далеких от сферы культуры отраслях, наверное, и коммерческие компании смогут почерпнуть ценные с точки зрения цифровизации идеи у музеев...