Умная сеть интеллектуальных камер

По мере совершенствования встроенных устройств, предназначенных для распознавания, обработки и обмена данными и метаданными, улучшаются возможности интеллектуальных камер по захвату и анализу сцен — скоро умные сети видеонаблюдения могут стать неотъемлемой частью беспилотных поисковых и аварийно-спасательных систем, а также мероприятий по ликвидации последствий стихийных бедствий и сохранению природы. В сфере здравоохранения такие сети могут оказать неоценимую помощь при организации наблюдения за состоянием пациентов на дому. Однако многие из этих приложений требуют динамической адаптации камер к изменению условий освещенности или пропускной способности каналов передачи данных. Такая адаптация возможна за счет автоматической перенастройки конфигурации — камеры взаимодействуют друг с другом и формируют автономную сеть, которая обеспечивает необходимую реакцию на непредсказуемые изменения и управляет распределением ресурсов.

Рис. 1. Пример сценария для самонастраиваемой сети интеллектуальных камер. Перед камерами ставятся задачи обнаружения, установления местонахождения и повторной идентификации. Разнотипные датчики обеспечивают полное покрытие отслеживаемой области с различных точек зрения. В процессе взаимодействия камер задачи анализа видео поручаются датчику, наилучшим образом подходящему для этого. Расширение поля зрения улучшает отслеживание движущихся целей, но снижает возможности распознавания и анализа. Постоянный обмен информацией (например, сигнатуры цели) одной камеры с другой обеспечивает требуемое качество обслуживания даже при отсутствии перекрывающихся областей в различных зонах обзора

Как правило, автоматическая настройка предусматривает выбор камер [1], управление полем зрения [2] и постановку задач. Как видно из рис. 1, камеры беспилотных летательных аппаратов осуществляют наблюдение за обширной площадью и изменяют сетевую конфигурацию в зависимости от выполняемых задач, требующих определенного качества обслуживания (Quality of Service, QoS). Камеры наземных транспортных средств используют информацию, полученную от воздушных аппаратов, для перемещения в направлении сцены, распознавания людей, действий и объектов. Носимые камеры, находящиеся в непосредственной близости от цели, формируют высококачественные изображения, которые впоследствии могут использоваться правоохранительными органами. На каждом этапе цикла автоматической настройки сети камер решаются свои задачи по налаживанию взаимодействия между разнотипными устройствами.

Пять столпов автоматической настройки

В сетях интеллектуальных камер процедура самонастройки представляет собой автономный и согласованный поиск оптимального (например, по критерию использования ресурсов или достижения максимальной производительности) состояния сети. На рис. 2 представлены элементы, которые следует учитывать при реализации любой стратегии построения самонастраиваемой сети интеллектуальных камер. Необходимо принимать во внимание особенности среды, характеристики отдельных камер, функциональные требования и желаемую производительность. Все это оказывает влияние на взаимодействие интеллектуальных камер, которые пытаются найти конфигурацию, оптимальную для работы в конкретной ситуации.

Рис. 2. Основные элементы самонастраиваемых сетей наблюдения помогают интеллектуальным камерам в организации взаимодействия и поиске оптимальной конфигурации. Взаимодействие предполагает распределенное и параллельное выполнение задач по распознаванию объектов, их отслеживанию и анализу событий

Задача первого элемента системы настройки (камеры) — определить, каким образом будет осуществляться настройка каждой из камер с учетом их физического положения (калибровки), ресурсов энергопотребления (батареи), чувствительности (типа датчика и поля зрения), вычислительных ресурсов (процессора и памяти) и телекоммуникационного протокола. Второй элемент (сеть) характеризует взаимодействие камер с точки зрения обмена информацией между ними и совместного использования зон обзора. Таким образом описываются соседи для каждой из камер. Возможности обмена информацией могут меняться, поскольку характеристики камер, их число и пропускная способность каналов связи с течением времени также меняются. Любой протокол, с помощью которого осуществляется управление связью и обработкой данных, также должен учитывать различные аспекты. Сюда относятся политики оптимального распределения имеющейся пропускной способности, устойчивость к ошибкам передачи, маршрутизация информации об эффективности энергопотребления и поддержка связи между разнотипными устройствами. Третий элемент (среда) описывает наблюдательные позиции или точки управления, характеризующие зоны обзора камер, а также любые статические и движущиеся препятствия, которые могут блокировать поле зрения (потенциальные преграды на пути к целям).

Каждая интеллектуальная камера координирует свои действия с другими с помощью механизма принятия решений (четвертый элемент системы), связанных с конкретными задачами и операциями. Эти решения обеспечивают выполнение заданий — в частности, распознавание появления и определение положения движущихся целей. Операционные решения помогают организовать обмен информацией между камерами и их координацию, в частности планирование процедур анализа видео.

Элемент автоматической настройки конфигурации задачи включает ресурсные ограничения (стоимость энергии и вычислений) [3], а также обеспечивает сбалансированность распределения нагрузки между камерами. Сбалансированность, в свою очередь, требует декомпозиции задач в зависимости от их сложности и потребляемых ресурсов. Распознавание поведения, например, может разбиваться на определение объекта, его функций и пространственно-временных характеристик. После этого каждая из выделенных подзадач поручается какой-либо наиболее подходящей камере. Хотя процедуры распределения сродни тем, что используются при решении задач теории управления и организации функционирования беспроводных сенсорных сетей, необходимость одновременного выделения ресурсов для сложных задач затрудняет выполнение процессов в сетях интеллектуальных камер. Число задач, например, может превышать количество камер, а при распределении последних приходится решать еще и задачи, связанные с адаптацией и сменой направленности множества зон обзора.

Производительность — пятый основной элемент системы автоматической настройки. Показатель производительности позволяет оценить успех стратегии реконфигурации и, как правило, определяется точностью и своевременностью выполнения задач, энергопотреблением, стоимостью обмена данными, сроком службы каждой из камер и сети в целом.

Оптимальное состояние сети зависит от сетевой структуры и состояния отдельных камер, но, как правило, оптимизация включает алгоритмы модификации и параметры оборудования. К алгоритмическим параметрам относятся частота захваченных и обрабатываемых кадров, разрешение изображения, степень сжатия и определение задач [3, 5]. Параметры оборудования характеризуют число задействованных камер, положение каждой из них и зоны обзора [1, 2]. Изменение зоны обзора предусматривает оптимизацию внешних параметров камеры (ориентации, масштабирования изображения) и ее внутренних параметров (диафрагмы и фокусировки). Оптимизация зависит также от критериев качества съемки: минимального разрешения, целей, попадающих в кадр, и их ориентации по отношению к камере.

Сети интеллектуальных камер должны быть готовы противостоять ошибкам, ограничениям пропускной способности и меняющимся временным параметрам. При перемещении камер, их отключении в целях экономии электроэнергии, подключении к сети и выходе из нее в сетевой структуре происходят определенные изменения. Возможности реконфигурации должны предусматривать адаптацию к возникновению обстоятельств, которые не всегда известны заранее. Например, от сети интеллектуальных камер может потребоваться обновление конфигурации при одновременной съемке горящего здания и отслеживании действий пожарных и спасающихся жильцов.

Непрерывный цикл реконфигурации

На рис. 3 показан непрерывный цикл изменения конфигурации, состоящий из оценки топологии и самокалибровки, распределения ресурсов и задач, а также активного видеонаблюдения. Структурная информация сети описывает взаимное расположение камер. Основная цель автоматической реконфигурации заключается в динамическом описании соседей каждой из камер, используемом при организации их взаимодействия. Эффективность реконфигурации зависит от способности сети к самостоятельной калибровке и анализа топологии при ее определении и обновлении. Например, изменение зоны обзора камеры требует применения технологий активного видеонаблюдения, позволяющих управлять перемещением камер и контролировать их размещение. При перемещении любой из камер топология сети меняется, что может потребовать перемещения и ее соседей.

Рис. 3. Непрерывный цикл автоматической реконфигурации сети интеллектуальных камер. Критерии оценки описывают правила и параметры качества обслуживания, которое должна обеспечивать сеть при анализе видео. Блок реконфигурации сети выбирает включаемые и отключаемые камеры и поручает задействованным камерам выполнение тех или иных задач. Все решения принимаются на основе анализа имеющихся ресурсов.

Самокалибровка включает проведение геометрического анализа с учетом внутренней и внешней информации камеры — в частности, внутренних параметров, обеспечивающих проецирование реального мира на плоскость изображения. Внешняя информация камеры описывает ее положение в трехмерном пространстве и глобальной системе координат. Подходы, применяемые при самокалибровке, различаются в зависимости от пересечения и наложения зон обзора. В общем случае самокалибровка начинается с определения положения камеры в системе координат, затем этот процесс распространяется по сети с учетом стратегий взаимодействия, оценивающих относительное положение и ориентацию других камер. При совместной автокалибровке перекрывающихся камер сравниваются изображения, получаемые с различных точек зрения. Для каждой зоны обзора формируются функциональные описания, которые затем распространяются по сети. При оценке параметров перемещения каждой из камер алгоритм калибровки учитывает схемы обмена локальными сообщениями и среднее значение состояний агентов [3]. Если области обзора камер не перекрываются, возникают мертвые зоны, которые усложняют калибровку. В процессе моделирования выдвигаются гипотезы о перемещении различных целей от одной камеры к другой и обратно. Итерационное построение таких моделей позволяет выполнять калибровку на основе анализа попарного взаимодействия.

Распределение ресурсов и задач

В сетях интеллектуальных камер с ограниченным запасом ресурсов должно обеспечиваться управление продолжительностью работы от батарей, пропускной способностью каналов связи и вычислительной мощностью, причем чем крупнее сеть, тем важнее для нее управление ресурсами. Камеры должны распределять между собой вычислительную нагрузку, делегируя задачи анализа видео устройствам, на которые приходится меньшая нагрузка.

Размещение камер. В процессе реконфигурации необходимо определить условия полного покрытия нужной области, в том числе требуемое количество камер, их абсолютное местоположение и относительную конфигурацию. Исследователи предлагают набор оптимальных для определенных условий решений этой непростой задачи, учитывающих особенности различных целей и моделей для зон обзора. В одном из таких решений с помощью алгоритмов централизованной настройки данных модели покрытия зон обзора камер сравниваются с картами активности, на которых указывается местоположение часто перемещающихся целей [2].

Динамичное управление ресурсами. В процессе управления ресурсами параметры отдельных камер и сети меняются, адаптируясь к динамике сцен и имеющимся ресурсам. Оптимизация ресурсов для повышения производительности сетей представляет собой отдельную область исследований. Те же вопросы возникают в сфере роботизации и беспроводных сенсорных сетей. Предлагаемые решения связаны с управлением энергопотреблением камеры в целях достижения желаемой эффективности, с выделением ресурсов при выполнении распределенных задач и с оптимизацией связи при передаче видеоинформации. Оптимизации в реальном времени отводится центральное место при организации поддержки сети и увеличении продолжительности ее эксплуатации.

В связи со сложностью и многочисленностью задач видеонаблюдения их распределению или планированию отводится очень важная роль. Основная идея заключается в том, чтобы определить цели для каждой камеры, позволяющие им взаимодействовать в процессе решения основной задачи, стоящей перед сетью. Причем как задача, так и критерии оценки могут меняться в зависимости от обстоятельств. Любая стратегия распределения должна учитывать ограничения доступности ресурсов и выявлять набор камер, позволяющих наилучшим образом решить поставленную задачу.

Активное наблюдение

Активное наблюдение предполагает непрерывное взаимодействие между интеллектуальными камерами и средой для определения того, что должно попадать в поле зрения. Камеры могут активно изменять внутренние и внешние параметры (перемещение, вращение, панорамирование, наклон и масштабирование) для адаптации своей зоны обзора к конкретным задачам, к числу которых относится и повышение точности определения местонахождения объектов. Камеры могут наклоняться и переводиться в режим панорамной съемки для улучшения отдельных частей изображения, охватывающих цель, увеличения лиц или номерных знаков и настройки внутренних параметров, повышающих качество изображения (в частности, при увеличении диафрагмы в моменты, когда цель входит в теневую зону).

При обеспечении соответствия критериям эффективности (в частности, при сохранении информации о размере и положении цели) камеры могут состязаться или взаимодействовать друг с другом. В процессе отслеживания объектов с передачей их друг другу камеры должны определить, какая из них лучше подходит для контроля за объектом, находящимся одновременно в двух зонах обзора. Взаимодействие, основанное на использовании методов оптимизации, гарантирует изменение топологии таким образом, что каждая из целей попадает в определенную зону обзора. Одновременно решается задача распределения целей между активными камерами с учетом сетевых ограничений.

Оптимизация, таким образом, представляет собой компромисс между способностью сети удерживать всю сцену и возможностью получать важную детализированную информацию о цели или объекте. Для решения задач распознавания камера может сузить поле зрения, увеличивая отдельные области (например, лицо), и временно игнорировать информацию об отдельных частях тела и окружающей сцене. Другие камеры совместными усилиями должны компенсировать недостаток информации, изменив соответствующим образом свои параметры и зону обзора.

Для компенсации соответствующих издержек могут быть полезны методы теории игр, позволяющие определять стратегии для состязающихся и взаимодействующих камер, задавать структуры затрат для задач и камеры. Например, предпочтение может отдаваться как камере, снимающей крупный план, так и камере, отражающей общую сцену, — все зависит от принятой модели. Наряду с возможностью получения высококачественного детализированного изображения возникает риск утраты общей картины. В зависимости от глобальных сетевых задач камеры будут придерживаться стратегии максимизации получаемых преимуществ или минимизации затрат и в соответствии с ней находить оптимальное решение.

***

Автоматически реконфигурируемые сети интеллектуальных камер, обеспечивающие совместное функционирование устройств и распределенные решения, могут найти применение при построении разных крупномасштабных сред и приложений. В случае успешного решения таких проблем, как адаптация к динамическим изменениям топологии, координация функционирования разнотипных устройств, иерархическая обработка данных и оценка эффективности решения поставленных задач, могут быть созданы крупные сети разнотипных интеллектуальных камер, объединяющие стационарные, носимые и мобильные устройства, способные поддерживать автономное взаимодействие устройств друг с другом и их настройку для эффективного достижения желаемых целей.

Литература

1. C. Ding et al. Collaborative Sensing in a Distributed PTZ Camera Network. IEEE Trans. Image Processing, vol. 21, no. 7, 2012, P. 3282–3295.
2. C. Micheloni, B. Rinner, G.L. Foresti. Video Analysis in Pan-Tilt-Zoom Camera Networks. IEEE Trans. Signal Processing, vol. 27, no. 5, 2010, P. 78–90.
3. B. Rinner et al. Resource-Aware Configuration in Smart Camera Networks. Proc. IEEE Computer Vision and Pattern Recognition Workshops, 2012, P. 58–65.
4. R. Tron, R. Vidal. Distributed Computer Vision Algorithms. IEEE Trans. Signal Processing, vol. 28, no. 3, 2011, P. 32–45.
5. B. Dieber, C. Micheloni, B. Rinner. Resource-Aware Coverage and Task Assignment in Visual Sensor Networks. IEEE Trans. Circuits and Systems for Video Technology, vol. 21, no. 10, 2011, P. 1424–1437.

Хуан Сан-Мигель (juan.carlos.sanmiguel@qmul.ac.uk) — исследователь факультета информатики и вычислительной техники, Лондонский университет королевы Марии, Кристиан Микелони (christian.micheloni@uniud.it) — преподаватель, университет Удине (Италия), Карен Шуп (karen.shoop@qmul.ac.uk ) — преподаватель, Лондонский университет королевы Марии, Джан-Лука Форести (gianluca.foresti@uniud.it) — профессор, университет Удине, Андреа Кавальяро (a.cavallaro@qmul.ac.uk) — преподаватель методов обработки мультимедийных сигналов и директор Центра интеллектуальных датчиков, Лондонский университет королевы Марии.