Компьютеры со знанием контекста

Вводную заметку к тематической подборке статей о компьютерных средствах, обладающих знаниями о текущем контексте и использующих их в интересах пользователей (Aware Computing), представили приглашенные редакторы Карл Чанг (Carl Chang) и Билл Шилит (Bill Schilit). Дуга эволюционного развития компьютерных технологий началась с исполинских счетно-решающих устройств и привела к появлению портативных суперкомпьютеров, обрабатывающих аудио- и видеоданные в условиях реального мира. Параллельно этой дуге развития произошел переход от ручного ввода данных к вводу от датчиков — с появлением смартфонов и планшетов возникла тенденция к оснащению компьютерных устройств средствами определения местоположения, ускорения, температуры, силы тяжести, давления, степени влажности, расстояния, освещенности и других физических характеристик. Вслед за этим появились компьютеры, способные учитывать текущий контекст (выявлять информацию о своем текущем окружении — например, о находящихся поблизости людях и устройствах). Когда возможности аппаратного восприятия контекста усовершенствовались, на них стали опираться базовые средства смартфонов, обеспечивающие актуальность контекста и предоставляющие персональным устройствам недоступную ранее осведомленность о реальном окружении пользователей.

Компьютерная осведомленность теперь основывается не только на данных, поступающих из аппаратных датчиков: приложения, учитывающие контекст, могут опираться на обрабатываемые данные — скажем, данные о доступных точках доступа к Wi-Fi могут преобразовываться в географические координаты, а к координатам могут добавляться пометки (например, «здесь подают хорошую картошку фри»). Еще одно измерение добавляет социальный слой — данные, собираемые через социальные сети или краудсорсинг. Массивные наборы данных, получаемые путем агрегации пользовательских данных, показаний датчиков, результатов анализа данных и данных, получаемых путем краудсорсинга, обеспечивают новый уровень компьютерной осведомленности.

Онлайн-сервис Twitter для многих людей является основным средством повышения уровня осведомленности об окружающем мире. Хотя для написания и публикации твитов не требуется много усилий и времени, коллективный обмен информацией на основе твитов внутри некоторого сообщества может быстро стать мощным средством распространения информации и повышения уровня осведомленности каждого участника. В статье «Пересмотр возможностей использования контекста: использование человеческих и машинных вычислений при реагировании на чрезвычайные ситуации» (Rethinking Context: Leveraging Human and Machine Computation in Disaster Response) Сара Вивег (Sarah Vieweg) и Адам Ходжес (Adam Hodges) анализируют микроблогинг в контексте массовых чрезвычайных ситуаций. Они отмечают, что понимание твитов может быть чрезвычайно трудной задачей, и выступают за более эффективную интеграцию машинного и человеческого интеллектов. С помощью такого симбиоза человека и компьютера службы экстренного реагирования смогут лучше понять смысловое наполнение микроблогов и восстановить контроль над чрезвычайной ситуацией.

Мохаммед Хог (Mohammed Hogue) и Розалинда Пикард (Rosalind Picard) в статье «Обогащенная технология невербального восприятия для автоматизированного обучения социальным навыкам» (Rich Nonverbal Sensing Technology for Automated Social Skills Training) исследуют существующие методы и приложения в области невербального восприятия. Описывается прототип системы MACH (рис. 1), предназначенной для обучения социальным навыкам. Разнообразные средства восприятия, имеющиеся в этой системе, позволяют объединить информацию, поступающую из аудио- и видеоисточников (мимика, интонации и речь), источников физиологических данных, социальных сетей и датчиков (например, GPS), с целью анализа поведения людей для обеспечения обратной связи и совершенствования их социальных взаимодействий (например, при собеседованиях при поступлении на работу или выступлениях перед публикой). Демонстрируется, каким образом достижения в компьютерной области с использованием различных средств восприятия изменяют отношения между человеком и компьютером.

Рис. 1. Схема идеальной технологии автоматического восприятия и обратной связи

Марк Мэтьюс (Mark Matthews), Саид Абдулла (Saeed Abdullah), Джери Гэй (Geri Gay) и Танзим Чоудхари (Tanzeem Choudhury) представили статью «Отслеживание психического здоровья: балансировка развитых средств восприятия и потребностей пациентов» (Tracking Mental Well-Being: Balancing Rich Sensing and Patient Needs). Анализируются возможности применения систем, осведомленных о контексте, в области охраны психического здоровья. Поскольку выявление реального поведения пациентов существенно для оценки их психического здоровья, авторы полагают, что непрерывное слежение за социальной и физической активностью пациентов может обеспечить пожизненный контроль над их психическими заболеваниями. Отмечаются три основных преимущества этого подхода: получение своевременных данных об изменении психического состояния; возможность медицинского вмешательства при необходимости; способствование пониманию пациентами особенностей их болезни. Соответствующие механизмы, построенные поверх средств пассивного восприятия, обладают огромным потенциалом для совершенствования ухода за больными, не вызывая нарушения конфиденциальности и возникновения рисков из-за возможного наличия ошибок в системе. В статье не только описывается предлагаемая технология, но и обсуждается необходимость в балансировке между возможностями этой технологии и потребностями пациентов.

Вне тематической подборки опубликованы три крупные статьи. Автором статьи «Интернет-голосование: эмпирическая оценка» (Internet Voting: An Empirical Evaluation) является Джампьеро Бероджи (Giampiero Beroggi). Голосование через Интернет обладает многими потенциальными преимуществами, но и порождает проблемы, в частности с безопасностью. Однако в исследовательском сообществе недостаточное внимание уделяется эмпирическим оценкам плюсов и минусов такого голосования, а потребность в таких данных возрастает по мере взросления «цифрового поколения», которое вскоре придет на избирательные участки. Осознавая важность обеспечения возможности голосования через Интернет, статистическое бюро кантона Цюрих разработало пилотную версию системы поддержки интернет-голосования в этом наиболее густонаселенном кантоне Швейцарии, а Правительственный совет кантона принял решение о тестовом использовании системы в нескольких общинах региона в течение двух лет (рис. 2). После успешной первой фазы тестирования в 2006 году было принято решение продолжить тестирование в период с 2008 по 2011 год, обеспечивая возможность интернет-голосования как альтернативы голосованию по почте и голосованию с использованием бюллетеней.

Рис. 2. Три способа голосования, доступных в 13 избирательных округах кантона Цюрих

В ноябре 2011 года правительство кантона решило завершить тестирование первой системы и начать разработку новой системы, которая должна обслуживать и другие кантоны, а также контролироваться федеральным правительством, отвечающим за определение стандартов безопасности интернет-голосования в Швейцарии. Новая система идентична предыдущей — заменено только оборудование, и ликвидирована возможность голосования с использованием SMS. Участие в трехлетнем тестировании новой системы, во время которого было проведено 11 отдельных оценок возможности ее использования, позволило автору статьи получить важные эмпирические результаты. К их числу, в частности, относятся соображения об обеспечении доверия к системе за счет возможности контроля ее работы. Интересно также соображение об обеспечении прозрачности системы для избирателей за счет доступности ее исходных кодов. Для перехода к практическому использованию крупномасштабной системы интернет-голосования необходимо обеспечить правильную балансировку политических, экономических и технологических аспектов ее применения.

Статью «Новые возможности вспомогательных технологий, основанных на машинном зрении, для поддержки слабовидящих» (New Opportunities for Computer Vision-Based Assistive Technology Systems for the Visually Impaired) написали Хуан Тервен (Juan Terven), Хоакин Салас (Joaquin Salas) и Богдан Радучану (Bogdan Raducanu). Традиционно вспомогательные технологии для людей с нарушением зрения основывались на использовании ультразвуковых, инфракрасных и лазерных датчиков. Разработчики пытались использовать для тех же целей средства искусственного зрения, однако еще 10 лет назад этому препятствовали недостаточность вычислительной мощности компьютеров и отсутствие надежных алгоритмов. Сейчас встроенные компьютеры стали настолько мощны, что появившиеся надежные алгоритмы машинного зрения могут выполняться в реальном времени. Кроме того, удобство и распространенность смартфонов привели к появлению вспомогательных технологий на основе машинного зрения, которые позволяют слабовидящим пользователям принимать участие в ранее недоступной для них повседневной деятельности. Чтобы лучше разобраться в этих технологиях и приложениях, авторы составили обзор литературы, посвященной приложениям машинного зрения.

Последнюю крупную статью апрельского номера «Активный сбор вредоносных программных средств в сравнении с пассивным сбором» (Active versus Passive Malware Collection) написали Ин-Дар Лин (Ying-Dar Lin), Чиа-Ин Ли (Chia-Yin Lee), Ю-Сун Ву (Yu-Sung Wu), Фу-Ю Ван (Fu-Yu Wang) и И-Лан Цай (Yi-Lang Tsai). Меры противодействия вредоносным программам обычно опираются на автоматический сбор таких программ с помощью пассивных или активных ловушек. При использовании пассивных ловушек образцы вредоносных программ собираются путем их приманивания к конкретной системе. Подход активных ловушек заключается в том, что производится преднамеренный доступ к веб-сайтам или файлам, предположительно содержащим вредоносные программы. В настоящее время не вполне понятно, имеет ли смысл использовать для сбора образцов вредоносных программ и пассивные, и активные ловушки, то есть достаточно ли сильно перекрываются наборы образцов, полученных с применением каждого из двух этих подходов. Авторы статьи провели ряд экспериментов с целью нахождения ответов на три следующих вопроса:

1. Какие разновидности вредоносного программного кода позволяет собрать каждый из двух подходов и насколько сильно перекрываются результирующие наборы образцов?
2. Может ли пассивный или активный сбор образцов позволить отловить вредоносные программы, для которых в базах данных сканирования еще не содержатся сигнатуры?
3. Насколько велика должна быть активность вредоносных сайтов, чтобы соответствующие вредоносные программы можно было отловить с применением пассивного или активного подходов?

В статье, в частности, показано, что имеет смысл применение обоих подходов, но активный сбор образцов вредоносных программ позволяет отловить менее активные вредоносные программы.

Интеллектуальные видеокамеры

Тема майского номера журнала Computer (IEEE Computer Society, Vol. 47, No. 5, 2014) — интеллектуальные сети видеокамер. Приглашенными редакторами, написавшими вводную заметку с таким же названием, являются Мартин Рейсслейн (Martin Reisslein), Бернхард Риннер (Bernhard Rinner) и Амит Рой-Чоудхари (Amit Roy-Chowdhury). Сети видеокамер (Smart Camera Networks), фиксирующих данные в частных и общественных средах, повсеместно распространены и применяются для обеспечения безопасности, выполнения аварийно-спасательных работ, контроля окружающей среды и т. д. Однако в большинстве приложений зафиксированные данные сохраняются и анализируются вручную, что чрезвычайно трудоемко. Интеллектуальные сети видеокамер — это работающие в режиме реального времени распределенные встраиваемые системы, выполняющие задачи машинного зрения с использованием нескольких видеокамер. Такие системы востребованы в разных областях приложений, но с их разработкой связан ряд аппаратных и программных проблем. Например, с позиций аппаратного обеспечения для создания сети видеокамер требуются энергоэффективные компактные вычислительные узлы, обладающие возможностью сохранять и обрабатывать видеоинформацию. С программистской точки зрения для таких сетей требуются масштабируемые, устойчивые и эффективные в вычислительном отношении методы анализа видеоданных. Системная архитектура интеллектуальных сетей видеокамер должна обеспечивать адаптивные контроль и координацию для поддержки гибкости, упрощения внедрения, обеспечения безопасности и конфиденциальности, а также управления промежуточным программным обеспечением, связывающим различные сенсорные модули, чтобы осуществлять управление данными и их обработку на общесистемном уровне. В тематической подборке содержатся шесть статей, затрагивающих вопросы анализа видеоданных, системной архитектуры сетей видеокамер, организации сенсорных сетей и т. д.

Для надежного анализа видеоданных необходимо построение моделей объектов, находящихся в области пространства, отображаемого видеокамерами. В статье «Сети видеокамер для здравоохранения, обеспечения телепогружения и поддержки надзора» (Camera Networks for Healthcare, Teleimmersion, and Surveillance) Чин-Ху Чен (Ching-Hui Chen), Рама Челаппа (Rama Chellappa), Жюльен Фавр (Julien Favre), Томас Андриаччи (Thomas Andriacchi), Грегорий Курилло (Gregorij Kurillo) и Рузена Байчи (Ruzena Bajcsy) рассматривают эту задачу как для перекрывающихся сетей видеокамер, так и для сетей без перекрытия. К числу рассматриваемых в статье вопросов относятся технология безмаркерного захвата движения (markerless motion capture), позволяющая получать «сырые» данные, на основе которых строятся модели объектов, а также калибровка сетей видеокамер, требуемая для отображения объектов из плоскости изображений в трехмерный мир. Статья также содержит обзор существующих методов и систем в областях здравоохранения, телепогружения и надзора.

В сетях видеокамер для наблюдения требуется тщательная балансировка стоимости и производительности. В статье «Беспроводные интеллектуальные сети видеокамер для обеспечения надзора в местах общего пользования» (Wireless Smart Camera Networks for the Surveillance of Public Spaces) Кевин Абас (Kevin Abas), Катя Образка (Katia Obraczka) и Кайо Порто (Caio Porto) представляют таксономию беспроводных интеллектуальных сетей видеокамер. С использованием этой таксономии авторы классифицируют новейшие беспроводные системы наблюдения, а затем описывают систему SWEETcam (Solar Wi-Fi Energy-Efficient Tracking camera), которая ориентирована на максимизацию соотношения стоимость/производительность в приложениях видеонаблюдений.

Андреа Прати (Andrea Prati) и Файсал Куреши (Faisal Qureshi) представили статью «Интеграция пользовательских интеллектуальных камер в сети видеокамер: возможности и препятствия» (Integrating Consumer Smart Cameras into Camera Networks: Opportunities and Obstacles), в которой исследуются возможности интеграции пользовательских интеллектуальных камер за счет применения инноваций в области мобильного технического зрения (в частности, новых методов машинного зрения и обработки изображений для мобильных устройств, оснащенных видеокамерами) (рис. 3). Затем обсуждаются технические проблемы, возникающие при интеграции пользовательских камер в сети видеокамер: геометрическая калибровка, синхронизация времени, топология сети и т. д.

Рис. 3. Архитектура для поддержки потокового трехмерного видео в облаках

Каушик Митра (Kaushik Mitra), Ашок Веерарагаван (Ashok Veeraraghavan), Ричард Баранюк (Richard Baraniuk) и Асвин Санкаранараянан (Aswin Sankaranarayanan) в статье «Навстречу сетям видеокамер, сжимающим данные» (Toward Compressive Camera Networks) исследуют подходы к обеспечению возможности работы с огромными объемами данных и масштабируемости в крупномасштабных сетях видеокамер на основе последних достижений в области cжатия изображений (Compressive Sensing, CS). Авторы выделяют тенденции, выходящие за рамки отдельных приложений, и рассуждают о том, что применение методов CS может привести к полному изменению структуры сетей видеокамер.

Развивающаяся технология трехмерного видео требует очень большого объема вычислений, с которыми могут не справиться узлы сети видеокамер. Перенос вычислительной обработки трехмерного видео в облака может существенно разгрузить узлы сети камер. Статья «Интеллектуальные сети видеокамер с облачной поддержкой для обеспечения энергоэффективного потокового трехмерного видео» (Cloud-Assisted Smart Camera Networks for Energy-Efficient 3D Video Streaming), которую написали Жангиу Гуан (Zhangyu Guan) и Томмасо Мелодиа (Tommaso Melodia), содержит обзор современных методов мультимедийных вычислений в облачной инфраструктуре. Представлены архитектуры мобильных облачных вычислительных сервисов, которые можно использовать в сетях видеокамер, а также соответствующие шаги обработки видеоданных — от кодирования видео до декодирования и организации потоков (рис. 4).

Рис. 4. Архитектура для поддержки потокового трехмерного видео в облаках

Для сетей видеокамер требуются приложения, облегчающие адаптацию к непредвиденным внешним условиям, изменению задач и ограниченности ресурсов. В статье «Умная сеть интеллектуальных камер» (Self-Reconfigurable Smart Camera Networks) Хуан Сан-Мигель (Juan SanMiguel), Карен Шуп (Karen Shoop), Андреа Кавальяро (Andrea Cavallaro), Кристиан Микелони (Christian Micheloni) и Джан-Лука Форести (Gian Luca Foresti) выделяют ключевые компоненты (камеры, сеть, среда, задачи и производительность) динамически изменяемой конфигурации сети видеокамер. Обсуждается также, каким образом эти взаимосвязанные компоненты могут допускать самоперестройку структуры системы, обеспечивая при этом решение основных проблем интеллектуальных сетей видеокамер: определение топологии и самокалибровку, распределение ресурсов и задач, а также активное наблюдение.

Единственную большую статью номера «Среднее время параллельного доступа к памяти» (Concurrent Average Memory Access Time) написали Ксиан-Хе Сан (Xian-He Sun) и Давей Ванг (Dawei Wang). Для вычисления среднего времени доступа к иерархии основной памяти (average memory access time, AMAT) принято использовать коэффициент «непопаданий» в кэш (miss rate, MR) и средний размер накладных расходов, возникающих по причине отсутствия в кэше требуемых данных (average miss penalty, AMP). Эти показатели ориентированы на последовательный доступ к памяти и не подходят для измерения среднего времени параллельного доступа к кэшу. В статье предлагается понятие среднего времени параллельного доступа к памяти (concurrent average memory access time, C-AMAT). При расчете C-AMAT задержка доступа к памяти вычисляется как сумма задержек на всех уровнях иерархии кэша. Вводятся два новых показателя параллелизма при доступе к памяти: параллелизм при попадании в кэш и параллелизм при непопадании. Эти показатели учитываются на каждом уровне кэша. Параллелизм при попадании всегда приводит к повышению производительности, а отсутствие данных в кэше может приводить или не приводить к снижению производительности системы памяти в целом в зависимости от значения показателя параллелизма при попадании.

Сергей Кузнецов (kuzloc@ispras.ru) — профессор, МГУ (Москва).