В Колледже информационных технологий южнокорейского Инчхонского национального университета предложили платформу для Интернета вещей с искусственным интеллектом (Artificial Intelligence of Things, AIoT), предназначенную для распознавания на основе Wi-Fi специфики деятельности людей, — сеть слияния множественных спектрограмм (Multiple Spectrogram Fusion Network, MSF-Net), о которой сообщили в статье журнала IEEE Internet of Things Journal.

В последние годы популярность технологии AIoT, объединяющей возможности Интернета вещей и искусственного интеллекта, неизменно растет в различных приложениях, включая интеллектуальное производство, безопасность умных домов, мониторинг в здравоохранении. В отличие от традиционных решений Интернета ващей, где собранные данные передаются для удаленной обработки, в AIoT они предоставляются локально в режиме реального времени.

К типичным приложениям AIoT для «умных» домов относится распознавание действий человека с помощью Wi-Fi, которое часто работает нестабильно из-за помех в окружающей среде, пояснили южнокорейские исследователи, предложившие решение проблемы.

Они разработали платформу глубокого обучения MSF-Net, которая обеспечивает грубое и точное распознавания активности деятельности людей на базе информации о состоянии канала (Channel State Information, CSI), описывающей распространение сигналов в беспроводной сети.

В состав MSF-Net входят три основные компонента. Двухпотоковая структура осуществляет кратковременное преобразования Фурье и дискретное вейвлет-преобразования сигналов для выделения в данных CSI аномальной информации. Трансформатор обеспечивает извлечение признаков высокого уровня. Иерархическая структура динамического интегрирования признаков (attention-based fusion branch) улучшает объединение моделей.

Результаты экспериментов показали, что коэффициенты каппа Коэна (статистические показатели оценки эффективности моделей классификации машинного обучения) для MSF-Net достигли значений 91,82%, 69,76%, 85,91% и 75,66% для наборов данных SignFi, Widar3.0, UT-HAR и NTU-HAR соответственно, что превышает результаты существующих методов определения активности на основе информации Wi-Fi.

В решениях AIoT для умного дома точное распознавание видов активности людей имеет важное значение для безопасности и создания комфортных условий различных видов деятельности его обитателей. Распознавание на основе Wi-Fi считается весьма перспективным из-за повсеместного распространения устройств Wi-Fi и обеспечении ими конфиденциальности. Однако полученные результаты могут быть использованы и в таких областях, как реабилитационная медицина и уход за пожилыми людьми, считают корейские исследователи.