Хотя главными пользователями технологий автоматического перевода языка жестов (SLMT) будут неслышащие люди, зачастую их даже не пытаются привлекать к разработке этих самых технологий, отмечают организаторы исследования SignON, проведенного в рамках программы ЕС «Горизонт 2020».
В исследовании SignON использовалась методика совместного творчества, разработанная в Европейской федерации глухих. Исследователи организовали театральную постановку по текстам Уильяма Шекспира, переведенным на язык жестов. Роли в ней исполняли неслышащие актеры, а среди зрителей были как слышащие, так и неслышащие люди. Во время представления на экран проецировались исходные тексты, результаты автоматического распознавания посредством Google Docs речи человека-переводчика с языка жестов, а также результаты работы программы распознавания поз MoveNet, разработанной в Google Research. Зрителям же предлагалось смотреть представление, используя в качестве «партнера» мобильные приложения Google Lens, SeeingAI, Yolo. После представления исследователи обсуждали с участниками вопросы искусственного интеллекта и машинного обучения.
Исследователи считают, что такая методика позволяет эффективно взаимодействовать с будущими пользователями приложений автоматического перевода языка жестов в процессе разработки.