В 2024 году японский оператор SoftBank планирует запустить бесплатный сервис автоматического перевода с языка жестов с помощью приложения на смартфоне. Система на основе искусственного интеллекта сможет распознавать на видео около 5 тыс. жестов и переводить их на японский язык не более, чем за секунду. Систему предполагается использовать в видеозвонках. Речь слышащего собеседника также будет автоматически распознаваться и переводиться в текст, появляющийся на экране, так что никому из собеседников не придется набирать свои слова вручную.

SoftBank ведет разработку методов перевода с языка жестов с 2017 года. В ней участвуют специалисты из Токийского университета электросвязи и стартапа Abeja. В Abeja искусственный интеллект обучали на 50 тыс. видео, в которых демонстрируется язык жестов.

Сейчас система переводит жесты с точностью свыше 90%, но при недостаточном обучении точность может упасть ниже 50%. Чтобы обеспечить приемлемую точность, систему нужно обучить каждому жесту более чем на ста примерах его употребления разными людьми. В июле SoftBank выпустила специальное приложение для записи примеров разговора на языке жестов и просит всех присылать такие примеры для обучения системы.