Быть услышанными

В австралийском Сиднее, где этим летом проходил финал всемирного молодежного конкурса инфотехнологических новаций Microsoft Imagine Cup, одним из главных победителей стала команда разработчиков из Донецка.

Согласно данным Всемирной организации здравоохранения (ВОЗ), в настоящее время в мире насчитывается около 40 млн. людей с полным или частичным отсутствием слуха. Иными словами, это примерно столько же, сколько граждан живут в довольно большой стране с примерно таким населением, как в Аргентине и Швеции вместе взятых.

Причем подавляющая масса «населения» этой общности – глухие, немые и глухонемые «жители», использующие для общения особый, весьма развитый в коммуникационном смысле жестовый язык, имеющий множество разновидностей и наречий.

В течение довольно продолжительного времени к жестовым языкам и наречиям глухих было принято относиться, как к языкам примитивным и «ненастоящим», однако при действительно научном подходе к их анализу было установлено, что это не так. После тщательных исследований, проведенных профессиональными лингвистами во второй половине XX века, было обнаружено, что жестовые языки обладают всеми компонентами, присущими полноценным языкам. Они столь же богаты и непросты, как и всякий звуковой язык повсеместного применения. Жестовые языки, обладающие собственной развитой грамматикой, могут быть использованы для обсуждения самых различных тем, от совсем простых и конкретных до весьма возвышенных или абстрактных.

Следует отметить, что сами глухонемые интуитивно поняли это задолго до того, как ученые пришли к своим выводам. Так, один из виднейших деятелей Всероссийского общества глухонемых, А. Я. Удаль, еще в начале 1920-х гг. настаивал на том, что глухие не «безнадежно обижены в смысле языка… далеко не обижены, хотя, правда, язык наш не сходен с языком остального человечества... [и] в свое время нам удастся внести в общую сокровищницу человеческой культуры кое-что новое, ценное, что недоступно по физическим условиям для наших товарищей – слышащих».

Естественно, носители жестовых языков постоянно и динамично развивают их, однако за пределами этой общности и по сию пору мало кто действительно хорошо понимает такой язык. А значит, очень многие люди с полностью отсутствующим или ослабленным слухом испытывают серьезные трудности, общаясь со слышащими на языке, являющемся для тех родным и естественным.

Казалось бы, в нынешнюю эпоху развития цифровых коммуникаций и высоких технологий, когда столько программистов занимаются компьютерными системами перевода с одного языка на другой, уже давно могли бы быть созданы устройства, облегчающие общение между глухими и слышащими. Однако, увы, на мировом рынке не было представлено решений, которые и не очень дорого стоили бы, и справлялись бы с поставленной задачей.

Впрочем, как ни удивительно, группе молодых донецких специалистов из Компьютерной академии ШАГ — программистам Антону Пастерникову, Максиму Осике, Антону Степанову и дизайнеру Валерию Ясакову -- удалось создать в этой области нечто воистину новаторское.

Сконструированное ими устройство, в принципе, представляет собой перчатку (лучше, конечно, пару), которую нужно надевать на руку, плюс смартфон. При более тщательном обследовании она оказалась компьютером-манипулятором, оборудованным всевозможными сенсорными датчиками, микроконтроллером и батареями питания. Кроме того, была предусмотрена беспроводная связь Bluetooth, обеспечивающая соединение со смартфоном, на котором установлено специально разработанное ПО. Оно переводит сформированный руками и пальцами символ в букву или слово, а встроенный преобразователь «текст-в-речь» озвучивает его «компьютерным» голосом.

Полагаю, даже краткого описания этого устройства вполне достаточно, чтобы представить, насколько эффектной была его презентация в финале конкурса. По свидетельству присутствовавших там, уже в самом начале, когда один из создателей устройства, надев перчатки, проделал несколько несложных движений рукой, а программа-переводчик его смартфона на английском через динамики тут же трансформировала жесты в слова приветствия — Nice to meet you, по залу разнесся гул восхищения.

Дорога же к триумфу в Австралии, длившаяся около полугода, начиналась следующим образом. Осенью 2011 г., на одном из спортивных мероприятий, ребята столкнулись с рядовой, в общем-то, ситуацией – спортсменам-легкоатлетам из местного общества глухонемых было очень непросто общаться с остальными участниками. Программисты воочию увидели, как сложно было преодолевать языковой барьер, и у них возникла идея сотворить что-нибудь эдакое, что помогло бы разрешить данную проблему. Они выбрали концепцию перчатки-манипулятора и в ноябре 2011 г. начали предварительные исследования, а уже в январе 2012 г. приступили непосредственно к созданию прототипа аппарата и написанию алгоритмов распознавания.

Первая версия перчатки работала с так называемыми дактильными символами – когда конфигурации пальцев показывают лишь буквы алфавита и обозначения цифр. И хотя это был еще далеко не полноценный жестовый язык, с помощью дактильного алфавита удавалось выстраивать слова и фразы – примерно так же, как печатать на клавиатуре, но без кнопок. Протестировать его пригласили глухонемых спортсменов, однако, к удивлению разработчиков, многих из них это крайне смутило, и они отказались. Как поняли потом создатели проекта, такая реакция была вызвана не столько привычными для глухих трудностями общения со слышащими, сколько боязнью разочарования из-за несбывшихся надежд. Они представили, как увидят и потрогают устройство, способное им помочь, а оно так и не будет завершено...

Впрочем, все же нашлись несколько человек, согласившихся участвовать в исследованиях. К радости испытателей, их концепция оказалась вполне реализуемой. Однако глухонемые спортсмены дали понять, что для них было бы гораздо полезнее, если бы перчатка научилась распознавать хиремы — базовые элементы жестового языка, аналогичные фонемам звукового языка. Поскольку язык жестов является «многомерным» (здесь одновременно важны конфигурация пальцев, ориентация ладони, положение руки в пространстве и структура ее движения), то всего лишь одним жестом можно передавать даже не слог или слово, а целую фразу, например, такую: «Объект огромных размеров движется по мосту».

Конструкторы решили учесть пожелания спортсменов и принялись всерьез осваивать тонкости жестового языка. Результат своих трудов донецкая команда представила на Imagine Cup, ежегодном ИТ-конкурсе творческой молодежи мира, уже в десятый раз проводимом корпорацией Microsoft. Этот прототип под названием EnableTalk (его можно перевести как «позволяю разговаривать») был гораздо более совершенным, чем предшествующие, в части распознавания хирем.

Изначально программа для данного устройства была разработана под современную платформу Windows Phone 7. Однако его создателям, чтобы принять участие в конкурсе, пришлось обратиться к более ранней -- ОС Windows Mobile, поскольку в Windows Phone 7 сторонним разработчикам не предоставляется доступ к стеку Bluetooth. А ведь именно по этому каналу перчатки связываются с мобильным устройством, на котором установлена программа, переводящая сигналы.

Сейчас перчатка оснащена акселерометром, гироскопом, компасом и 15 сенсорными датчиками, фиксирующими изгибы пальцев и ладони, что позволяет определять ее текущую позицию, форму и перемещение в пространстве. Данные от сенсоров поступают в контроллер, находящийся с тыльной стороны перчатки и питающийся от аккумуляторной батарейки, которую можно перезаряжать через USB. Также имеется небольшая солнечная батарея, что дает возможность увеличить продолжительность работы устройства между подзарядками. Данные от перчатки через Bluetooth поступают в смартфон, где знаки жестов переводятся программой-приложением в звуки речи с помощью стандартных интерфейсов Microsoft Speech API и Bing API.

Помимо относительной дешевизны (предположительно, цена модели будет около 200 долл.), компактности и отсутствия проводов, система EnableTalk имеет еще одно огромное преимущество – способность к самообучению благодаря встроенной в нее нейросети. Иными словами, она умеет легко перенастраиваться под жестовые языки разных стран, а также учитывает индивидуальные особенности и предпочтения пользователей в выполнении конкретных жестов.

Сразу же после победы в финале Imagine Cup 2012 разработчики устройства стали получать из разных стран множество предложений о сотрудничестве: о портировании системы на мобильные платформы Google Android и Apple iOS, о создании библиотек базовых жестов для жестовых языков разных стран и тому подобные идеи творческого развития столь интересной концепции.

Сейчас они хотят довести EnableTalk до стадии массового производства. Победа в конкурсе дала им право претендовать на дополнительный грант от Microsoft в размере 3 млн. долл. Такую сумму специально

выделяют новаторам, для того чтобы они могли практически реализовать свои перспективные изобретения. Следить за дальнейшей судьбой этой разработки можно на сайте проекта enabletalk.com.