Семантические анализаторы — компьютерные системы освоения естественного языка обучаются на текстах, предложения в которых размечены людьми с указанием структуры и значения слов. Но такая разметка требует очень большого объема работы, в связи с чем в МТИ решили попробовать упростить задачу. Исследователи разработали анализатор, который обучается посредством наблюдения, подобно тому, как осваивает родной язык ребенок.
Система «просматривает» видео с титрами, которые описывают происходящее на экране, и ассоциирует слова с объектами и действиями в кадре. Впоследствии, если в анализатор ввести новое предложение, он сможет использовать усвоенные знания о структуре языка для определения смысла фразы — уже без видео.
Преимущество такого метода обучения в том, что для него требуется гораздо меньший объем данных, объясняют разработчики. Для экспериментов применялась платформа краудсорсинга Mechanical Turk, пользователи которой подготовили 1200 титров для 400 видеозаписей выполнения различных действий людьми. Семантический анализатор был скомбинирован с системой компьютерного зрения, обученной распознавать предметы, людей и действия на видео.
Исследователи уверены, что в будущем подобные системы позволят роботам лучше понимать естественную речь людей.
