Специалисты по искусственному интеллекту из Университета Карнеги — Меллона решили разобраться в инциденте, произошедшим с одним из популярных YouTube-каналов о шахматах. В прошлом году видеосервис неожиданно заблокировал этот канал без каких-либо объяснений, а через сутки восстановил, тоже без уточнения причин. Исследователи предположили, что системы искусственного интеллекта видеоплатформы отреагировали на словосочетание «черные против белых», прозвучавшее в интервью, которое появилось на канале незадолго до блокировки.

Чтобы проверить, насколько это вероятно, ученые провели тестирование с использованием двух высокоэффективных классификаторов речи, обученных реагировать на проявления ксенофобии. Классификаторам дали задание проверить около 680 тыс. комментариев к роликам на пяти популярных каналах YouTube, посвященных шахматам. Из комментариев, которые хотя бы один классификатор отметил как ксенофобские, была сформирована случайная выборка на 1000 вхождений. При ручной проверке выяснилось, что в подавляющем большинстве из них риторики ненависти не было — ложные срабатывания классификаторов были вызваны словами «черный», «белый», «атака» и «угроза». По мнению авторов, задействованные ими системы обучали на примерах, которые содержали слишком мало шахматных терминов.