Исследователи из подразделения искусственного интеллекта компании Facebook вместе с исследователями из Нью-Йоркского и Вашингтонского университетов и подразделения Google DeepMind разработали новый набор тестов для проверки способности искусственного интеллекта понимать человеческий язык. Он называется SuperGLUE и создан на основе набора тестов GLUE, который был опубликован всего год назад. За этот год, однако, оценки систем искусственного интеллекта по тестам GLUE успели превзойти оценки, которые в этих тестах получают неподготовленные люди. Тесты SuperGLUE, считают разработчики, будут намного сложнее для искусственного интеллекта.

Тест состоит из восьми заданий. В них входит задание на выбор одного из возможных вариантов причины или следствия описанного в тексте события, задание на понимание связи между двумя текстами и другие задания. На сайте SuperGLUE имеется таблица лидеров (сейчас в ней среди систем лидирует RoBERTa от Facebook AI) и средства для разработки систем обработки естественного языка.