В процессе обучения нейронная сеть запоминает некую «теорию» относительно учебной выборки, интерпретировать которую не всегда возможно. Новый метод объяснения принципов работы систем искусственного интеллекта предложили в Юлихском исследовательском центре. Авторы называют его «физикой машинного обучения», поскольку он похож на принципы разработки физических теорий, — чтобы разобраться в механизмах явления, за ним наблюдают, строя гипотезы о происходящем, проверяя их и постепенно углубляясь в детали.

В рамках «физики машинного обучения» специальная нейросеть выполняет наблюдение за работой сложной генеративной нейронной сети и сводит наблюдаемые взаимодействия к более простым. Затем, по словам ученых, обученная модель проводит обратное сопоставление, выстраивая по упрощенной модели схему взаимодействий, происходящих в сложной нейросети. Полученная схема может быть изображена в виде диаграммы — это и есть «представление» об учебных данных, которое появилось у исходной системы. Пользуясь новым методом, построить такую схему можно по результатам анализа параметров нейросети — по словам авторов, таким образом то, чему она обучилась, можно объяснить понятным человеку «языком физики».