Тех, кого пугает возможность захвата машинами власти над человечеством, возможно, порадует исследование, идущее в DeepMind, компании, специализирующейся в области искусственного интеллекта, которую Google купила в 2014 году. В DeepMind думают, как реализовать «кнопку аварийного выключения» для умных машин.

Как пишут исследователи, «когда система работает под наблюдением человека, время от времени может возникнуть необходимость нажать на 'стоп', если появляется опасность, что действия машины могут причинить вред; однако со временем самообучаемая система может научиться избегать подобных прерываний, например, путем отключения кнопки 'стоп'».

Задача исследования — найти способы не позволить машине понять, что человек вмешивается в ее работу, и не допустить предотвращения этих вмешательств.

Ведь уже в ближайшие пять лет финансовые компании могут начать целиком доверять управление фондовым портфелем алгоритмам, и может появиться сложная техника, полностью контролируемая искусственным интеллектом.