Если вы считаете, что рехнувшийся человек может нанести вред, то представьте, какой хаос может создать суперкомпьютер, если он запутается в поставленных перед ним целях и задачах.

В знаменитом фильме Стенли Кубрика «2001: космическая Одиссея» суперкомпьютер HAL получил противоречивые инструкции. Суперкомпьютер HAL минимизировал конфликт, уничтожив команду корабля, — оригинальное, пусть и «невротическое» решение
Становясь все более и более интеллектуальными, машины могут обрести способность адаптироваться к изменяющимся условиям работы и реагировать на новые ситуации созданием и изменением своих собственных программ. Предвидя это, мы должны учитывать нежелательное и непредсказуемое поведение машин. Значит ли это, что можно ждать от машин «нервических припадков» или психических расстройств? Или же предположение о том, что машины могут стать невротиками, абсурдно? В конце концов, разве психические расстройства не прерогатива человека?

Да, до сих пор это было так, но самостоятельные, целеустремленные машины, способные перепрограммировать свои задачи и подзадачи, в самом деле готовы формулировать «собственное мнение» и двигаться в непредсказуемом направлении. Если их цели не имеют для нас никакого смысла, то мы можем рассматривать выбранные машинами варианты как «сумасшествие». Если вы считаете, что рехнувшийся человек может нанести вред, то представьте, какой хаос может создать суперкомпьютер, ответственный за важный аспект вашей жизни, если он запутается в поставленных перед ним целях и задачах.

Невроз у человека

Психологи считают распространенной причиной неврастенического состояния противоречивые команды в программе мозга. В результате конфликта между импульсами, влечениями, мотивами и нормами человек может испытывать страх, гнев, депрессию и даже искаженное восприятие реальности, называемое шизофренией. В повседневной жизни нам часто приходится улаживать мягкие конфликты между инструкциями. Например, ваш ребенок просит у вас разрешения поиграть на улице. Вы отвечаете: «Конечно, Джонни, погуляй, но будь осторожен!» Мозг нормального здорового ребенка обрабатывает инструкции «погуляй» и «будь осторожен» как противоречивые.

Другими примерами ментальных конфликтов, способных привести к дисфункциональному поведению (неврозам), могут служить одновременная боязнь интимной близости и стремление к ней, принуждение к подчинению власти и к восстанию против нее, желание поесть и стремление сохранить стройность. Накапливаясь, ментальные стрессы, обусловленные множественными или постоянными конфликтами, могут стать причиной тревоги, депрессии, шизофрении и даже привести к телесным заболеваниям.

Прости, Дэйв, боюсь, что не смогу это сделать

Так каков же машинный эквивалент невроза? Представьте себе, что вы правите автомобилем, съезжающим с шоссе. Сначала вы едете медленно, потом начинаете все сильнее и сильнее одновременно давить на газ и на тормоз. Реакцию автомобиля вы можете определить как «попытку справиться» с противодействующими друг другу силами, одна из которых старается ускорить движение, а вторая в это же время стремится его замедлить.

Продолжая нажимать на обе педали, вы вскоре почувствуете запах горящих тормозных колодок или увидите, что двигатель нагревается. Автомобиль может «зациклиться», рывками двигаясь вперед, а затем замедляясь. Нормальный водитель, заметив любой из этих «симптомов», прекратит процесс. Но представьте, что вы не прекратили, а более того, стали постепенно наращивать давление и на газ, и на тормоз. Как вы думаете, чем же это кончится? Скорее всего, тормоза подгорят и выйдут из строя либо «полетит» двигатель или трансмиссия. Любая из этих неисправностей выведет из строя ваш автомобиль, по крайней мере на время, а то и отправит его в автосервис для капитального ремонта.

Реакция автомобиля на противоречащие друг другу команды совершенно «бессознательна», ведь у него нет возможности оценить ситуацию или хотя бы сказать, что давить одновременно на газ и тормоз неразумно. Машина просто слепо повинуется вашим командам, хотя результат, скорее всего, будет катастрофическим. Удивительно, что и люди действуют аналогично. Иногда мы можем сознавать противоречивость воздействий, но обычно мы не представляем последствий. Результатом же может стать взрыв слепой ярости у разочарованного работника.

Несмотря на то что, как у мозга, так и у машины дисфункция может проявляться в разных вариантах, важно различать ошибки. Одни просто приводят к неправильным результатам, другие вызывают спутанность сознания или состояние неопределенности целей и задач. И тогда не придется считать проявлением невроза известную арифметическую ошибку микропроцессора Pentium или неправильно набранный вами телефонный номер.

Простое практическое определение невроза, применимое и к человеку, и к машине — это «дисфункциональная реакция на противоречивые команды». Если вы пытаетесь запускать разнородные программы, то ваш ПК может получать конфликтующие запросы, а его операционная система не всегда способна справляться с такими ситуациями. Результатом может стать нестабильная работа одной или нескольких программ или же сбой ПК. Поскольку возможности целенаправленного поведения у ПК очень примитивны, то для него это максимально приближенная к невротическому состоянию ситуация.

Получив противоречивые команды, машина с развитой логикой, способная к целенаправленному поведению, может отреагировать непредсказуемым образом. Она может не подчиниться ни одной из команд, а вместо этого выбрать образ действия, кажущийся способным минимизировать выраженный конфликт. В знаменитом фильме Стенли Кубрика «2001: космическая Одиссея» суперкомпьютер HAL получил противоречивые инструкции: с одной стороны, никогда не искажать информацию, а с другой — ввести команду космического корабля Discovery в заблуждение относительно настоящей цели миссии. Суперкомпьютер HAL минимизировал конфликт, уничтожив команду корабля, — оригинальное, пусть и «невротическое» решение.

Если в машину с развитой логикой встроить внутренние директивы, такие как самосохранение, которые будут противоречить получаемым позже внешним инструкциям, то, скорее всего, ее реакция будет «невротической». Конфликт возможен и при получении «некорректной» последовательности внешних инструкций, особенно если они приходят из разных источников. Во избежание конфликтов следует уделять большое внимание использованию программ, способных распознавать и разрешать противоречия.

Лечение машины

Сходство между противоречивыми внутренними воздействиями в машине вроде вашего автомобиля или ПК и в голове человека больше чем просто метафорическое. Будь вы машиной или человеком, противоречивые или алогичные инструкции могут стать — без преувеличения — предписанием к катастрофе.

Для человека важно выявить источник проблемы. Это могут быть события из прежней жизни или «программы», записанные в генах. Генетические программы обычно являются приспособленческой реакцией на обстоятельства, существовавшие в среде обитания наших далеких предков. Примером может служить реакция в ситуации, когда надо решать, что делать — бороться или убегать. Если такого типа реакция не проявляется надлежащим образом, то возникают расстройства панического типа. У людей с расстройствами панического типа могут неожиданно, без видимых причин проявиться все физиологические реакции, подобные тем, что характерны для человека, который, переходя дорогу, неожиданно видит автомобиль, несущийся на него с огромной скоростью.

В общем случае особенно эффективным методом лечения расстройств панического типа и фобий является так называемая когнитивная терапия. В ходе такого лечения программа «бороться или убегать» эффективно «переписывается» или отрабатывается с повторениями, чтобы научить больных различать, какая ситуация действительно опасна для жизни, а какая — нет. Другими словами, больных учат, что проявление реакции «бороться или убегать» хорошо, но нельзя «запускать» ее в неуместных ситуациях. Их учат, как при первых признаках проявления панических ощущений замещать их расслаблением и изобретать другие реакции.

А какая «терапия» могла бы помочь при «неврозах» ПК или автомобиля? Когнитивный подход к машинным неврозам помог бы создавать системы самоконтроля, способные выявлять противоречивые или опасные приказы и запускать механизмы коррекции. Представьте, что мы разработали и установили на автомобиле «интеллектуальную» систему, осуществляющую непрерывный контроль над противоречивыми инструкциями, способными нанести вред тормозам и двигателю. При обнаружении такой ситуации система сначала может подать водителю мигающий предупредительный сигнал. Если это не сработает, системе придется действовать по собственному усмотрению, чтобы минимизировать разрушающее действие противоречивых команд. Кто-то может сказать, что автомобиль с подобной системой текущего контроля уже «осознает» такую конкретную угрозу своей безопасности и способен предпринять действия по исправлению ситуации. Что же, самоанализ, вероятно, хороший инструмент, который надо иметь в своем арсенале для борьбы с неврозами — будь то машина или человек.

Понятно теперь, что если интеллектуальные машины восприимчивы к различным видам программных сбоев, которые аналогичны неврозам у людей, то для них потребуются специальные превентивные и корректирующие процедуры. Машина, которая может получать противоречивые инструкции, способные привести ее в замешательство, должна быть оснащена программами контроля, прежде всего обнаруживающими конфликты и несуразности, а затем принимать меры для их нейтрализации. Машину можно, например, научить работать с определенными классами конфликтов, выявлять вероятные противоречивые инструкции или запрашивать дополнительную информацию. На непредусмотренный конфликт машина может среагировать непредсказуемо. Поскольку причины и средства исправления поведения «сумасшедших» машин в конечном итоге окажутся выше человеческого понимания, решение упомянутой в начале этой главы дилеммы может потребовать встроенных машинных «психологов» и «психиатров».