Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 84

Если окажется, что контролировать все ответы ИИ-оракула слишком дорого (скажем, когда вопросы не относятся к области логики и математики), для проверки можно выбирать случайные подмножества ответов. Если они окажутся верными, у нас появятся основания присвоить высокую вероятность тому, что верными являются и все остальные ответы. Эта хитрость поможет серьезно сэкономить в целом на определении степени достоверности ответов, которые было бы слишком затратно проверять по отдельности. (К сожалению, это ничего не скажет о достоверности ответов, которые мы неспособны проверить, поскольку решившийся на обман оракул может решить отвечать достоверно только на те вопросы, правильность ответов на которые мы, по его мнению, оценить в состоянии.)

Иногда не мешало бы иметь под рукой конкретные рекомендации, позволяющие выявлять, насколько корректен тот или иной ответ (или помогающие ориентироваться, где и как мы могли бы проверить правильность ответа), правда, мы не всегда можем доверять подобным советам. Например, по нашей просьбе оракул будет искать решения разных технических и философских проблем, которые могут возникнуть в процессе разработки более совершенных методы выбора мотивации. Если нам покажется, что предложенный оракулом проект безопасен, можно попросить его отыскать в нем серьезные недостатки и при наличии таковых описать каждый изъян при помощи не более двадцати слов. Вопросы такого рода способны обеспечить нас ценной информацией. Однако нам следует проявлять осторожность и сдерживать себя, чтобы не задавать слишком много подобных вопросов — и не позволять себе слишком полагаться на детали данных нам ответов, — иначе у недобросовестного оракула появится возможность повлиять на наши убеждения (при помощи вроде бы безобидных, но вполне манипулятивных сообщений). ИИ, обладающему сверхмощью в области социального манипулирования, не потребуется много времени, чтобы подчинить нас своей воле.

Даже если ИИ-оракул работает в полном соответствии с нашими требованиями и желаниями, существует риск, что им будут неправильно пользоваться. Одно из очевидных проявлений этой проблемы состоит в том, что оракул, наделенный сверхразумом, способен стать источником огромной власти и обеспечить своему оператору или программисту решающее стратегическое преимущество. Эта незаконная власть, скорее всего, будет использоваться отнюдь не в интересах общества. Не столь явный, но не менее важный аспект заключается в том, что постоянная работа с оракулом таит в себе огромную опасность для самого оператора. Все наши тревоги — как с мировоззренческой, так и технической точек зрения — имеют отношение и к остальным кастам сверхразума. Подробнее мы рассмотрим эту проблему в главе тринадцатой. Пока достаточно сказать, что чрезвычайно большое значение имел бы протокол, содержащий полную информацию о том, какие и в какой последовательности были заданы вопросы и какие были даны ответы. Можно подумать над тем, чтобы разработать такой вариант оракула, который будет отказываться отвечать на вопросы, если сочтет, что ответы могут иметь катастрофические последствия с точки зрения общепринятых в человеческом сообществе норм.

Джинны и монархи

Джинн — интеллектуальная система исполнения команд. Джинн получает команду высокого уровня, выполняет ее и останавливается в ожидании следующей команды. Монарх — система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей. Описания этих систем не очень напоминают то, что мы привыкли считать эталоном сверхразума, — но так кажется лишь на первый взгляд.

В случае ИИ-джинна приходится пожертвовать одним из самых привлекательных свойств оракула: возможностью использовать изоляционные методы. Можно, конечно, рассмотреть возможность разработки заблокированного джинна, способного создавать объекты лишь в некотором ограниченном пространстве — пространстве, окруженном стенами с мощными укрепительными системами или заминированными барьерами, которые должны сдетонировать в случае попытки побега. Трудно с уверенностью говорить о высокой безопасности такой физической изоляции, если речь идет о сверхразуме, вооруженном универсальными манипуляторами и инновационными конструкционными материалами. Даже если каким-то образом удастся обеспечить джинну такую же надежную изоляцию, как и оракулу, все равно не очень понятно, что мы выиграем, открыв сверхразуму прямой доступ к манипуляторам, вместо того чтобы получить от него подробные описания, которые можно было бы внимательно изучить, а затем использовать, чтобы получить требуемый результат самим. Выигрыш в скорости и удобстве из-за устранения человека-посредника вряд ли стоит потери возможности использовать более надежные методы блокировки, доступные в случае оракула.

Если кто-нибудь все-таки создаст джинна, было бы желательно, чтобы этот ИИ подчинялся не буквальному смыслу команд, а скорее намерениям, лежащим в их основе, поскольку джинн, воспринимающий команды слишком дословно (при условии, что он достаточно сверхразумен, чтобы обеспечить себе решающее стратегическое преимущество), может пожелать убить и пользователя, и все остальное человечество при первом же включении — по причинам, изложенным в разделе о пагубных отказах системы в восьмой главе. В целом важно, чтобы джинн всегда искал доброжелательный вариант интерпретации данной ему команды — как для себя, так и для всего человечества, — и чтобы был мотивирован именно на такое, а не на буквальное ее выполнение. Идеальный ИИ-джинн должен быть скорее первоклассным вышколенным дворецким, нежели гениальным савантом-аутистом.