Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 171

171

307

Иногда полезно говорить о двух ИИ, обладающих равной сверхмощью. В более широком смысле слова можно было бы считать, что сверхмощь в какой-то области предполагает сравнение возможностей действующей силы и человеческой цивилизации, но за исключением другого ИИ.

308

Ханна Арендт (1906–1975) — один из самых ярких философов нашего времени, изучавшая проблемы власти, насилия, зла, свободы; основоположник современной теории тоталитаризма. Бенни Хилл (1924–1992) — популярный английский комический актер. (Прим. ред.)

309

Конечно, все сказанное не исключает, что могут быть различия — довольно незначительные под микроскопом, но имеющие большое значение с функциональной точки зрения.

310

См.: [Yudkowsky 2008 a, p. 310].

311

Дэвид Юм, шотландский философ эпохи Просвещения, считал, что одной убежденности (например, в том, как правильно поступать) недостаточно для мотивации поступка — требуется еще желание. Казалось бы, это только снимает одно возражение, которое возможно выдвинуть против нашего тезиса: достаточно развитый интеллект непременно обретет определенные убеждения, что обязательно приведет к появлению определенных мотиваций. Однако, несмотря на то что тезис об ортогональности внешне подкрепляется юмовской мотивационной концепцией, он не предполагает ее в качестве необходимого условия. В частности, трудно отрицать, что иногда лишь голые убеждения служат вполне убедительной мотивацией какого-либо действия. Почему бы не предположить, например, что агент, обладающий высоким интеллектом, может быть настроен на любой план действий, если на то у него имеются довольно сильные желания. Второй случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если формирование подобных убеждений у обладающего произвольно высоким интеллектом агента само по себе не мотивирует его на соответствующие поступки. Третий случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если возможно создать агента (или проще: запустить «процесс оптимизации») с произвольно высоким интеллектом, но с настолько чужеродным устройством, что у него вообще не будет прямых функциональных аналогов таким человеческим понятиям, как «убеждение» и «желание». (Недавние попытки защитить концепцию Юма можно найти в работах: [Smith 1987; Lewis 1988; Sinhababu 2009].)

312

Например, Дерек Парфит считает, что некоторые базовые предпочтения могут быть иррациональными, как, скажем, у нормального, в принципе, агента, но с синдромом «безразличия к следующему вторнику», то есть гедониста, которого очень заботит качество его будущего опыта, за одним исключением. Этим исключением является его безразличие к событиям будущего вторника. Вообще то, что происходит по вторникам, ему не безразлично. Ему безразличны лишь страдания и удовольствие, которые его ждут в следующий вторник… Это безразличие — неоспоримый факт. И поэтому, составляя планы на будущее, он предпочтет перспективу огромных страданий по вторникам умеренным страданиям в любой другой день [Parfit 1986, p. 123–124]; см. также: [Parfit 2011].

Для своих целей мы не будем задерживаться на выяснении, прав ли Парфит, считая такого агента рациональным, если мы примем, что в инструментальном смысле описанное в этом примере поведение агента не обязательно неразумно. Агент Парфита может быть безукоризненно рациональным в инструментальном смысле, а следовательно, иметь большой интеллект, даже если ему недостает восприимчивости к «объективной причине», которой должен был бы обладать полностью рациональный агент. Следовательно, такие примеры не опровергают тезис об ортогональности.

313

Даже наличие объективных этических норм, которые способен понять полностью рациональный агент, и даже если эти этические нормы обладают внутренней мотивирующей силой (в результате чего все, кто их понял, непременно будут поступать в соответствии с ними), не опровергает тезис об ортогональности. Он остается верным, если агент непоколебимо рационален в инструментальном смысле при отсутствии некоторых других составляющих рациональности или качеств, необходимых для полного понимания данных этических норм. (Агент также может быть чрезвычайно интеллектуальным, даже сверхинтеллектуальным, и не обладать полной инструментальной рациональностью во всех областях.)

314

Более подробно тезис об ортогональности рассматривается в работах: [Bostrom 2012; Armstrong 2013].

315

См.: [Sandberg, Bostrom 2008].

316

На эту тему есть две основополагающие работы Стивена Омохундро, считающего, что всем прогрессивным системам ИИ, скорее всего, будет присущ набор «базисных установок», под которыми он понимает «исходные склонности, влияющие до тех пор, пока не будет осуществлено явное противодействие» [Omohundro 2007; Omohundro 2008]. У термина установка ИИ есть несомненное преимущество — он короткий, яркий и узнаваемый. Но у него есть недостаток: он наводит на мысль, что инструментальные цели ИИ — чем, по сути, являются его базисные установки — воздействуют на процесс принятия им решений ровно таким же образом, как человеческие психологические установки влияют на процесс принятия решений людьми, когда мы — за счет своего рода феноменологической удавки, наброшенной на собственное я, — силой воли преодолеваем свои природные склонности. Подобная аналогия неплодотворна. Ведь никто из нас никогда в жизни не произнесет: «У меня есть установка своевременно заполнять налоговую декларацию», — даже если само действие является разумной инструментальной целью любого цивилизованного члена современного общества (реализация именно этой цели предотвращает неприятности, способные помешать человеку воплотить в жизнь многие его конечные цели). Некоторых другие заключения Омохундро тоже расходятся с нашей трактовкой, хотя в вопросе основной идеи мы с ним солидарны. См. также: [Chalmers 2010; Omohundro 2012].

171