Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 187

187

Или какое-то иное слово, предполагающее положительный смысл: хороший, отличный, чудесный.

520

В программировании принцип «делай то, что я имею в виду» называется ненужной добавкой, или бантиком (Do What I Mean, DWIM); см.: [Teitelman 1966].

521

Мы выбрали для обсуждения три проектных решения: описание цели, принятие решений и познание мира, но не собираемся поднимать вопрос об их возможной декомпозиции.

522

С этической точки зрения было бы правильным, чтобы проект предполагал распределение небольшой доли благ, которые будут получены в результате создания сверхразума, в качестве особого вознаграждения тем, кто внес морально допустимый вклад в его успех. Направить на формирование стимулирующего пакета значительную долю благ было бы недостойно. Практически это было бы равно ситуации, когда благотворительный фонд тратит 90% собранных средств на премии сотрудникам и на рекламные кампании по привлечению новых пожертвований.

523

Как можно вознаградить мертвых? В голову приходят несколько вариантов. Во-первых, организация мемориальных торжеств и создание монументов, которые могли бы считаться наградой в том случае, если люди желали посмертной славы. Во-вторых, имена умерших могли бы быть увековечены в таких сферах, как культура, искусство, архитектура и природа. В-третьих, большинство людей беспокоит судьба их потомков, поэтому специальные привилегии можно даровать их детям и внукам. В-четвертых, сверхразум был бы готов создать сравнительно правдоподобные имитационные модели умерших — модели, обладающие разумом и напоминающие свои оригиналы настолько, что ушедшие могли бы считаться воскресшими. Скорее всего, последний вариант достижим лишь для тех, кто после смерти был подвергнут криогенной заморозке, но, может быть, сверхразуму не составит труда сделать что-то подобное и на основании других сохранившихся материальных следов умершего человека: личная переписка, публикации, аудиовизуальные материалы, цифровые записи, а также воспоминания живущих. Кроме того, сверхразум найдет и другие возможности, для нас не столь очевидные.

524

«Ограбление Паскаля» — см.: [Bostrom 2009 b]; неограниченные выигрыши — см.: [Bostrom 2011 a]: фундаментальная нормативная неопределенность — см.: [Bostrom 2009 a].

525

См., например: [Price 1991; Joyce 1999; Drescher 2006; Yudkowsky 2010; Dai 2009].

526

См., например: [Bostrom 2009 a].

527

Уменьшить проблемы, возникающие из-за неверно заданного подхода к принятию решений, можно при помощи косвенной нормативности. Например, при помощи модели КЭВ. При правильном применении она могла бы компенсировать некоторые ошибки, связанные с определением подхода к принятию решений ИИ. Ее использование позволило бы поставить цели, которые наше КЭВ хотело бы внедрить в ИИ, в зависимости от его подхода к принятию решений. Если бы наши идеализированные двойники знали, что они определяют цели для ИИ, который использует определенный подход к принятию решений, то могли бы скорректировать их так, чтобы он вел себя правильно, несмотря на ошибки в этом подходе, — немного напоминает абсурдную ситуацию, когда вслед за линзой, искажающей изображение, ставят другую линзу, исправляющую эту ошибку.

528

Некоторые эпистемологические системы могут быть цельными и не предполагать явно сформулированных принципов. В этом случае преемственность будет обеспечиваться не выполнением этих принципов, а скорее некоторой эпистемологической точкой отсчета — теми или иными предпочтениями, которыми и определяется реакция субъекта на поток событий.

529

Обсуждение проблемы искажения — см.: [Bostrom 2011 a].

530

Например, одним из камней преткновения в рассуждениях о роли наблюдателя является правомерность следующего допущения: из факта вашего существования следует гипотеза, что существованию большего количества наблюдателей N следует присвоить вероятность, пропорциональную N. Аргументы против этого допущения можно найти в незавершенном эксперименте о самонадеянном философе, описанном в книге: [Bostrom 2002 a]. Аргументы в его защиту см.: [Olum 2002]; критику этих аргументов — см.: [Bostrom, Ćirković 2003]. Убежденность в правомерности данного допущения может влиять на различные эмпирические гипотезы, имеющие потенциально высокую стратегическую важность, например на теорему о конце света Картера–Лесли («Аргумент Судного дня»), гипотезу о симуляции и гипотезу о «великом фильтре». См.: [Bostrom 2002 a; 2003 a; 2008 a; Carter 1983; Ćirković et al. 2010; Hanson 1998 d; Leslie 1996; Tegmark, Bostrom 2005]. То же можно сказать и о других аспектах теории выбора наблюдателя.

531

См., например: [Howson, Urbach 1993]. Есть и другие интересные результаты, сужающие диапазон ситуаций, в которых два байесовских агента могут рационально не согласиться друг с другом, притом что их мнение основано на общем знании; см.: [Aumann 1976; Hanson 2006].

532

См. концепцию «верховного судии»: [Yudkowsky 2004].

533

В эпистемологии остаются нерешенными много важных вопросов, некоторые из них были нами упомянуты. Важно то, что нам, возможно, не обязательно иметь все ответы, чтобы обеспечить результат, практически неотличимый от наилучшего. Вполне может сработать смешанная модель, основанная на широком диапазоне априорных распределений.

534

Этот принцип впервые сформулирован в моей статье «Грабеж с насилием Паскаля» [Bostrom 2009 b, p. 190], там же отмечается, что это не тавтология. Визуальным аналогом может быть коробка большого, но ограниченного объема, представляющая собой пространство базовых возможностей, которые могут быть получены при помощи некоторой технологии. Представьте, что вы насыпаете в коробку песок, символизирующий усилия исследователей. От того, как вы его распределяете, зависит, в каком месте коробки образуется горка. Но если продолжать сыпать песок, рано или поздно заполнится весь ее объем.

187