Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 186

186

Размышляя, как можно уточнить метод МП, нужно помнить о нескольких важных моментах. Во-первых, следует придерживаться консервативного подхода и использовать запасной вариант практически во всех случаях, оставив вариант «моральной правоты» только для тех ситуаций, которые мы полностью понимаем. Во-вторых, определение МП следует дополнить общим модулятором, что оно «должно трактоваться доброжелательно и пересматриваться так же, как его пересмотрели бы люди, если могли бы долго и глубоко размышлять над ним, прежде чем его сформулировать, и т. д.».

510

Из этих терминов лишь «знания» кажется наиболее подходящим для формального анализа (в информационно-теоретическом смысле). Однако чтобы представить, что означает для человека «знать что-то», сверхразуму может потребоваться изощренный набор представлений, связанных со сложными психологическими свойствами. Человек не «знает» всю информацию, которая хранится в его мозгу.

511

Одним из косвенных показателей меньшей непрозрачности (в очень незначительной степени) терминологии КЭВ является факт, что для анализа модели МП не существует терминологической базы даже такого уровня. Если МП когда-нибудь обрастет «своей» терминологией, то с философской точки зрения это будет огромным прорывом. На самом деле теория идеального наблюдателя — одно из основных направлений в метаэтике — как раз и выполняет функцию описания. См., например: [Smith et al. 1989].

512

Это требует решения проблемы фундаментальной нормативной неопределенности. Можно показать, что не всегда приемлемо действовать в соответствии с той этической теорией, которая имеет максимальную вероятность оказаться истинной. Можно также показать, что не всегда приемлемо выполнять действие, которое имеет максимальную вероятность быть правильным. Похоже, необходимо как-то корректировать вероятности на «степень неприемлемости» результата и важность того, что поставлено на кон. Некоторые идеи см.: [Bostrom 2009 a].

513

Можно даже заявить, что любое определение моральной правоты должно отвечать некоторому условию адекватности, например чтобы даже средний гражданин мог разобраться, что хорошо, а что плохо.

514

Первая опасность состоит в том, что, создавая ИИ, в котором используется модель МП, у нас нет уверенности в своей абсолютной моральной правоте, даже если мы исходим из того, что сам ИИ всегда будет действовать правильно с этической точки зрения. Возможно, с нашей стороны это вообще будет проявлением высокомерия (если учитывать, сколько людей могут не одобрять проект разработки ИИ). Отчасти проблему можно решить за счет тонкой настройки модели МП. Предположим, мы оговорим, как ИИ следует действовать, то есть делать то, что было бы морально правильно, только если разработчики были морально правы, создав его, — в противном случае он должен отключиться. Непохоже, что, создавая такой ИИ, мы были бы морально неправы, поскольку даже если разрабатывать его и было неправильно, то единственным последствием нашего труда стало бы его немедленное отключение, если, конечно, до того момента он не успеет совершить никакого мысленного преступления. (И все-таки мы могли бы быть неправы, например, потому что упустили возможность создать другой ИИ.) Вторая опасность — слишком большая «плотность добра». Представьте, что есть множество морально правильных действий, которые мог бы совершить ИИ, — в смысле моральной допустимости, притом что некоторые из них с моральной точки зрения лучше других. Один вариант — чтобы ИИ выбирал в таких случаях лучшее с моральной точки зрения действие (или одно из лучших, если таких несколько). Другой — чтобы он выбирал из одинаково морально допустимых действий такое, которое удовлетворяет какому-то иному (не моральному) критерию. Например, ИИ мог бы выбирать из морально допустимых действий такое, которое было бы предпочтительнее с точки зрения КЭВ. Такой ИИ никогда не совершит ничего морально недопустимого и поэтому лучше защитит наши интересы, чем тот, который ориентируется лишь на лучшие с моральной точки зрения действия.

515

Оценивая моральную допустимость нашего действия по созданию ИИ, нужно интерпретировать допустимость объективно. Например, в формальном смысле доктор действует морально допустимо, прописывая пациенту лекарство, которое по своему назначению (и по мнению врача) должно помочь заболевшему человеку — но у пациента на этот препарат аллергия, и в результате он может умереть. Если ИИ сосредоточится на объективной моральной допустимости, он обеспечит себе более выигрышную эпистемологическую позицию.

516

Еще более прямолинейно: это зависит от убеждения ИИ в том, какая этическая теория является истинной (или точнее, от распределения вероятностей, присвоенных им этическим теориям).

517

Трудно даже представить, какой невероятно чудесной была бы их жизнь. В работе «Письмо из Утопии» я даже поэтически представил эту будущую жизнь [Bostrom 2008 c], а в работе «Почему я хочу жить в постчеловеческом мире» мною приведены аргументы в пользу того, что некоторые из этих возможностей были бы хороши и для нас, людей, живущих сейчас [Bostrom 2008 b].

518

Тактика продвижения одной рекомендации, если при этом считаешь более правильной другую, может показаться обманом или манипуляцией. Но так можно делать, не боясь показаться неискренним. Почему бы открыто не признавать превосходство идеала, но тем не менее выступать за неидеальный вариант в качестве лучшего из возможных компромиссов?

519

186