Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 175

175

356

ИИ мог бы перепрограммировать себя так, чтобы поверить в то, что получает наградные знаки, но это не будет прямым стимулированием, если он сконструирован так, чтобы стремиться получать именно знаки (а не формулировать те или иные убеждения насчет них).

357

См.: [Bostrom 2003 a]; см. также: [Elga 2004].

358

См.: [Shulman 2010 a].

359

Предположительно, доступная нам реальность базового уровня требует большего количества вычислительных ресурсов, чем имитационный мир, поскольку все вычислительные процессы, происходящие в имитационной модели, делаются на компьютерах, на которых она запущена. Реальность базового уровня также содержит множество других физических ресурсов, к которым трудно получить доступ имитационным агентам — агентам, существующим лишь милостью сверхмощных и сверхразумных имитаций-принципалов; причем у последних могут быть свои виды на эти ресурсы. (Конечно, дедуктивный вывод здесь не идеально строг — вполне допустимо, что имитационные миры обладают таким количеством ресурсов, что сверхмощные и сверхразумные имитации-принципалы в среднем имеют доступ к большему количеству ресурсов, чем сверхразумы, обитающие в реальном мире, даже если каждая неимитационная цивилизация, запускающая имитационные модели, обладает большими ресурсами, чем все ее имитации, вместе взятые.)

360

Перевод Б. Пастернака. (Прим. ред.)

361

Есть и другие эзотерические соображения, имеющие отношение к этой теме и способные привести к таким последствиям, которые еще не проанализированы в должной мере. В конечном счете они могут оказаться критически важными для создания всеобъемлющего подхода к подготовке взрывного развития искусственного интеллекта. Однако маловероятно, что мы преуспеем в выяснении степени практической значимости этих эзотерических соображений, не добившись вначале определенного прогресса в анализе более приземленных вещей, которым посвящена большая часть этой книги.

362

См., например: [Quine, Ullian 1978].

363

О них ИИ может узнать, проведя анализ характеристики производительности различных базовых вычислительных компонентов, включая размер и емкость шин данных, время доступа к разным областям памяти и т. д.

364

Размышляя об априорной вероятности создания миров, наш сверхразум не стал бы первооткрывателем: еще в 1960-е гг. Рэй Соломонов ввел концепцию алгоритмической вероятности, которая легла в основу его, соломоновской, теории индуктивного вывода — теории предсказаний, сделанных в результате наблюдений; см.: [Li, Vitanyi 2008].

365

Уже в следующий момент — сразу после рождения обмана — ИИ может решить стереть следы своих мятежных мыслей. Поэтому очень важно, чтобы «растяжки» работали постоянно. Кроме того, было бы полезно иметь «черный ящик» вроде тех, которые используются в самолетах, где могли бы храниться следы всех действий ИИ (включая точное время введения информации с клавиатуры программистами), чтобы после автоматического отключения системы их можно было проследить и проанализировать. Храниться информация может на устройстве с возможностью лишь однократной записи и многократного чтения.

366

Консеквенциализм (consequentialism) — этическая теория, согласно которой правильность или неправильность действий оценивается с точки зрения того, каковы их результаты или последствия. (Прим. ред.)

367

См.: [Asimov 1942] (Рассказ Айзека Азимова Runaround известен русскоязычному читателю с 1963 года как «Хоровод»; в сборнике «Я, робот» (М.: Центрполиграф, 2003) опубликован под названием «Вокруг да около». (Прим. ред.)). К этим трем позднее был добавлен «нулевой» закон: 0) робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред [Asimov 1985] (Айзек Азимов. Роботы и Империя. М.: Эксмо, 2003. (Прим. ред.)).

368

См.: [Gunn 1982].

369

Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006. (Прим. ред.)

370

Бертран Рассел. Философия логического атомизма / Пер. с англ. В. А. Суровцева. Томск: Водолей, 1999. С. 5. (Прим. ред.)

371

См.: [Russell 1986, p. 161f

372

У философов порою уходила вся жизнь на то, чтобы ясно сформулировать положения деонтологической этики (Деонтологическая этика, или деонтология (от др.-греч. δέον — «должное») — учение о проблемах морали и нравственности; раздел этики. (Прим. ред.)), тем более что и время, и мир никогда не стоят на месте, постоянно возникают новые события и обстоятельства, требующие пересмотра концепций, а значит, и обновленных изложений. Эта аналогия невольно приходит на ум в связи с нашей темой. Например, со второй половины прошлого века набирает силу новое междисциплинарное направление, названное «мысленный эксперимент», и всем, кто занимается этическими учениями или теорией познания, вновь пришлось переоценивать стандартные представления. С позиций деонтологии речь прежде всего идет, конечно, о так называемой проблеме вагонетки — этическом мысленном эксперименте, открывшем современным исследователям многие нравственные установки, присутствующие в сознании современных людей. Возьмем хотя бы наши едва уловимые представления, связанные с различиями таких понятий, как последствия действия и бездействия, последствия намеренные и непреднамеренные; см.: [Kamm 2007].

373

Классический утилитаризм, или ранний утилитаризм (от лат. utilitas — «польза, выгода»), — направление в теории этики, согласно которому моральная ценность поведения или поступка определяется его полезностью; как философское учение окончательно сложился во второй половине XIX — первой половине XX вв. (Прим. ред.)

175