Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 169

169

276

Бертран Рассел защищал возможность ядерной войны в течение нескольких лет — чтобы заставить Россию принять план Баруха; позднее Рассел стал последовательным сторонником взаимного ядерного разоружения [Russell, Griffin 2001]. Как известно, Джон фон Нейман был убежден в неизбежности войны между США и Россией и даже как-то сказал: «Если вы говорите: “Почему бы не разбомбить [русских] завтра”, — я спрошу: “А почему не сегодня?” Если вы скажете: «Сегодня в пять», — я спрошу: “а почему бы не в час?”» [Blair 1957, p. 96]. (Вероятно, он сделал свое нашумевшее заявление, чтобы заработать дополнительные очки у ястребов-антикоммунистов из Министерства обороны — ведь то были времена Маккарти. Невозможно с уверенностью заявлять, что фон Нейман действительно нанес бы первым удар, отвечай он за политику США.)

277

См.: [Baratta 2004].

278

Если ИИ контролируется группой людей, проблема может возникнуть с ними, хотя есть шанс, что к тому моменту появятся новые способы обеспечить выполнение общественных договоров, в таком случае даже человеческие сообщества смогут избежать угрозы внутреннего противостояния и образования враждебных коалиций.

279

Каковы критерии, по которым человек считается доминирующим видом на Земле? С экологической точки зрения он является самым распространенным крупным (~ 50 кг) млекопитающим, но общая сухая человеческая биомасса (~ 100 млрд кг) не очень впечатляет по сравнению с биомассой муравьев (300–3000 млрд кг). На долю человека и его микрофлоры приходится ничтожно малая часть (< 0,001) общей биомассы планеты. При этом территория, используемая под посадки и пастбища, представляет собой одну из крупнейших экосистем и покрывает примерно 35% свободной ото льда поверхности суши [Foley et al. 2007]. Человек присваивает почти четверть чистой первичной продукции — это согласно стандартным оценкам [Haberl et al. 2007], хотя в общем — в зависимости от понятийных подходов и терминологических принципов — их диапазон составляет от 3% до более чем 50% [Haberl et al. 2013]. У человека самый обширный среди всех животных ареал обитания; человек находится на вершине пищевой цепи.

280

См.: [Zalasiewicz et al. 2008].

281

282

Строго говоря, это высказывание не совсем корректно. Интеллектуальный уровень человека может быть сколь угодно низким, а в каких-то случаях даже достигать нулевой отметки (например, эмбрион или человек, находящийся в вегетативном состоянии). Поэтому в качественном выражении, наверное, максимальное различие когнитивных способностей в пределах человеческого вида все-таки более существенное, чем дистанция между любым человеком и сверхразумом. Конечно, если, произнося человек, мы имеем в виду «среднестатистический дееспособный взрослый человек» — тогда сказанное вполне справедливо.

283

См.: [Gottfredson 2002]; см. также: [Carroll 1993; Deary 2001].

284

См.: [Legg 2008] — если в общих чертах, то Шейн Легг предлагает оценивать агента, обучающегося с подкреплением, по ожидаемой эффективности во всех средах с нормированным вознаграждением, где каждая среда получает вес в зависимости от ее колмогоровской сложности (обучение с подкреплением мы рассмотрим в главе 12). См. также: [Dowe, Hernandez-Orallo 2012; Hibbard 2011].

285

В таких областях исследований, как биотехнологическая и нанотехнологическая, сверхразум мог бы отлично проявить себя в деле проектирования и моделирования новых структур. Но поскольку гениальный проект и успешная модель не могут заменить физических экспериментов, эффективность сверхразума будет ограничена уровнем его доступа к средствам, необходимым для опытных проверок.

286

Например: [Drexler 1992; 2013].

287

Специализированный ИИ мог бы, конечно, иметь значительную коммерческую ценность, но это не значит обрести сверхмощь в области экономической эффективности. Например, даже если специализированный ИИ поможет своим владельцам зарабатывать несколько миллиардов долларов в год, эта сумма все же будет на четыре порядка меньше объема всей мировой экономики. Чтобы ИИ мог непосредственно и значительно увеличить мировой ВВП, он должен уметь выполнять различные виды работ, то есть обладать компетенциями во многих областях.

288

Это не исключает развития любого сценария, по которому ИИ потерпит поражение. Например, ИИ может сознательно выбрать высокий уровень риска, имеющий большую вероятность неудачи. Однако в этом случае условие принимает другие формы: 1) ИИ объективно оценивает, что шансы на успех довольно низки; 2) ИИ считает, что при игре возможны лишь самые высокие ставки, и просто не берет во внимание другие варианты действий — те варианты, которые мы, современные люди, в отличие от ИИ замечаем и можем просчитать.

169