Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 168

168

264

См.: [Bostrom 2006 c]. При желании можно вообразить разные варианты, например: синглтон, чье существование вообще невидимо (когда сверхразум обладает настолько развитыми технологиями и проницательностью, что может незаметно для людей управлять всем миром); синглтон, добровольно установивший жесткие самоограничения своей власти (пунктуально соблюдает международные нормы и договоры); синглтон-либертарианец. Какова вероятность возникновения синглтона того или иного типа — вопрос скорее умозрительный, пока не будет проверено на опыте. Однако почему бы не дать волю фантазии хотя бы на концептуальном уровне: хороший синглтон, плохой синглтон, дерзкий синглтон, вздорный синглтон, приторно-любезный синглтон, деспотичный синглтон с признаками паранойи, вопящий самодур синглтон, порою напоминающий разбушевавшуюся природную стихию.

265

См.: [Jones 1985, p. 344].

266

Нельзя забывать, что Манхэттенский проект был реализован во время войны. Многие ученые вспоминали, что дали согласие на участие в нем в основном по двум мотивам: помочь стране в ситуации военного времени и из страха, что нацистская Германия опередит союзников и первой создаст атомное оружие. В мирное время многим правительствам оказалось бы не по плечу мобилизовать такое количество работников — среди которых были крупнейшие ученые — на участие в столь масштабном и секретном мероприятии. Еще один классический пример научно-технического мегапроекта — программа Apollo. Но и она получила столь мощную поддержку лишь благодаря противостоянию, рожденному холодной войной.

267

Впрочем, даже если такие проекты и искались бы изо всех сил, то делалось бы это таким образом, что вряд ли стало бы достоянием общественности.

268

Благодаря методам криптографии команда проекта вполне могла бы работать распределенно. В такой цепочке передачи информации самый уязвимый момент — первый, когда информация вводится в систему, и теоретически можно проследить за действиями печатающего человека. Но если широкое распространение получит слежка внутри помещений (при помощи микроскопических записывающих устройств), то ради столь ценной секретности можно принять контрмеры (например, специальные помещения, защищенные от проникновения в них шпионской аппаратуры). Причем если физическое пространство в наступающую эпоху всеобщего контроля становится все более прозрачным, то киберпространство вполне может оказаться лучше защищенным благодаря все более широкому распространению довольно надежных криптографических протоколов.

269

Тоталитарные страны наверняка догадаются возродить менее технологичные, но более действенные меры. Можно, как в СССР, помещать ученых, работающих над интересующими государство направлениями, в трудовые лагеря вроде сталинских «шарашек», которые в дальнейшем переродились в респектабельные и абсолютно закрытые академгородки.

270

Когда в обществе низок уровень социальной тревоги, некоторые ученые обычно не прочь чуть подогреть степень беспокойства, чтобы привлечь внимание к своей работе и представить направление, которым занимаются, чуть более важным и интересным. Когда в обществе уровень тревоги повышен, те же ученые меняют тон, поскольку начинают беспокоиться о снижении финансирования, введении новых норм регулирования и негативной общественной реакции. Специалистов из смежных дисциплин (например, кибернетика и робототехника), не имеющих прямого отношения к искусственному интеллекту, может возмущать такой перекос в финансировании и внимании. Они также могут справедливо считать, что их работа не несет риска возникновения потенциально опасных последствий, как в случае со взрывным развитием искусственного интеллекта. (Некоторые исторические параллели мы находим в истории развития идеи нанотехнологий; см.: [Drexler 2013].)

271

Эти проекты были удачны в том смысле, что достигли некоторых целей хотя бы минимально. Насколько успешными они явились в более широком плане (принимая во внимание экономическую эффективность), сказать трудно. Например, при разработке проекта МКС был допущен серьезный перерасход бюджета и задержки по срокам. Подробнее о проблемах, возникших в ходе проекта, см.: [NASA, 2013]. С разработкой Большого адронного коллайдера связано несколько серьезных неудач, но, скорее всего, они были вызваны первоначальной сложностью поставленной задачи. Проект «Геном человека» в конечном счете достиг успеха, но, похоже, благодаря дополнительному импульсу, который ему придала конкуренция с частным проектом Крейга Вентера. Пользовавшиеся международной поддержкой проекты по контролю над термоядерной энергией, несмотря на огромные инвестиции, не оправдали ожиданий, вероятно, все по той же причине — поставленная задача оказалась слишком сложной.

272

См.: [US Congress, 1995].

273

См.: [Hoffman 2009; Rhodes 2008].

274

См.: [Rhodes 1986].

275

Криптослужба ВМФ США OP-20-G, похоже, сознательно проигнорировала британцев, готовых поделиться с союзником методами расшифровки «Энигмы»; руководители OP-20-G не сообщили об этом предложении высшему руководству страны, см.: [Burke 2001]. В результате у США сложилось впечатление, что Британия утаила от них важную информацию, что привело к ненужной напряженности в ходе войны. Некоторые данные, полученные в результате дешифровки немецких сообщений, британская контрразведка передавала СССР. В частности, Сталин был предупрежден о подготовке операции «Барбаросса» (план вторжения Германии в СССР), но он отказался верить этому предупреждению, отчасти потому что британцы не сообщили ему об источнике сведений.

168