Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 174

174

346

Впрочем, даже во время развития ИИ возможно использовать бихевиористский подход — правда, лишь в качестве дополнительного средства тестирования в более обширной системе мер предосторожности. Если ИИ на стадии разработки начнет вести себя ненадлежащим образом, что-то обязательно пойдет наперекосяк в его системе — однако прошу обратить особое внимание, что при обратном эффекте это правило не справедливо.

347

Приведу классический пример, относящийся к уже далекому 1975 году, когда Стивен Домпье обнаружил, что его Altair 8800 (один из первых персональных компьютеров, примитивный и не экранированный) вызывает помехи в стоящем рядом радиоприемнике. Тогда он написал программу, управляющую электромагнитными разрядами, и с помощью приемника проиграл на своем Altair мелодию битловской Fool on the Hill («Дурак на холме»); см.: [Driscoll 2012]. Присутствовавший на демонстрации молодой Билл Гейтс был восхищен и заинтригован увиденным [Gates 1975]. Сегодня есть планы создания микропроцессоров со встроенным Wi-Fi-передатчиком [Greene 2012].

348

Это далеко не простой вопрос: брать под сомнение то, в чем твердо уверен. Но если мы не научимся это делать, то потеряем шанс заблаговременно принять соответствующие меры — и тогда прощай заветная мечта об освоении космоса. Пожалуй, можно было бы поговорить в пользу такого принципа: если некто в прошлом каждый раз (N случаев) был убежден в абсолютной защищенности своей системы, но всякий раз оказывалось, что он ошибался, то в очередном случае рассуждая об ее безопасности, он не вправе присваивать вероятность, превышающую 1/(N + 1).

349

В одном неофициальном эксперименте в роли ИИ выступил человек — естественно, обладающий незаурядным интеллектом. В роль охранника, которого каждый раз исполняли разные люди, входило ни при каком случае не выпускать «искусственного интелекта» из комнаты. «Искусственному интеллекту» дали всего два часа на то, чтобы убедить своего сторожа отпустить его на свободу, причем разрешили вступать в общение с ним лишь посредством текстовых сообщений. В трех случаях из пяти «искусственному интеллекту» удавалось сбегать; см.: [Yudkowsky 2002]. Если смог человек, то сможет и сверхразум. (Обратное, конечно, неверно. Даже если перед сверхразумом будет стоять более трудная задача — возможно, его охранники будут сильнее мотивированы, чем люди в ходе упомянутого эксперимента, — сверхразум справится там, где потерпит поражение человек.)

350

Однако и в этом случае не стоит переоценивать безопасность системы. Психические образы легко заменяются на визуальные с помощью графической информации. Более того, вспомним, какое воздействие на человека оказывают книги — притом что книга, насколько мы знаем, не вступает в диалог со своим читателем.

351

См. также: [Chalmers 2010]. Однако было бы неправильным считать, что систему, за действиями которой нельзя наблюдать со стороны, невозможно использовать. Во-первых, происходящее внутри нее может быть определено как результирующее значение. Во-вторых, не исключено, что кто-то, либо руководствуясь собственными соображениями, либо взяв на себя такое обязательство, создает именно замкнутую систему, чтобы иметь приоритетное право на то, что происходит внутри нее. Само существование определенных классов замкнутых систем, содержащих шаблон наблюдателя, может вызвать у некоторых внешних наблюдателей чувство сомнения в антропном принципе, что, естественно, повлияет на их дальнейшие действия.

352

Может возникнуть вопрос, почему социальная интеграция расценивается как один из методов контроля над возможностями? Наверное, правильнее было бы классифицировать ее как один из методов выбора мотивации? На том основании, что целью социальной интеграции является стимулирование нужного нам поведения системы. Довольно скоро мы начнем подробное обсуждение проблемы выбора мотивации, но сейчас, в поисках ответа на поставленный вопрос, скажем, что в этой конкретной ситуации метод контроля мы рассматриваем в свете метода выбора мотивации, имеющего прямое отношение к конечным целям системы, выбор или уточнение которых не имеет инструментального значения, поскольку они значимы сами по себе. Так как социальная интеграция не является конечной целью системы, она не относится к методам выбора мотивации. Скорее, социальная интеграция призвана ограничить огромные возможности системы, то есть не дать ей реализовать определенные сценарии, в которых она нарушает правила, не подвергаясь при этом соответствующему наказанию (возмездие и потеря выгоды от сотрудничества). Надежда лишь на одно: в результате резкого сужения потенциала, большую часть которого она не в состоянии раскрыть, система поймет, что наиболее значимой из оставшихся в ее распоряжении возможностей добиться конечных целей остается сотрудничество с человеческим обществом.

353

Этот подход может оказаться более удачным, если считать, что у имитационных моделей будет мотивация, аналогичная человеческой.

354

Идею я позаимствовал у Карла Шульмана.

355

Создание шифра, способного противостоять сверхразумному дешифратору, — задача крайней сложности. Например, следы случайной последовательности могут сохраниться в мозгу какого-то наблюдателя или в микроструктуре генератора случайных чисел, откуда их сможет извлечь сверхразум. Помимо этого, если используются псевдослучайные числа, он способен разгадать или отыскать принцип их генерации. Более того, сверхразум может построить большие квантовые компьютеры или даже открыть новые физические явления, которые позволят создать совсем новые типы компьютеров.

174