Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 130

130

Поскольку существенную угрозу вызывает развитие людьми таких направлений, как синтетическая биология, молекулярные нанотехнологии, климатический инжиниринг, инструменты биомедицинского улучшения и нейропсихологического манипулирования, средства социального контроля, способные привести к тоталитаризму или тирании, а также другие технологии, которые пока невозможно представить, устранение этих рисков станет огромным благом для человечества. Однако если природные и прочие риски не техногенного характера низки, то этот аргумент стоит уточнить: важно, чтобы сверхразум был создан раньше других опасных технологий, например инновационных нанотехнологий. Важно не то, когда он появится (с объективной точки зрения), а правильный порядок появления.

Если сверхразум появится раньше других потенциально опасных технологий, скажем, нанотехнологий, то он будет в силах снизить экзистенциальный риск, связанный с нанотехнологиями, но нанотехнологии снизить риск, связанный с появлением сверхразума, не могут. Следовательно, создав вначале сверхразум, мы будем иметь дело лишь с одним видом экзистенциального риска, а создав вначале нанотехнологии, получим как риск нанотехнологий, так и риск сверхразума. То есть даже если экзистенциальный риск сверхразума высок и даже если это самая рискованная из всех технологий, все равно имеет смысл торопить его создание.

Однако эти аргументы в пользу «чем быстрее, тем лучше» основаны на предположении, что риски, связанные со сверхразумом, одинаковы независимо от того, когда он будет создан. Если все-таки они снижаются с течением времени, возможно, лучше было бы замедлить революцию машинного интеллекта. Даже притом что более позднее появление сверхразума оставит больше времени для других экзистенциальных катастроф, может быть, предпочтительнее подождать с его созданием? Особенно это верно в том случае, если экзистенциальные риски, связанные со сверхразумом, намного выше, чем риски других потенциально опасных технологий.

Есть несколько причин полагать, что опасность, заложенная во взрывном развитии интеллекта, будет резко снижаться в ближайшие десятилетия. Одна из них заключается в том, что чем позже произойдет взрыв, тем больше времени будет на решение проблемы контроля. Это осознали лишь недавно, и большинство лучших идей по решению проблемы появились за последнее десятилетие (причем некоторые из них — уже за время написания этой книги). Есть основания полагать, что ситуация будет прогрессировать, и хотя проблема оказалась очень сложной, в течение века развитие может оказаться значительным. Чем позже появится сверхразум, тем большего прогресса удастся добиться. Это сильный аргумент в пользу более позднего появления сверхразума — и очень сильный аргумент против его слишком раннего появления.

Есть еще одна причина, почему отсрочка в появлении сверхразума может сделать его безопаснее. Она даст возможность развиться различным позитивным тенденциям, способным повлиять на его действия. Насколько большое значение вы присвоите этой причине, зависит от оптимистичности вашего взгляда на человеческую цивилизацию.

Оптимист, конечно, укажет на множество обнадеживающих признаков и повсеместно возникающих возможностей. Люди могут научиться лучше ладить друг с другом, что приведет к снижению уровня насилия, количества войн и жестокости; может вырасти степень глобальной координации и политической интеграции, что позволит избежать нежелательной гонки вооружений в области технологий (подробнее об этом ниже) и прийти к согласию относительно широкого распространения потенциальных благ от взрывного развития интеллекта. Похоже, именно в этом направлении складываются долгосрочные исторические тенденции.

Кроме того, оптимист может ожидать, что в нашем столетии возрастет здравомыслие человечества: станет меньше предубеждений (в среднем); продолжат накапливаться знания о мире; людям станет привычнее размышлять об абстрактных будущих вероятностях и глобальных рисках. Если повезет, мы станем свидетелями общего роста эпистемологических стандартов как в индивидуальном, так и в коллективном сознании. Тенденции такого масштаба обычно заметны. Научный прогресс приведет к тому, что мы будем знать намного больше. Благодаря экономическому росту все большая доля человечества будет получать достаточное питание (особенно в возрасте, критическом с точки зрения развития мозга) и доступ к качественному образованию. Успехи в информационных технологиях упростят поиск, обобщение, оценку и распространение данных и идей. Более того, к концу столетия на счету человечества будут дополнительные сто лет ошибок — и на них можно будет учиться.

Многие потенциальные плоды прогресса являются амбивалентными в уже упомянутом нами смысле: они увеличивают одни экзистенциальные риски и снижают другие. Например, благодаря успехам в развитии технологий слежения, глубинной обработки данных, детекции лжи, биометрии, психологических или нейрохимических средств манипулирования мнениями и желаниями можно снизить экзистенциальные риски за счет большей международной координации усилий по борьбе с терроризмом и преступностью. Однако те же самые успехи могут увеличить некоторые экзистенциальные риски в результате усиления негативных социальных процессов или формирования стабильных тоталитарных режимов.

Важным рубежом является улучшение биологического механизма познания, например за счет генетического отбора. Обсуждая это в главах второй и третьей, мы пришли к выводу, что наиболее радикальные системы сверхразума, скорее всего, возникнут в форме машинного интеллекта. Это заявление согласуется с тем, что биологическое улучшение интеллектуальных способностей сыграет важную роль в подготовке к созданию и собственно создании искусственного сверхразума. Такое когнитивное совершенствование может показаться очевидным способом снизить риски — чем умнее люди, работающие над проблемой контроля, тем больше вероятность, что ее решение будет найдено. Однако когнитивное совершенствование также ускоряет процесс создания машинного интеллекта, тем самым сокращая время, которое у нас есть для поиска этого решения. Когнитивное совершенствование может иметь и другие следствия, имеющие отношение к интересующему нас вопросу. Они заслуживают более пристального рассмотрения. (Большинство следующих мыслей относительно когнитивного улучшения равно применимы и к небиологическим средствам повышения нашей индивидуальной или коллективной эпистемологической эффективности.)

130