Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 65

К оглавлению

65

Таким образом, существует широкий диапазон возможных конечных целей сверхразумного синглтона, которые могли бы привести к появлению инструментальных целей в виде неограниченного приобретения ресурсов. Скорее всего, в самом начале это выразилось бы в освоении космоса, причем колонизация последовательно распространялась бы во всех направлениях при помощи зондов фон Неймана. В результате возникло бы подобие сферы постоянно расширяющейся инфраструктуры с центром в исходной планете и радиусом, растущим со скоростью, меньшей скорости света. Колонизация космического пространства могла бы продолжаться, таким образом, до тех пор, пока увеличивающаяся скорость расширения Вселенной (которая является следствием положительности космологической постоянной) не сделала бы дальнейшее продвижение вперед невозможным, поскольку ее удаленные районы навсегда окажутся вне пределов досягаемости (это произойдет на временных интервалах в миллиарды лет). В то же время агенты, не имеющие технологий, необходимых для приобретения общих материальных ресурсов с низкими затратами или их превращения в полезную для себя инфраструктуру, могут посчитать неэффективным инвестировать уже имеющиеся у них ресурсы в увеличение своего материального обеспечения. То же самое может быть верным для агентов, действующих в условиях конкуренции с другими агентами, сходными по силе. Например, если агенты-конкуренты уже обеспечили себе контроль за доступными космическими ресурсами, у поздно стартовавшего агента не останется возможностей для колонизации Вселенной. Анализ конвергентных инструментальных причин поведения сверхразума, не знающего о существовании других могущественных сверхразумных агентов, усложняется стратегическими соображениями, которые мы можем не понимать сейчас в полной мере, но которые способны серьезно дополнить рассмотренные нами в этой главе примеры.


***

Следует подчеркнуть, что существование конвергентных инструментальных причин, даже если они применимы к тому или иному агенту, не означает, что можно легко предсказать поведение этого агента. Вполне возможно, что он точно так же будет иметь и иные инструментальные цели, которые сейчас мы не в состоянии охватить. Особенно это верно для сверхразума, способного для достижения своих целей разрабатывать в высшей степени умные, но нелогичные, а порой и парадоксальные планы; возможно, он прибегнет к помощи еще неизвестных нам физических явлений. Предсказать можно лишь наличие у агента определенных конвергентных инструментальных целей, которые он может иметь для достижения конечных целей, а не его конкретные действия на этом пути.

Глава восьмая
Катастрофа неизбежна?

Мы выяснили, что связь между интеллектом и конечными целями очень слаба. Также мы обнаружили конвергенцию инструментальных целей, которая может обернуться реальной угрозой. Но эти факторы не начнут играть существенной роли, пока интеллектуальные агенты еще не набрали сил, поскольку слабыми агентами удобно управлять, да и крупного вреда нанести они не в состоянии. Однако, как мы выяснили в шестой главе, лидирующий сверхразум легко может получить решающее стратегическое преимущество. И тогда уже исключительно его цели начнут определять и будущее нашей планеты, и характер освоения космического пространства — этого бесценного вселенского фонда человечества. Посмотрим, насколько зловещей выглядит эта перспектива.

Экзистенциальная катастрофа как неизбежное следствие взрывного развития искусственного интеллекта?

Экзистенциальный риск — это угроза гибели разумной жизни, берущей начало на Земле. Или есть более мягкий вариант — это решительное нанесение необратимого ущерба человеческой цивилизации, что лишает ее каких-либо надежд на развитие в будущем. Если мы допускаем идею абсолютного преимущества, которое получает лидирующий сверхразум, если принимаем во внимание тезисы об ортогональности и инструментальной конвергенции, то, видимо, нам пора обратиться к вопросам, связанным с общим страхом перед искусственным сверхразумом и опасением, что его появление неизбежно приведет к экзистенциальной катастрофе. Рассмотрим систему аргументации в пользу такой точки зрения.

Во-первых, мы уже обсудили, каким образом первый сверхразум способен получить решающее стратегическое преимущество. После чего у него появится возможность сформировать синглтон и определять будущее разумной жизни, существующей на Земле. Что произойдет потом, будет зависеть от побудительных мотивов сверхразума.

Во-вторых, тезис об ортогональности говорит, что мы не можем слепо полагать, будто сверхразум непременно должен разделять ту систему ценностей, которая обычно у человека связана с такими понятиями, как мудрость и интеллектуальное развитие, — это научная пытливость, доброжелательное отношение к людям, духовная сила, тяга к просвещению, собственное мировоззрение, бескорыстие, вкус к высокой культуре, умение получать удовольствие от простых вещей, непритязательность в жизни, самоотверженность и многое другое. Позднее мы увидим, смогут ли разработчики принять обдуманное решение и наделить сверхразум благородными намерениями, чтобы он осознавал значимость человеческих интеллектуальных и культурных достижений, чтобы дорожил благополучием человечества и его моральными ценностями, чтобы служил высоким целям, заложенным в нем его создателями. Хотя на самом деле с технической точки зрения было бы гораздо проще создать машинный сверхразум, единственной конечной целью которого станет вычисление десятичных знаков после запятой в числе π. Это может означать лишь одно: если человек по лени своей или легкомыслию не предпримет целенаправленных усилий, то первый сверхразум будет иметь довольно случайный набор примитивных окончательных задач.

65