Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 188

188

535

См.: [Bostrom 2002 b].

536

Это не согласуется с традиционным взглядом на научно-технологическую политику. Харви Аверч считает, что между 1945 и 1984 гг. в США она была сфокусирована на поиске оптимального уровня правительственного финансирования научных и технологических предприятий, а также на обсуждении проблемы, насколько активно правительство должно поощрять лучших, чтобы обеспечить наибольшее процветание национальной экономики и скорейший рост ее военной мощи. В этих расчетах технологический прогресс всегда благо, но Аверч отмечает рост критических замечаний в адрес этого посыла [Averch 1985]. См. также: [Graham 1997].

537

См.: [Bostrom 2002 b].

538

Конечно, здесь явно просматривается тавтология. Легко можно построить аргументацию в пользу обратного порядка разработки подобных технологий. Скажем, для человечества будет лучше вначале решить менее трудную проблему — создать нанотехнологии, — потому что в результате мы создадим лучшие институты, усилим международную координацию и станем более зрелыми в вопросах глобальной стратегии. Может быть, правильнее потренироваться на какой-то проблеме, с которой связана не столь сложная угроза, как в случае машинного интеллекта? Нанотехнологии (или синтетическая биология, или какое-то менее опасное направление, с которым мы столкнемся впервые) могли бы стать своеобразной стремянкой, встав на которую мы дотянулись бы до уровня возможностей, которых будет достаточно, чтобы справиться с более высоким уровнем угрозы со стороны сверхразума. Этот аргумент следует оценивать для каждой ситуации отдельно. Например, в случае нанотехнологий следует помнить о самых разных последствиях их появления: скачок производительности аппаратного обеспечения за счет создания наноподложек микросхем; влияние на экономических рост дешевизны физического капитала; широкое распространение совершенных технологий слежения; возможность формирования синглтона как прямого или косвенного следствия прорыва в области нанотехнологий; огромные возможности развития таких направлений, как разработка машинного интеллекта, нейроморфного ИИ и полная эмуляция головного мозга. Рассмотрение всех этих вопросов (и других, возникающих в результате появления новых технологий, с которыми связан экзистенциальный риск) выходит за рамки нашей книги. Здесь мы лишь отмечаем причину, которая на первый взгляд обосновывает желание начать с разработки сверхразума, подчеркивая, впрочем, что в некоторых случаях возможно появление аргументов, способных изменить эту предварительную оценку.

539

См.: [Pinker 2011; Wright 2001].

540

Может возникнуть соблазн выдвинуть гипотезу, что ускорять одновременно все бессмысленно, поскольку тогда (на первый взгляд) это ускорение не будет иметь видимых последствий, но см., например: [Shoemaker 1969].

541

Уровень подготовленности зависит не от количества усилий, потраченных на подготовку, а от того, насколько тщательно сконфигурированы условия и насколько хорошо готовы к нужным действиям те, кто уполномочен на принятие ключевых решений.

542

Еще одним фактором может быть уровень международного доверия в период, предшествующий взрывному развитию интеллекта. Мы рассмотрим его в разделе «Сотрудничество».

543

Забавно другое: кажется, среди тех, кто сейчас всерьез интересуется проблемой контроля, непропорционально много представителей полярно иного хвоста распределения интеллектуальных способностей, хотя у этого впечатления могут быть различные альтернативные объяснения. Но если область станет модной, в нее, несомненно, потянутся бездари и психи.

544

За этот термин я благодарен Карлу Шульману.

545

Насколько близко должен воспроизводить мозг машинный интеллект, чтобы считаться полноценной имитационной моделью, а не нейроморфным ИИ? Подходящим критерием могло бы быть воспроизведение моделью или системы ценностей, или полного набора когнитивных и оценочных особенностей какого-то конкретного или просто среднестатистического человека, поскольку, вероятно, именно это важно с точки зрения проблемы контроля. Копирование этих качеств требует от модели более высокой точности.

546

Величина этого ускорения, конечно же, зависит от того, насколько велики приложенные усилия, и от источника использованных при этом ресурсов. Ускорения развития нейробиологии не произойдет, если все дополнительные ресурсы, распределенные на исследования в области компьютерного моделирования мозга, будут сняты с направления общих нейробиологических исследований — если только фокус на моделировании не окажется более эффективным способом развития нейробиологии в целом, чем стандартный портфель исследований в этой области.

547

См.: [Drexler 1986, p. 242]. Эрик Дрекслер (в личном общении) подтвердил, что эта реконструкция соответствует ходу рассуждений, который он хотел представить в своих работах. Наверное, если кто-то захочет превратить эту схему в логически завершенную цепочку умозаключений, придется добавить множество явных допущений.

548

Возможно, нам не стоит приветствовать мелкие катастрофы по той причине, что они повышают нашу бдительность и не дают произойти средним катастрофам, которые были бы необходимы для принятия сильных мер предосторожности, способных предотвратить экзистенциальные катастрофы? (И, конечно, как и в случае биологических иммунных систем, нужно помнить о возможной гиперреакции, аналога аллергических реакций и аутоиммунных нарушений.)

549

См.: [Lenman 2000; Burch-Brown 2014].

188