Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 118

К оглавлению

118

Глава тринадцатая
Выбор критериев выбора

Предположим, мы можем назначить зародышу ИИ любую конечную ценность. Тогда принятое нами решение — какая это должна быть цель — имеет далекоидущие последствия. Нам придется определить некоторые параметры выбора, связанные с аксиомами теории принятия решений и эпистемологии. Но откуда черпать уверенность, будто мы, люди — существа недалекие, невежественные и ограниченные, — можем принимать правильные решения по этому вопросу? Сможем ли мы сделать выбор, не предопределенный предрассудками и предубеждениями нашего поколения? В этой главе мы рассмотрим, как с помощью косвенной нормативности переложить большую часть умственной работы, связанной с принятием этих решений, на сам сверхразум, но при этом не забывая, что точкой отсчета всегда должны быть фундаментальные ценности человеческой жизни.

Необходимость в косвенной нормативности

Как заставить ИИ делать то, что мы хотим? Что мы хотим, чтобы хотел ИИ? До этого момента мы искали ответ на первый вопрос. Теперь пришло время обратиться ко второму.

Предположим, что мы решили проблемы контроля и теперь способны загрузить в мотивационную систему сверхразума любую ценность и убедить его считать ее своей конечной целью. Какую ценность нам все-таки следует выбрать? Выбор непрост. Если сверхразум обретет решающее стратегическое преимущество, именно его система ценностей начнет определять судьбу всего вселенского пространства.

Поэтому так важно не допускать ошибок при выборе цели. Но реально ли в подобных делах всерьез надеяться на безошибочность принятых решений? Мы можем заблуждаться относительно нравственных ценностей; не понять, что есть благо для нас самих; промахнуться даже в собственных желаниях. Похоже, в поисках конечной цели придется продираться сквозь колючие заросли философских проблем. Если пойти прямым путем, можно наломать дров. Особенно риск неверного выбора велик в том случае, когда имеешь дело с незнакомым контекстом принятия решения. Ведь выбор конечной цели для машинного сверхразума — цели, от которой зависит будущее всего человечества, — видимо, из всех возможных сюжетов для нас это наиболее неведомый.

Скорее всего, у нас мало шансов победить в лобовой атаке, что подтверждается отсутствием среди специалистов полного согласия по проблемам, касающимся человеческих систем ценностей. Ни одна этическая теория не получила признания большинства философов, таким образом, можно считать, что большинство неправо. Об этом свидетельствует и постоянное изменение этических норм — изменение, связанное с ходом времени, что мы традиционно воспринимаем как свидетельство прогресса. Например, в средневековой Европе считалось вполне респектабельным развлечением наблюдать за пытками и казнями противников власти. В Париже XVI века популярным действом было сжигание кошек. Всего сто пятьдесят лет назад на американском Юге широко практиковалось рабство, причем при полной поддержке закона и в полном согласии с моральными нормами поведения. Оглядываясь назад, видишь вопиющие нарушения не только в поступках, но и в этических воззрениях людей, живших в прежние времена. Вероятно, с тех пор мы чему-то научились в вопросах этики, хотя вряд ли можно утверждать, что наша мораль поднялась на недосягаемую высоту. Вполне вероятно, что какие-то этические концепции, которыми мы руководствуемся сегодня, имеют серьезные недостатки. При таких обстоятельствах выбирать конечную ценность, основанную на наших нынешних убеждениях, да еще так, чтобы исключить любую возможность дальнейшего развития этической системы, означало бы брать на себя ответственность за будущий риск, ведущий к экзистенциальному разрушению моральных норм.

Даже если у нас существовала бы рациональная уверенность, что мы обнаружили правильную этическую теорию — которой у нас нет, — по-прежнему оставался бы риск совершения ошибок при ее детальной проработке. У внешне простых этических теорий может иметься множество скрытых противоречий. Рассмотрим, например, консеквенциалистскую теорию гедонизма (кстати, необыкновенно простую). Если совсем кратко, то она о том, что удовольствие — это ценность, а страдание — нет. Даже если мы поставим все наши моральные фишки на эту теорию и она окажется верной, останутся открытыми множество важных вопросов. Следует ли присваивать более высокий приоритет «высшим удовольствиям» по сравнению с «низшими» по примеру Джона Стюарта Милля? Как учитывать интенсивность и продолжительность удовольствия? Могут ли страдание и удовольствие взаимно исключать друг друга? Какие типы мышления ассоциируются с морально допустимыми удовольствиями? Увеличится ли в два раза количество удовольствия в результате появления двух точных копий одного такого типа разума? Существуют ли подсознательные удовольствия? Как быть с чрезвычайно низкими шансами хоть когда-нибудь получить предельное удовольствие? Как объединить удовольствие членов неограниченной популяции в одно целое?

Неверный ответ на любой из этих вопросов приведет к катастрофе. То есть при выборе конечной ценности для сверхразума, в попытках нащупать хоть какое-то действенное решение, нам придется по-крупному ставить не только на этическую теорию в ее цельном состоянии, но и на частные особенности, на многочисленные интерпретации, всевозможные вкрапления и исключения — при таком обороте наши шансы на точный выстрел, кажется, начнут стремиться к нулю. Глупцы с радостью ухватятся за возможность одним махом решить все важные этические проблемы, а найденные ими удобные ответы сразу загрузить в зародыш ИИ. Мудрецы отправятся в трудный путь поисков альтернативных подходов и разыскивания способов подстраховки.

118