Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 83

Сверхразумные оракулы, действующие в узкой области знаний, уже существуют. Таковыми являются: карманный калькулятор — своеобразный оракул в области основных арифметических операций; любой поисковик — частичная реализация оракула в значительной области общего декларативного знания человечества. Такие оракулы, существующие каждый в своей нише, являются скорее инструментами, чем агентами (об ИИ-инструментах будем говорить отдельно). За системами, отвечающими на вопросы, если не указано иное, мы оставим термин оракул.

Чтобы универсальный сверхразум работал в качестве оракула, на него можно воздействовать методами как контроля над возможностями, так и выбора мотивации. Причем мотивировать оракула намного легче, чем другие касты сверхразума, поскольку его конечная цель, как правило, довольно простая: оракул должен сводить к минимуму свое воздействие на мир, выдавать абсолютно достоверные ответы и не позволять себе манипулировать сознанием людей. Если мы выберем метод приручения, то будем требовать от оракула, чтобы при подготовке ответа он использовал только определенные выделенные ресурсы. Например, ему можно указать, чтобы ответ основывался на предварительно загруженном массиве данных, скажем, сохраненной копии страниц интернета, и при этом был получен в результате определенного и фиксированного числа вычислительных шагов. Чтобы у оракула не возникало соблазна манипулировать нашим сознанием и вынуждать нас задавать ему более простые вопросы (предположим, перед ним стоит задача максимизировать точность ответов), перед ним можно было бы поставить цель: уничтожать заданный вопрос сразу, как только он даст на него ответ. Причем вопрос мог бы сразу загружаться в его память перед запуском программы. Чтобы задать второй вопрос, можно было бы перезагружать машину и запускать ту же программу с уже другим предварительно загруженным в память вопросом.

Для управления оракулом нужна довольно простая система мотивации, однако даже в этом случае возникают почти незаметные, но потенциально опасные проблемы. Предположим, нам необходимо точно сформулировать для ИИ значение фраз: «свести к минимуму свое воздействие на мир при достижении определенных результатов» и «для подготовки ответа использовать только определенные выделенные ресурсы». Что произойдет, если ИИ в ходе своего интеллектуального совершенствования устроит что-то вроде научной революции, изменив при этом свою базовую онтологию? Сначала нам надо дать определение таким понятиям, как «воздействие» и «выделенные ресурсы», в соответствии с нашей онтологией (постулируя существование различных физических объектов, в частности компьютеров). Но вдруг случается неожиданное: ИИ-оракул обнаруживает, что некоторые наши самые распространенные категории основаны на ложных представлениях — очень напоминает поведение людей, когда каждое новое поколение ученых пытается избавиться от онтологических категорий, введенных когда-то их предшественниками (кто сейчас помнит такие понятия, как «флогистон», «сила жизни» и «абсолютная одновременность»?). Система целеполагания ИИ, переживающего онтологический кризис, должна быть достаточно эластичной, чтобы он смог сохранить и суть, и дух своей первоначальной цели и бережно перенести этот багаж в новую систему ценностей.

Не всегда задача создать дружественный ИИ-оракул с помощью метода выбора мотивации может оказаться тривиальной — однако она все равно проще, чем задача разработать ИИ, обладающий свободой в достижении сложной цели. Кажется, это могло бы служить аргументом в пользу того, чтобы первым сверхразумом стал оракул. С ним легко работать, пользуясь так же методом контроля над возможностями, — чем не следующий аргумент в пользу увидеть именно оракула в роли первого сверхразума? К оракулу применимы все стандартные изоляционные методы. Кроме того, существуют методы, которые можно использовать, только имея дело с оракулом. Например, возможен риск, что, преследуя какие-то свои тайные планы, оракул начнет давать не очень достоверные ответы, явно тем самым стараясь манипулировать нашим сознанием. Есть замечательный способ снизить эту угрозу: создать множество оракулов, в легкой степени отличающихся друг от друга своими исходным кодом и базой данных. Затем с помощью простой функции сравнивать их ответы и передавать их заказчику только в случае, когда они все согласуются между собой. Правда, можно допустить, что любой универсальный сверхразумный оракул узнает о существовании других оракулов (выведет это из своих знаний о человеческом обществе), возможно, от него удастся скрыть некоторые детали их функционирования. Если оракулы не смогут связываться между собой, им будет трудно координировать ответы, чтобы манипулировать нами. Есть множество способов отклоняться от истины, и разные оракулы могут по-разному оценивать привлекательность каждого варианта — в то время как сама истина является фокальной точкой (по которой возможно достижение согласия в отсутствие коммуникаций между сторонами). Поэтому если оракулы придут к консенсусу, это может быть признаком, что они дают правдивый ответ.

Мы можем полностью полагаться на ИИ-оракула, если знаем, что он использует все свои возможности, чтобы давать достоверные ответы. Но даже если мы не во всем доверяем ему, он был бы нам полезен. Оракулу можно было бы задавать вопросы, на которые трудно найти ответы, но легко проверить, правильные ли они. Например, многие математические задачи. Если вас интересует вопрос истинности какого-то математического утверждения, можно попросить оракула найти доказательство этому или опровергнуть его. Поиск самого доказательства может требовать проницательности и таланта, превышающего наши возможности, а его проверку можно выполнить при помощи простой механической процедуры.