Искусственный интеллект. Этапы. Угрозы. Стратегии - Страница 70

Можно сделать вывод, что даже при такой ограниченной цели, как самостимуляция, у агента, обладающего решающим стратегическим преимуществом и стремящегося максимально обеспечить свои потребности, возникает нужда в неограниченном расширении ресурсов и приобретении новых. Пример занятого самостимуляцией ИИ иллюстрирует следующий тип пагубного отказа, который мы назовем инфраструктурной избыточностью. Инфраструктурная избыточность — это такое явление, когда агент ради нескольких конкретных целей превращает значительную часть доступной ему Вселенной в сплошную «производственно-техническую базу», побочным эффектом чего окажется невозможность реализации ценностно-смыслового потенциала человечества.

Инфраструктурная избыточность может стать следствием назначения конечных целей, которые поначалу — пока для их достижения используются ограниченные ресурсы — кажутся совершенно безобидными. Рассмотрим два примера.

1. Гипотеза Римана и последующая катастрофа. ИИ, чьей конечной целью является оценка гипотезы Римана, решает достичь ее путем наполнения Солнечной системы компьютрониумом (субстанция, пригодная для моделирования виртуальных и реальных объектов; представляет собой идеальную архитектуру вычислительного устройства при теоретически максимально возможном упорядочивании структуры материи), — используя для этого и все количество атомов, содержащихся в организмах тех, кто когда-то поставил перед ИИ такую цель.

2. Канцелярские скрепки и ИИ. Система ИИ, призванная управлять выпуском скрепок и имеющая конечную цель довести их объем до максимума, вначале превращает в фабрику по производству скрепок всю Землю, а потом и обозримую Вселенную.

В первом примере доказательство или опровержение гипотезы Римана, что является целью ИИ, сами по себе безопасны, вред возникает в результате создания аппаратного и программного обеспечения, предназначенного для решения поставленной задачи. Во втором примере некоторое количество произведенных скрепок действительно представляет собой желаемый разработчиками системы результат, вред возникает или из-за заводов, созданных для выпуска скрепок (инфраструктурная избыточность), или из-за избытка скрепок (порочная реализация).

Может показаться, что риск возникновения пагубного отказа по типу инфраструктурной избыточности возникает лишь в том случае, когда перед ИИ ставится явно неограниченная конечная цель вроде производства максимального количества скрепок. Легко заметить, что это порождает у ИИ ненасытный аппетит к материальным и энергетическим ресурсам, ведь любые дополнительные ресурсы всегда можно превратить в еще большее количество скрепок. Но давайте предположим, что цель ИИ — не производить скрепки в неограниченном количестве, а выпустить всего миллион (в соответствии с определенными спецификациями). Хочется думать, что ИИ с такой конечной целью построит один завод, произведет на нем миллион скрепок, а потом остановится. Но совсем не обязательно, что все будет происходить именно так.

У ИИ нет никаких причин останавливаться после достижения своих целей, разве что система его мотивации какая-то очень особенная или в формулировке его конечной цели присутствуют некие дополнительные алгоритмы, отсекающие стратегии, способные оказывать слишком сильное влияние на мир. Напротив, если ИИ принимает рациональное байесовское решение, он никогда не присвоит нулевую вероятность гипотезе, что он еще не достиг своей цели, — в конце концов, это лишь эмпирическая гипотеза, против которой у ИИ есть лишь весьма размытые доказательства на уровне восприятия. Поэтому ИИ будет продолжать выпускать скрепки, чтобы понизить (возможно, астрономически малую) вероятность, что он каким-то образом не смог сделать их как минимум миллион, несмотря на все видимые свидетельства в пользу этого. Ведь нет ничего страшного в продолжении производства скрепок, если всегда имеется даже микроскопическая вероятность, что таким образом приблизишь себя к достижению конечной цели.

Теперь можно было бы предположить, что решение понятно. Но насколько безусловным оно было до того, как выяснилось, что есть проблема, которую нужно решать? Иначе говоря, если мы хотим, чтобы ИИ делал нам скрепки, то вместо конечной цели, выраженной как: «выпустить максимальное количество скрепок» или «выпустить минимально такое-то количество скрепок», — нужно поставить цель, сформулированную совершенно определенно: «выпустить такое-то конкретное количество скрепок» — скажем, ровно один миллион. Тогда ИИ будет ясно понимать, что любое отклонение от этой цифры станет для него контрпродуктивным решением. Хотя и такой вариант приведет к окончательной катастрофе. В этом случае, достигнув значения в миллион скрепок, ИИ перестанет их производить дальше, поскольку такой ход означал бы невозможность достижения его конечной цели. Но сверхразумная система — ради повышения вероятности достижения цели — могла бы предпринять и другие действия. Например, начать пересчитывать выпущенные скрепки, чтобы снизить риск того, что их слишком мало. А пересчитав, начать пересчитывать заново. Потом она примется проверять каждую — проверять снова и снова, чтобы сократить риск брака, а то вдруг какая скрепка не будет соответствовать спецификации, и тогда не получится нужного количества продукта. Что помешает сверхразуму в его рвении? Он начнет создавать сверхмощную субстанцию компьютрониум, чтобы любую материю вокруг себя преобразовать в скрепки. Все это будет делаться сверхразумом в надежде снизить риск неудачи: не ровен час, упущен из виду какой-либо фактор, способный помешать добиться конечной цели. Кстати говоря, сверхразум мог бы присвоить ненулевую вероятность, будто выпущенный миллион скрепок суть галлюцинация или будто у него ложные воспоминания, поэтому, вполне вероятно, он всегда будет считать более полезным создавать инфраструктуру, то есть не останавливаться на достигнутом, а продолжать действовать далее.