Аспект обращения системы к самой себе при самоулучшении имеет также некоторые серьёзные проблемы. Это может быть в случае, если необходимая минимальная сложность, чтобы началось РСУ, выше, чем сама система в состоянии понять. Мы довольно часто видим подобные ситуации на более низких уровнях интеллекта, к примеру, белки не имеют умственных способностей, чтобы понять, как их собственный мозг работает. Как это ни парадоксально, но по мере того, как система становится более сложной, необходим экспоненциальный рост интеллекта для того, чтобы система поняла саму себя. Таким образом, система, начинающая быть способной к полному самоанализу, может потерять способность самоулучшения. По-простому это можно назвать препятствием Мюнхгаузена — то есть неспособностью системы «поднять себя за волосы».
Дополнительной проблемой может быть тот факт, что рассматриваемая система вычислительно неприводимая, и не способна моделировать прогон своего исходного кода. Агент не может предсказать, о чем он подумает, с самого начала не подумав об этом. Системе требуется 100% своей памяти для моделирования себя, что не оставляет памяти для записи выходных данных моделирования. Любое внешнее запоминающее устройство, которое система может использовать для записи, становится частью системы и так же должно быть смоделировано.
По существу, система столкнется с бесконечным углубляющимся рядом собственных моделей, из которого она не способна выйти.Более того, если мы на это взглянем с точки зрения физики, то сумеем увидеть интеллект как вычислительный ресурс (вместе с пространством и со временем), который нельзя увеличить по той же причине, по которой невозможно создать вечный двигатель, так как это стало бы нарушением фундаментальных законов природы, которые связаны с сохранением энергии. Аналогично, было сделано утверждение, что машина Тьюринга на выходе не способна дать машину большей алгоритмической сложности.
При помощи доказательства от противного даже можно сделать попытку формально доказать невозможность преднамеренного процесса РСУ: определим R1 как программу РСУ, которая способна алгоритмически решить проблему сложности X, скажем, Xi. Если программа R1 модифицирует свой исходный код, после чего она может решать проблему сложности Xi, то это нарушает исходное предположение, что программа R1 не может решать проблему сложности Xi, так как любая произведённая модификация была бы частью процесса решения; так что имеется противоречие исходному предположению, и программа R1 не может производить какую-либо модификацию, которая быей позволила решить проблему сложности Xi, что и было показано. Если говорить просто, то если агент может производить агента более интеллектуального, то этот исходный агент уже был бы таким же интеллектуальным, как и новый агент.
Даже некоторые наши интуитивные предположения о РСУ неверные. Кажется, что должно быть легче решить проблему, если уже есть решение отдельного случая подобной задачи.Но доказано, что в формализованном мире проблем, которые относятся к тому же классу сложности, проблема переоптимизации оказывается настолько же трудной, как и сама оптимизация.

Анализ

Число фундаментальных проблем в области РСУ остаётся открытым. Нам до сих пор не известен уровень минимального интеллекта, который необходим для начала процесса РСУ, но можно предположить, что минимальный интеллект будет на одном уровне с интеллектом человеческим, который мы ассоциируем с общим или универсальным интеллектом, хотя, в принципе, способность к самоулучшению на уровне подсистем человека не может быть исключена. Можно говорить, что даже недостаточно возможностей интеллекта человеческого уровня, потому что мы уже имеем программисты (люди или их эквивалентный интеллект, формализованные как функции, или люди-оракулы), которые имеют доступ к своему собственному исходному коду (ДНК), но которые терпят неудачу в понимании того, как ДНК функционирует, чтобы создать их интеллект. Это даже не включая дополнительные сложности при попытке улучшить существующий код ДНК или усложняющие факторы, которые представлены воздействием обучающей среды на развитие человеческого интеллекта. Что ещё хуже, так это неочевидность того, насколько искусственный интеллект должен быть выше человеческих способностей – для того, чтобы начать преодолевать «барьер сложности», который связан с самопониманием.
Современный искусственный интеллект может делать много того, что люди неспособны делать, но он ещё не в состоянии на поведение с РСУ.
Мы не знаем также минимального размера программы (называемой зачаточный искусственный интеллект), которая необходима для того, чтобы начать процесс. Вероятно, если выяснится, что подобный «минимальный геном» очень маленький, то метод решения перебором, может быть в его открытии успешным. Можно предположить, что наш зачаточный искусственный интеллект— самый умный общий искусственный интеллект, который, существует в мире, и который, в противном случае, мы можем назначить в качестве зачаточного. Также неочевидно, как размер исходного кода РСУ станет меняться по мере его прохождения через процесс улучшения; иначе говоря, какая взаимосвязь между интеллектом и минимальным размером исходного кода, который необходим для поддержки данного интеллекта.
Для того чтобы на подобные вопросы ответить, может быть полезно формализовать понятие РСУ, вероятно, представляя подобное программное обеспечение в виде машины Тьюринга с конкретными выводами и вводами. Если это можно сделатьуспешно, то может открыться новая область анализа вычислительной сложности, в которой мы изучаем алгоритмы с динамично меняющейся сложностью (Big-O), и обратиться к вопросам о том, какие количественно модификации кода требуются для достижения определённого уровня производительности алгоритма.
Это, безусловно, поднимает вопрос о скорости процесса РСУ — ждем ли мы, что он займёт секунды, минуты, дни, недели, годы или более (трудное или простое начало) для системы РСУ, которая начнёт упираться в пределы того, что возможно с точки зрения физических пределов вычислений? Даже в подходящем образом сконструированном аппаратном средстве (человеческое дитя) развитие занимает десятки лет ввода данных (образование) для того, чтобы дойти до функционирования на человеческом уровне (взрослый человек). Также не очевидно, станет ли скорость изменения интеллекта выше при более продвинутом РСУ, так как оно совершеннее, или для «нового» РСУ, так как оно способно использовать легко достижимые факты. Нам надо выяснить, рассматриваем ли мы улучшение в абсолютном выражении или в процентах от текущего уровня интеллекта системы.
Юдковскийхочет анализировать самые перспективные отдачи (возвраты) от когнитивного реинвестирования, под которыми он понимает растущие скорость, размер или способности систем РСУ. Он рассматривает также различные возможные ставки доходности и приходит к трём постепенно растущим траекториям улучшения РСУ, которые он называет: «шипящая» траектория, «зажигающая» и «взрывная» или «траектория резкого взлёта искусственного интеллекта».
Холл аналогично делает анализ нормы прибыли на инвестиции в когнитивность и получает кривую, которая эквивалентна двойной скорости для закона Мура. Холл предполагает также, что для искусственного интеллекта лучшим способом зарабатывания денег станет выполнение полезной работы по улучшению аппаратного или программного обеспечения, а не попытки улучшить себя напрямую, так как он не станет конкурировать с более мощными участниками процесса оптимизации, такими как корпорация Intel.
Вот что ещё замечательно, делая анализ свойств, коррелирующих с интеллектом, Чалмерс сумел связать оптимизацию самоулучшения со свойствами, отличными от интеллекта. Можно согласиться, что программное обеспечение РСУ, как оно в этой работе описывается, улучшает не только программное обеспечение, повышая его интеллектуальность, но и сам процесс разработки данного программного обеспечения. Аналогично, могут быть усовершенствованы другие свойства, которые связаны с возможностью разработки программного обеспечения, к примеру, способность разрабатывать системы, обладающие чувством юмора, и поэтому, в дополнение к взрыву интеллекта, мы можем столкнуться с взрывом в области юмора.

Теория схождения (конвергенции) РСУ

Простой мысленный эксперимент с РСУ поможет нам предположить к интересную гипотезу. Независимо от специфики, которая заключается в «конструкции» зачаточного искусственного интеллекта, используемого для запуска процесса РСУ, все такие системы, пытающиеся достичь суперинтеллекта, станут сходиться к одной и той же архитектуре программного обеспечения. Мы станем называть эту гипотезу теорией конвергенции РСУ. В зависимости от сделанных предположений, — как это может случиться — есть несколько способов. Но во всех случаях результат тот же, практически вычислимый агент похож на AIXI (который невычислим, но является сверхразумным агентом).
Если верхний предел интеллекта существует, то в конечном счете множество систем достигнет данного уровня, возможно, разными путями, и для того, чтобы свою скорость увеличить, в конечном итоге системы станут делать попытки свести размер своего исходного кода к минимуму, в конце концов дойдут до программы наименьшего размера с подобным уровнем способности. Может так получиться, что достаточно умные программы РСУ сумеют сразу вывести подобную архитектуру из базовых знаний физики и сложности «по Колмогорову».
Однако,если интеллект не является неограниченным свойством, программы РСУ могут не сойтись и придут к разным результатам. Они не сойдутся также в том случае, если есть множество программ с максимальной интеллектуальной способностью, и все они обладают одинаковой сложностью «по Колмогорову», или если они не относятся к программам общего интеллекта и оптимизированы для различных сред. Также есть вероятность, что в пространстве сознания устойчивые аттракторы включают сверхчеловеческий и субчеловеческий уровни интеллекта, а человеческий уровень интеллекта довольно редкий.
Если всё правильно, то прогнозы конвергенции программ РСУ подразумевают создание того, что Бостром называет Singleton, агента — единственного принимающего решения и контролирующего всё. Дальнейшие рассуждения могут привести к выводу, что сошедшиеся вместе системы РСУ, разделённые во времени и в пространстве, даже космических масштабов, могут участвовать в согласованном сотрудничестве, поскольку поймут, что они и есть этот самый агент, с той же архитектурой, и поэтому способны идеально моделировать будущее поведение друг друга.
Подобне понимание может позволить суперинтеллекту, который создан из совершенно разных «корней», сотрудничать, особенно на уровне метазадач. Также можно утверждать, что человечество находится само на пути, на котором сходятся к той же точке в пространстве все вероятные интеллекты (но подвергается процессу РСУ намного медленнее). Так что, наблюдая архитектуру РСУ, которая подвергается конвергенции, и свойства человечества, можно определить цель существования человечества, окончательную судьбу человечества, волю человечества — переплетённую и продлённую в будущее.

Заключение

Рекурсивно самоулучшающееся программное обеспечение — высшая форма искусственной жизни, и создание жизни — остаётся одной из величайших неразгаданных тайн в науке. Точнее, проблема создания РСУ софта — это действительно проблема создания программы, способной писать другие программы, и поэтому — это ИИ-полная задача, как это было продемонстрировано Ямпольским. По определению, ИИ-полные задачи — это наиболее сложные проблемы, с которыми сталкиваются исследователи искусственного интеллекта, и, скорее всего, исходный код РСУ будет настолько сложным, что его будет трудно или даже невозможно проанализировать полностью.
Кроме того, проблема, возможно, будет NP-полной, так как даже простые проблемы метарассуждения и метаобучения, как продемонстрировали Коницер и Сандхолм, принадлежат к этому классу. В частности, они доказали, что намеренный выбор времени в непрерывно работающих алгоритмах, которые решают разные варианты проблемы, является NP-полным, а дополнительная проблема динамического распределения информационных ресурсов среди множественных действий при помощи агента, NP-трудная, даже если оценка каждого конкретного действия вычислительно проста. Наконец, они продемонстрировали, что проблема намеренного выбора ограниченного количества числа действий по обсуждению или сбору информации для устранения неоднозначности состояния мира в целом является PSPACE-трудной.
Интеллект — это вычислительный ресурс и, как и с другими физическими ресурсами (скорость, масса) его поведение, если его рассматривать при высоких значениях (IQ > 200+), скорее всего, не станет просто типичной линейной экстраполяцией того, к которому мы привыкли. Интеллект может также быть предметом фундаментальных ограничений, таких как ограничение на движение со скоростью света, или фундаментальных пределов, которых мы еще не знаем и не понимаем (мы не знаем, чего мы ещё не знаем). В данной работе рассмотрен ряд вычислительных верхних пределов, к которым любая успешная система РСУ станет асимптотически стремиться расти.
Можно отметить, что, несмотря на существование подобных верхних границ, мы в настоящее время, возможно, еще очень далеки от данных границ и от улучшений, которые им соответствуют. И поэтому сегодня есть ещё много возможностей для улучшений, не доходящих до этого верхнего уровня. Следовательно, функционирование любой системы РСУ, достигающей столь значительного улучшения, несмотря на отсутствие бесконечного процесса, с точки зрения нашего нынешнего состояния будет как выглядеть как создание суперинтеллекта.
Дебаты,которые относятся к возможности РСУ, станут продолжаться. Кто-то будет утверждать, что можно увеличить объем доступной памяти, скорость процессора или чувствительность сенсоров, но фундаментальная способность решать проблемы не может постоянно и намеренно совершенствоваться самой системой. Более того, критики могут предположить, что интеллект ограничен сверху и единственным отличием между вариантами станут только отличия по скорости и по объёму информации, который доступен для обработки. Фактически они могут указать на такой максимальный уровень интеллекта, который является теоретическим и известен как AIXI, — агент, при предоставлении которому бесконечных вычислительных ресурсов, примет в любой ситуации соверешенно разумные решения.
Ресурсно-зависимая система, при РСУ подвергающаяся взрыву интеллекта, может расширяться и накапливать материю со скоростью света — с момента своего создания до преобразования Вселенной вокруг неё в сферу из компьютрониума. Для уменьшения внутренних вычислительных затрат, которые растут с общим размером системы, и в космических масштабах очень значительны даже при скорости света, очень вероятны попытки сконденсировать всю получаемую материю в сверхплотный объект постоянного объёма (напоминает исходную физическую точку сингулярности, которая стала «запалом» для Большого Взрыва, см. Точка Омега), Побочным эффектом этого процесса будет появление горизонта событий, непроницаемого для научного описания (научных теорий) будущих состояний рассматриваемой системы РСУ.
В каком-то ограниченном виде мы уже данный процесс конденсации видим в виде попыток производителей компьютерных чипов упаковать всё больше и больше транзисторов в микрочипы — с мощностью, растущей в геометрической прогрессии, или с уменьшающимися в той же прогрессии размерами. И далее, от Большого Взрыва исходной космологической Сингулярности к Технической сингулярности, в которой взрывается интеллект, и до попытки собрать всю материю Вселенной обратно в точку бесконечной плотности (Большое Сжатие), которое, в свою очередь, вызывает следующий (может быть, хорошо контролируемый) Большой Взрыв. История Вселенной продолжается и зависит от интеллекта, её главного инициирующего и формирующего фактора (подобные идеи становятся популярными в космологии).
Другие скажут, что так как интеллект — это способность находить закономерности в данных, и, так как число переменных, из которых выявляется закономерность, всегда может быть больше, то интеллект не имеет верхнего предела, что представляет собой более сложную проблему, по отношению к которой интеллект может быть измерен. Легко видеть, что даже у проблем, с которыми мы в нашей повседневной жизни сталкиваемся, имеются некоторые предельные трудности. Это, конечно, не случаи теоретических примеров, которые можно найти в чистой математике.
Кажется, спор до тех пор не закончится, пока не будет найдено фундаментальное непреодолимое препятствие процессу РСУ, или пока не будет продемонстрировано существование системы РСУ. Безусловно, вопрос разрешения машинам подвергнуться преобразованию (в форме) РСУ, если РСУ вероятно, является отдельной и не менее сложной проблемой.