Считается, что системы искусственного интеллекта будут иметь преимущества по сравнению с людьми-программистами, что даёт возможность искусственному интеллекту добиваться успеха там, где терпели неудачи люди.

Подобные преимущества в себя включают такие вещи, как:

1.    длительная работа (без сна, без перерывов, без отпуска и т. д.),
2.    универсальность знания (уровень экспертных знаний во всех областях науки, извлечение знаний из всех опубликованных работ),
3.    превосходящие вычислительные ресурсы (процессор по сравнению с мозгом, оперативная память по сравнению с памятью человека),
4.    скорость коммуникации (связи в системе искусственного интеллекта по сравнению с нейронами),
5.    увеличение глубины последовательного доступа (способность выполнять последовательные операции доступа в сто раз выше, чем мозг человека),
6.    дублирование (интеллектуальное программное обеспечение может быть скопировано мгновенно),
7.    возможность редактировать (исходный код, в отличие от ДНК, можно довольно быстро изменить),
8.    координация по цели (экземпляры искусственного интеллекта могут работать без больших накладных расходов на достижение общей цели),
9.    улучшенная разумность (скорее всего,искусственный интеллект будет свободен от когнитивных предубеждений человека)
10.    новые сенсорные модальности (специально созданные сенсорные аппаратные средства для исходного кода),
11.    объединение процессов решения задач и процессов автоматизации (управление вычислительными ресурсами для обработки нескольких задач),
12.    интроспективное восприятие и управление (способность анализировать оборудование глубокого уровня, к примеру, отдельных нейронов),
13.    добавление аппаратного обеспечения — «железа» (возможность добавления новой памяти, сенсоров и так далее),
14.    развитая коммуникация (способность делиться основными когнитивными представлениями, имеющими отношение к воспоминаниям и навыкам).
Дэвид Чалмер используется логикой и математической индукцией для того, чтобы продемонстрировать, что если система искусственного интеллекта может производить только немного более способную систему искусственного интеллекта, то обобщение данного процесса ведёт к сверхразумному поведению искусственного интеллекта n после n поколений. Он говорит, что его доказательство, которое предполагает идею пропорциональности, то есть является верным утверждающее, что рост интеллекта приводит к пропорциональному росту способности разработки будущих поколений искусственного интеллекта.
Эрик Нивели его коллеги предложили формализацию систем РСУ в виде автокаталитических множеств — наборов неких сущностей, которые состоят из элементов, каждый из которых может быть создан другими элементами множества, что придаёт множеству возможность самообновления  и самоподдержания.
Исследователи перечислили свойства системы, делающие её самоорганизующейся, целеустремлённой и полезной, а именно:
1.    рефлективность — то есть способность переписывать и анализировать свою собственную структуру;
2.    автономность — то есть способность быть свободной от влияния разработчиков системы (ограниченная автономия — это свойство системы с элементами, которые не являются объектами самоизменения);
3.    эндогенность—то есть способность к автокатализу.
Также Эрик Нивел и Кристинн Ториссон попытались сделать более применимым понятие «автономия» с помощью идеи самопрограммирования, которое, как они считают, должно быть практически реализовано, а не теоретически, так как только таким образом можно отследить проявление данного подхода.
Элиезер Юдковский очень много пишет об рекурсивных самосовершенствующихся процессах и полагает, что введение определённых концепций может оказаться полезным для обсуждения, в частности, он предлагает пользоваться терминами —циклы, каскады и инсайт, которые определяет так:
1.    Каскады — это когда одно усовершенствование приводит к другому;
2.    Циклы — это повторяемый каскад, в котором одна оптимизация приводит к другой, которая, в свою очередь, приносит пользу исходной оптимизации;
3.    Инсайт — это новая информация, значительно увеличивающая чью-либо способность к оптимизации.
Юдковский также говорит, что ценные свойства и ряд возможностей в пространстве решений необходимо рассматривать как Склон оптимизации, тогда как оптимизация ресурсови эффективность оптимизации — к какому объёму вычислительных ресурсов имеет доступ агент, и насколько эффективно агент использует указанные ресурсы.

Программное обеспечение РСУ можно классифицировать в зависимости от количества улучшений, которое оно может обеспечить. Наиболее простым случаем будет система, которая способна приносить единственное фундаментальное улучшение. Имеется надежда, что по-настоящему РСУ-софт будет способен на много подобных улучшений, но вопрос продолжает оставаться открытым в отношении возможности бесконечного числа рекурсивных улучшений. Вполне вероятно, что есть некоторый верхний предел улучшений, который ограничивает любой РСУ-софт конечным числом желательных и значимых перезаписей кода. Сегодня критики объясняют неудачу в достижения устойчивого процесса РСУ тем, что исследователи РСУ стали жертвами бутстрапного заблуждения.

Другая ось, по которой можно классифицировать РСУ-системы, должна быть связана с тем — как обнаруживаются улучшения. Считается, что есть два совершенно разных подхода.
Первый подход — прямой перебор, который использует Левин (Универсальный) Поиск. Идея состоит в том, чтобы рассмотреть все возможные строки исходного кода до некоторого предельного размера и выбрать ту строку, которая может доказательно дать улучшение. Но вот на практике, если теоретически гарантированно лучшее и оптимальное решение имеется, этот метод вычислить не дает возможность. Некоторые варианты подобного подхода к самоулучшению — машины Гёделя, Решатель оптимально упорядоченных проблем и Постепенные Самоулучшатели, — были тщательно проанализированы Шмидхубером и его соавторами.
Второй подход предполагает, что у системы имеется определённый уровень научной компетентности, и использует его при разработке и тестировании своей собственной замены. Изобретается ли намеренно более совершенная система с любыми способностями и, таким образом, более сложная — остаётся фундаментально открытой проблемой исследований в РСУ.

Наконец, мы можем рассмотреть гибридную систему РСУ, включающую как искусственно интеллектуальную программу, так и человека — учёного. Объединённые коллективы «Человек — искусственный интеллект» были довольно успешными во многих областях, к примеру, в шахматах или при доказательстве теорем. Было бы странно, если бы объединение искусственного и естественного интеллектов не дало преимущества в разработке новых систем искусственного интеллектаили усиления естественного интеллекта. Мы с учёными-компьютерщиками проводим эксперименты с ограниченной версией такого подхода, развивая постепенно более совершенный вариант программного обеспечения искусственного интеллекта(используя постоянно совершенствующиеся программные средства), но так как сами учёные остаются «неулучшенными», мы не можем говорить о самоулучшении. Данный тип РСУ можно классифицировать как непрямое рекурсивное улучшение, в отличие от прямого РСУ, в котором за все модификации ответственна сама система. Прочие виды косвенного РСУ могут быть основаны на сотрудничестве нескольких систем Искусственного Интеллекта, а не искусственного интеллекта и групп исследователей.

В дополнение к классификации по отношению к видам РСУ, можно также оценить системы по отношению к определённым бинарным свойствам. К примеру: можно быть заинтересованными лишь в системах, которые гарантированно не снижают интеллект, даже временно, в процессе совершенствования. Это будет невозможным, если рассматриваемая область интеллектуального рельефа содержит точки локальных максимумов.
Ещё одним свойством любой системы РСУ, в лучшем понимании которого мы заинтересованы, — является необходимость неизменных сегментов (участков) исходного кода. Иными словами, система РСУ должна быть в состоянии изменить любую часть своего исходного кода, но определённые части системы (закодированные цели, проверка модулей) должны быть из поколения в поколение неизменными. Подобные участки как бы сродни ультраконсервативным элементам или консервативным последовательностям ДНК, найденным среди множества родственных видов.

Особенно важен э вопрос для сохранения цели самоулучшающегося интеллектуального программного обеспечения, так как мы хотим убедиться, что будущие поколения системы мотивированы работать над этой же проблемой. По мере того, как искусственный интеллект проходит процесс РСУ и становится рациональнее и умнее, скорее всего, он вовлекается в процесс ухода от каких-нибудь ограничений, которые мы в него внесли при программировании. В идеале, мы хотели бы иметь возможность доказать, что наш алгоритм даже после рекурсивного самосовершенствования сохраняет те же цели, что и его оригинал.

Доказательства корректности или безопасности алгоритма применяются только к конкретному исходному коду, и алгоритм необходимо было бы переписать и  доказать заново (его корректность и безопасность), если код изменён, что происходит в РСУ программе множество раз. Но мы подозреваем, что новое доказательство для слегка изменённого кода может быть проще, чем доказательство безопасности совсем нового сегмента (участка) кода.
Мы также заинтересованы в понимании, может ли процесс РСУ идти в изолированной (в свободной от утечек) системе или необходимо взаимодействие с внешней средой — интернетом, людьми и, при необходимости, с другими агентами искусственного интеллекта.Вероятно, доступ к внешней информации можно использовать в качестве косвенного свидетельства о скорости процесса РСУ. Доступ к внешней информации также имеет значительную причастность к механизмам безопасности, который мы можем использовать при экспериментах с ранними системами РСУ. И наконец, надо исследовать — может ли весь процесс РСУ быть приостановлен в любой момент времени и на любой конкретный период времени для того, чтобы ограничить отрицательное воздействие от возможного «взрыва» интеллекта. В идеале нам хотелось бы уметь запрограммировать наш «зародыш» искусственного интеллектадо такого момента/уровня РСУ, чтобы искусственный интеллект достиг определённого уровня интеллекта, остановился и начал ждать дальнейших инструкций.

О границах рекурсивно самоулучшающихся систем искусственного интеллекта

Сама возможность рекурсивного самоулучшения софта все еще остаётся недоказанной. В этом разделе мы представляем ряд аргументов против возможности рекурсивного самоулучшения.
Прежде всего, любая реализованная программная система зависит от аппаратных средств памяти, связи и обработки информации, которые необходимы, даже если предположить, что для работы такой программной системы это будет не архитектура фон Неймана (то есть квантовая). Это создаёт строгие теоретические пределы вычислениям, которые, несмотря на аппаратные достижения, прогнозируемые законом Мура, любая будущая аппаратная парадигма не сможет преодолеть.

Краусс,Шеннон, Сандберг, Бекенштейн, Бремерманн, Ллойд, Ааронсон и многие другие исследовали конечные пределы вычислений в терминах скорости, связи и потребления энергии по отношению к таким факторам, как квантовый шум, скорость света и гравитационная постоянная. Для выявления пределов повышенного интеллекта человека также были проведены разные исследования. Хотя их конкретные числовые данные находятся за рамками данной работы, одно несомненно: имеются конечные физические пределы вычислений.

Поскольку более сложные системы обладают большим количеством компонентов и требуют больше материи, даже если отдельные элементы созданы на наноуровне, можно прийти к выводу, что, так как энергия и материя непосредственно связаны, а также материя и информация («всё из бита»), то интеллект и материя связаны тоже. Пока мы, конечно, очень далеки от столкновения с какими-то ограничениями, которые налагает доступность материи во Вселенной для строительства наших суперкомпьютеров, это определённый теоретический верхний предел на достижимый интеллект даже для гипотезы о Мультивселенной.
В дополнение к ограничениям, которые свойственны аппаратным средствам, ограничения, которые связаны программным обеспечением, могут представить ещё большие препятствия для систем РСУ. Интеллект измеряется не как отдельная ценность, а относительно проблем, которые он дает возможность решить. Для многих задач, таких, например, как игра в шашки, можно полностью решить проблему (обеспечить оптимальное решение после рассмотрения всех возможных вариантов), после чего никакое дополнительное улучшение производительности было бы невозможно.

Другие проблемы, как известно, неразрешимы, независимо от уровня интеллекта, который был для их решения использован. Считая, что разделение классов сложности (к примеру, P по отношению к NP) останется в силе, становится очевидным, что некоторые классы задач всегда будут оставаться лишь приблизительно разрешимыми и какие-либо улучшения в решениях будут получены при помощи дополнительных аппаратных средств, а не по причине более высокого интеллекта.

Видерманн полагает, что познавательные системы образуют бесконечную иерархию, и с вычислительной точки зрения уровень интеллекта человека ограничен сверху классом Σ2 Арифметической Иерархии. Так как многие настоящие глобальные проблемы являются вычислительно неосуществимыми для всех нетривиальных подходов, даже искусственный интеллект, который достигает уровня человека, вряд ли поднимется до более высоких уровней иерархии познания. Так, хотя теоретически машины со сверхтьюринговской вычислительной мощностью возможны, на практике они являются нереализуемыми, потому что необходимая для их функционирования информация, невозможная для компьютерной обработки, именно таковой и является — невозможной для компьютерной обработки.

На основе этого Видерманн говорит, что в то время как машины будущего намного быстрее и более надёжно сумеют решить проблемы, которые люди решают, они по-прежнему будут ограничены вычислительными пределами, обнаруженными на верхних уровнях Арифметической Иерархии.

Махони пытается формализовать следующее — что для программы означает«иметь цель G» и «самоулучшаться» по отношению к возможности достичь указанной цели в условиях ограниченного времени t. Махони определяет цель как функцию G: N → R, отображающую натуральные числа N в реальные числа R. Рассматривая универсальную машину Тьюринга L, Махони определяет P(t) — положительное натуральное число, полученное на выходе программы P, с входом t, запущенной на универсальной машине Тьюринга L после шагов времени t, или 0, если программа Р не остановилась после t шагов.

Представление Махони говорит, что Р имеет цель G в момент времени T, если и только если существует t’> t, такие, что G(P(t’)) > G(P(t)) и для всех t’> t, G(P(t’)) ≥ G(P(t)). Если P имеет цель G, то G(P(t)) является монотонно возрастающей функцией t без максимума при T > С. Q улучшает Р по отношению к цели G, если и только если все следующие условия являются истинными: Р и Q имеют цель Q. ∃t, G(Q(t)) > G(P(t)) and ~ ∃t, t’> t, G(Q(t)) > G(P(t)).

Махони, определяет последовательность улучшающeюся по отношению к G, в качестве бесконечной последовательности программ P1, P2, P3, … так что ∀i, i > 0, Pi+1 улучшает Pi по отношению к G. Без ограничения общности Махони расширяет определение, включая значение −1, как приемлемое значение, так что Р(−1) выводит правильно закодированное программное обеспечение. Он, наконец, определяет P1 как РСУ программу по отношению к G тогда и только тогда Pi(−1) = Pi+1 forall i > 0, и последовательность Pi, i = 1, 2, 3 … — это последовательность улучшения по отношению к цели G.

Махони также анализирует сложность программного обеспечения РСУ и представляет доказательства, которые показывают, что алгоритмическая сложность Pn (n-ная итерация программного обеспечения РСУ) не больше, чем O(log n), что подразумевает, что на практике был бы возможен очень ограниченный объем прироста знаний, несмотря на теоретическую возможность системы РСУ. Юдковский также рассматривает возможность получения только логарифмического роста «возврата на познавательные вложения»: log (n) + log(log(n)) + … в каждом цикле рекурсии.

Другие ограничения для предлагаемого подхода самоулучшения могут носить частный характер. К примеру, тип поиска «по Левину» в пространстве программы столкнётся с проблемами, которые связаны с теоремой Райса, утверждающей, что для любой произвольно выбранной программы невозможно проверить, имеет ли она какое-либо нетривиальное свойство, к примеру, быть очень интеллектуальной. Такая проверка, безусловно, необходима для того, чтобы оценить переработанный код.

Кроме того, в пространстве интеллекта универсальный поиск будет невозможным согласно теореме о бесплатных завтраках, так как у нас нет никакой информации для того, чтобы уменьшить размер пространства поиска. Другие трудности, которые связаны с тестированием, остаются, даже если мы не берём произвольно выбранные программы, а только тепрограммы, которые мы разработали с определённой целью, и которые, следовательно, избежали проблем, связанных с теоремой Райса.

Одна из подобных трудностей — это определение, является ли что-либо улучшением. Мы можем назвать данное препятствие — «многомерность оптимизации». Никакие изменения не являются строго улучшениями; это всегда компромисс между улучшением в некоторых областях и потерями в других. К примеру, как мы сравниваем и оцениваем две программных системы, одна из которых лучше в шахматах, а другая — в покере? Если предположить, что целью является улучшенный интеллект для всех возможных условий окружающей среды, то системе пришлось бы выяснить, как протестировать интеллект выше своего уровня с помощью проблемы, которая остаётся нерешённой. В общем, наука тестирования интеллекта выше уровня, по своей природе достижимого человеком (IQ < 200), находится в зачаточном состоянии. Де Гарис поднимает проблему оценки качества изменений, внесённых в структуры высшего уровня, ответственных за определение функционирования РСУ, структур, которые не оцениваются никакими другими модулями более высокого уровня, что тем самым представляет фундаментальную трудность в оценке их деятельности.

В литературе также были предложены и прочие препятствия на пути к РСУ. Теорема Лёба говорит, что математическая система не может подтверждать свою собственную устойчивость, без того, чтобы не стать несовместимой; это значит, что достаточно многозначная формальная система не может точно сказать — истинно на самом деле то, что доказано как истинное с её помощью. Подобная способность необходима для того, чтобы убедиться, что улучшенные версии программы всё ещё согласуются с её исходной целью стать умнее.

Другое препятствие, так называемый парадокс откладывания, также предотвращает внесение изменений в код системы, так как система обнаружит себя в состоянии, в котором изменение, сделанное немедленно, также желательно и вероятно, как такое же изменение, внесённое позднее. Так как откладывание внесения изменений не несёт каких-либо негативных последствий и может быть действительно безопасным, это может привести к бесконечной задержке фактического осуществления доказуемо желательных изменений.

Точно так же Боландер поднимает некоторые проблемы, которые присущи логическим рассуждениям, содержащим самоссылки, точнее — самопротиворечивую аргументацию, примером чего является парадокс лжецав виде «Это утверждение является ложным». Орсо и Ринг вводят то, что они называют «Уловка простака» — ситуация, в которой агент выбирает самоизменение, которое для него несет ущерб, если такое самоизменение достаточно высоко вознаграждается. Ямпольский рассматривает ряд связанных с этим проблем интеллектуальных самосовершенствующихся оптимизаторов, которые имеют мощность выше определённой, и делает вывод, что, несмотря на мнение многих исследователей, подобные устройства должны привести к прямой стимуляции центра удовольствия в мозге.

Чалмерс указывает на ряд ранее непроанализированных потенциальных препятствий на пути к программному обеспечению РСУ, среди которых т. н. «Препятствие корреляции». Чалмерс описывает его как возможность того, что интересные свойства, которые было бы желательно усилить, не будут коррелировать со способностью разрабатывать усовершенствованное программное обеспечение.

Ямпольский обеспокоен также накоплением ошибок в программном обеспечении, которые проходят процесс РСУ, которое концептуально похоже на накопление мутаций в эволюционном процессе биологических агентов. Ошибки, которые не являющиеся вредными для работы системы, очень трудно обнаружить, и они могут накапливаться в последовательно строящихся друг за другом поколениях до тех пор, пока критическая масса подобных ошибок не приведёт к ошибочному функционированию системы, к ошибочной оценке качества будущих поколений программного обеспечения или к полному распаду.