Ник Бостром

Сужения (Crunches)

            В то время как некоторые события могут наверняка уничтожить Homo sapiens (такие как распад метастабильного вакуума), другие могут, в принципе, быть пережиты (такие, как тотальная ядерная война). Если цивилизация рухнет, то отнюдь не обязательно она снова возникнет, даже если человеческий вид выживет. Мы выработали слишком много легкодоступных ресурсов, которые потребуются примитивному обществу, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть — а может и не быть — подвержено вымиранию, как и другой вид животных. Но давайте не будем ставить этот эксперимент.
Если примитивное общество выживет, но никогда не поднимется на нынешний технологический уровень, не говоря о том, чтобы этот уровень превзойти, то тогда мы имеем пример сужения. Далее описаны некоторые возможные причины сужения.

1. Истощение ресурсов или разрушение экологии
Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, если природные условия будут менее благоприятными, если легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о технологических шагах сохранится, это сделает возрождение цивилизации проще.)
2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
Однажды в мире придет к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство устойчивым относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть путь для человечества развиться до постчеловеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой сценарий этого типа (Huxley 1932).
Мировое правительство может не быть единственной формой социального равновесия, которое может необратимо повредить прогрессу. В миреа сегодня с трудом создают учреждения, адекватные скорости роста. В ретроспективе было много случаев, когда прогресс стоял на месте или откатывался назад на дистанцию. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.
3. Давление «вырождения»
Продвинутое цивилизованное общество нуждается в том, чтобы в нем была доля интеллектуально одаренных людей.  Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы разовьемся в менее мозговитых, но быстрее размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»). Но вопреки тому, что могут заставить подумать эти рассуждения, IQ  вырос за последнее столетие. Это известно как эффект Флинна; см. например (Flynn 1987: 171—191; Storfer 1999). Не определено соответствует ли это реальным достижениям в интеллектуальных функциях.
Генетическая инженерия приближается к точке, к тому времени, когда родители наделят своих отпрысков генами,  которые коррелируют с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами. Временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной (Bostrom et al. 1999; Freitas 1999).
4. Технологическая остановка.
Технологические трудности в переходе к постчеловеческому миру окажутся столь велики, что мы его никогда не достигнем.
5. Нечто непредвиденное .
Как и в прошлый раз, это — категория на все случаи жизни.
Вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь в виду эту возможность, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить пристальное внимание к сценариям сужения.

Скрипы (Shrieks)

Выяснение того, какие сценарии являются скрипами, труднее из-за включения понятия «желательности» в определение скрипа. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сценарии - скрипы. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.

1. Захват власти превосходящим интеллектом, загруженным в компьютер
Предположим, что загрузка сознания в компьютер возникнет раньше, чем будет создан искусственный интеллекта человеческого уровня. Загрузка — это разум, перенесенный с биологического мозга в компьютер, который эмулирует вычислительный процесс, в исходной биологической нейронной сети (Bostrom et al. 1999; Kurzweil 1999; Merkle 1994; Hanson 1994). Успешный процесс загрузки разума сохранит изначальную память, навыки, ценности и сознание.
Загрузка разума упростит улучшение интеллекта путем запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Улучшение загрузки выше некого уровня приведет к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя еще умнее; и более умная следующая версия будет еще успешнее в улучшении себя, и так далее. Если этот быстрорастущий процесс произойдет внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как остальные разумные существа останутся примерно на человеческом уровне. Такое интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может быстро создать новые технологии или совершенные нанотехнологические конструкции. Если такая загрузка склонна к не допускать других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.
Тогда постчеловеческий мир будет отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем бесполезными). Такой мир легко станет реализацией только малой части того, что возможно и желательно. Этот исход — Скрип.

2. Сверхинтеллект с ошибкой
Опять-таки, плохо запрограммированный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.

3. Глобальный репрессивный тоталитарный режим
Фанатичное мировое правительство, основываясь на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и реализует только малую часть из всех тех позитивных вещей, которые постчеловеческий мир может иметь.
Такое мировое правительство сформирует группа людей, если они будут контролировать первый сверхинтеллект и смогут задавать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот постчеловеческий мир может отражать только ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.

4. Нечто непредвиденное
Все остальное.
Сценарии Скрипа кажутся имеющими вероятность и потому их стоит воспринять всерьез в стратегическом планировании.
Можно пытаться доказать, что одна ценность, которая содержит в себе часть того, что мы считаем желательным в постчеловеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Все хотят не умирать и стать постлюдьми. Если мы примем это, то тогда любой сценарий, в котором переход к постчеловеческому миру отложен надолго, чтобы почти все  люди умерли до этого (предполагая, что они не были успешно сохранены посредством крионики (Merkle 1994; Ettinger 1964)) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому постчеловечеству через 80 лет составит риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы. Это предположение отягощено проблемой о природе ценностей.

Всхлипы

            Если все пойдет хорошо, мы можем однажды выйти на уровень фундаментальных физических пределов. Хотя вселенная кажется бесконечной (Zehavi, Dekel 1999: 252—254; Bostrom 2001), доля вселенной, которую мы можем теоретически колонизировать (исходя из ограниченного современного понимания ситуации) конечна (Cirkovic, Bostrom 2000: 675—687). И мы, в конечном счете, истощим доступные ресурсы, или ресурсы сами собой распадутся, по мере постепенного уменьшения негэнтропии и связанного с этим превращением материи в излучение. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что неправильно считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть потенциала.

 Два вида Всхлипов кажутся имеющими вероятность:

1. Наш потенциал и даже базовые ценности разъедаются развитием в ходе эволюции
Этот сценарий концептуально сложней, чем другие риски существованию, которые мы рассматривали (вместе со сценарием Взрыва «Мы живем в компьютерной симуляции, которую выключают»). Он рассмотрен подробней в статье-компаньоне этой (Bostrom 2001). Очерк той статьи приведен в конце этой статьи в Приложении (Приложение: очерк эволюционного «всхлипа»).
Похожий сценарий описывается в (Hanson 1998), где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые потратят ресурсы на отправку вовне следующих колонизационных зондов (Freitas 1980: 251—264).
Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он все равно может иметь важные стратегические приложения, так как краткосрочные решения могут предопределить, вступим ли мы на путь (Bostrom 2000), который ведет к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, окажется трудным или невозможным остановить ее (Chislenko 1996). Есть вариант, что единственный возможный путь избежать данного Всхлипа — предотвратить раскручивание этих цепочек событий.

2 . Уничтожение внеземной цивилизацией
Вероятность столкнуться с инопланетянами в ближайшее время кажется маленькой (см. главу этой статьи об увеличивающихся вероятностях ниже, а так же (Barrow, Tipler 1986; Tipler 1982: 36—39)).
Если все пойдет благополучно, и мы разовьемся в межгалактическую цивилизацию, мы можем однажды в далеком будущем встретить инопланетян.
Если они окажутся враждебны и если (по некой неизвестной причине) они будут обладать лучшей технологией, чем мы, они завоюют нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высокоэнергетических физических экспериментов (см. главу Взрывы), то однажды нам придется столкнуться с последствиями. По причине того, что пространственная протяженность цивилизации на этой стадии вероятно велика, завоевание или разрушение потребует много времени для завершения, в силу чего этот сценарий будет скорее Всхлипом, чем Взрывом.

Нечто непредвиденное  - все другие гипотезы
Первый из сценариев Всхлипа надо тщательно взвесить при формулировании долгосрочной стратегии. Взаимодействие со вторым сценарием Всхлипа мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас.