Ник Бостром

Риски существованию

          В этой статье мы обсудим риски шестой категории, которая отмечена в таблице как Х. Это категория глобальных смертельных рисков. Я буду называть их угрозами существованию.

            Угрозы существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как «темные века», даже если они охватывают все общество, если они рано или поздно закончатся (хотя см. главу о «Визге» ниже). Сказать, что некий глобальный риск является переносимым, очевидно не означает сказать, что он приемлемый или не серьезный.

Мировая война с применением стандартных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию переносимых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (Но эти события будут местным смертельным риском для многих  и для преследуемых этнических групп.)

            Я буду использовать следующее определение риска существованию:

Угроза существованию — такой риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необратимо и сокращает ее потенциал.

            Угроза существованию — это такой риск, в котором человечество как целое находится под угрозой. Такие катастрофы несут негативные последствия для  будущего земной цивилизации.

Уникальность проблемы угроз существованию     

                  Риски этой шестой категории появились недавно. Это одна из причин, по которой полезно выделить их в отдельную категорию. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, черной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для участников этих событий, с широкой точки зрения — с точки зрения человечества — даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. 

            Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.

            За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), не было  угроз существованию до середины 20 века, и определенно ни с одним из них мы не могли ничего сделать.

            Первой созданной человеком угрозой существованию была первая атомная бомба. В то время было некоторое беспокойство по поводу того, что взрыв запустит цепную реакцию посредством «поджигания» атмосферы. Хотя теперь мы знаем, что такой итог был физически невозможен, в то время это предположение соответствовало определению угрозы существованию. Чтобы нечто было риском достаточно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса на то, чтобы случилось нечто плохое. Если мы не знаем, что-то объективно рискованное или нет, это является риском в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чем мы должны основывать наши решения . В любой момент мы должны использовать нашу наилучшую субъективную оценку того, каковы объективные факторы риска.

            Гораздо большая угроза существованию возникла одновременно с появлением арсеналов ядерного оружия в СССР и США. Полноценная ядерная война была возможна со значительной степенью вероятности и с последствиями, которые могли быть настолько устойчивыми, чтобы характеризоваться как глобальные и окончательные. Среди людей, лучше всего знакомых с информацией, доступной в то время, было распространено реальное беспокойство, что ядерный Армагеддон может случиться и что он  истребит наш вид или навсегда разрушить человеческую цивилизацию .

            Россия и США  обладают огромными ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды создать большие арсеналы. Но небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не угроза существованию, так как он не уничтожит человечество и не повредит необратимо человеческий потенциал. Такая война, однако, будет местным смертельным риском для тех городов, на которые будут нацелены удары.,. К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар — это только прелюдия к угрозам существованию в XXI веке.

Природа задач, возникающих благодаря угрозам существованию проиллюстрируем следующими замечаниями.

            Наш подход к угрозам существованию нельзя основывать на методе проб и ошибок. Нельзя учиться на ошибках. Реактивный подход — смотреть, что случилось, ограничить ущерб и учиться на этом опыте — не работает. Мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать превентивные меры и оплачивать их моральную и экономическую цену.

            Мы не можем с уверенностью полагаться на учреждения, моральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе опыта управления другими типами рисков. Угрозы существованию — это другой зверь. Нам трудно принимать их настолько серьезно, насколько они того заслуживают, поскольку мы никогда не сталкивались с такими катастрофами . Коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.

            Уменьшение угроз существованию всеобщее общественное благо (Kaul, 1999) и по этой причине недостаточно поставляемо рынком (Feldman, 1980). Угрозы существованию - угрозы для каждого и требуют реакции на международном уровне. Уважение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших угроз существованию.          

            Удивительно, в виду неоспоримой важности темы, как мало систематической работы сделано в это области. Частично это объясняется тем, что наиболее серьезные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно поняли.

            Другой частью объяснения может быть неизбежно междисциплинарная и умозрительная природа предмета исследований. И отчасти, пренебрежение может быть объяснено нежеланием думать всерьез на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, но нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надежные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чем фокусировать усилия.

Классификация рисков существованию

                Мы будем использовать следующие 4 категории для классификации рисков существованию :

                Взрывы (Bangs) — Возникшая на Земле разумная жизнь истребляется в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.

                Сужения (Crunches) — Способность человечества развиться в постчеловечество необратимо повреждена , хотя люди продолжают каким-то образом жить.

                Скрипы (Shrieks) — Некая форма постчеловечества будет достигнута, но это будет только чрезвычайно узкая доля спектра возможного и желаемого.

               Всхлипы (Whimpers) — Постчеловеческая цивилизация возникает, но развивается в направлении, ведущем постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того уровня, который бы мог быть достигнут. 

                 Вооруженные такой классификацией, мы можем начать анализировать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.

                Взрывы (Bangs)

            Это — наиболее очевидная форма глобальных рисков. Понять эту концепцию легче всего. Ниже описываются некоторые наиболее возможные пути взрывного завершения существования мира. Я попытался расположить их в порядке возрастания (по моей оценке) вероятности стать причиной истребления возникшей на Земле разумной жизни; но мое намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения.

1. Преднамеренное злоупотребление нанотехнологиями

            В своей зрелой форме молекулярная нанотехнология позволит создавать самовоспроизводящихся роботов размеров с бактерию, которые смогут питаться нечистотами или другой органической материей (Drexler 1985, 1992; Merkle et al. 1991: 187—195; Freitas 2000). Такие репликаторы могут съесть биосферу или разрушить ее другими способами, такими, как отравление ее, сжигание ее или блокирование солнечного света. Человек с преступными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду .

            Технология для создания деструктивных наноботов кажется значительно более простой, чем технология создания эффективной защиты от такой атаки (глобальной нанотехнологической иммунной системы, «активного щита» (Drexler 1985)). Поэтому, скорее всего, будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. Также эти технологии могут оказаться трудными для управления ими, поскольку не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при производстве ядерного оружия (Drexler 1985).

            Даже если эффективная защита от ограниченной нанотехнологической атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены склонными к самоубийству режимами или террористами, все еще остается опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается (Gubrud 2000), что молекулярное производство приведет к большей нестабильности гонки вооружений и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свое вооружение, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологическое оружие, начнут, с этой точки зрения, массовое производство и конструирование вооружений, которое продолжится до тех пор, пока не случится кризис и не начнется война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана вовремя — чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась.

2. Ядерный холокост

            США и Россия по-прежнему имеют огромные запасы ядерных вооружений. Но приведет ли полноценная ядерная война к реальному истреблению человечества? Отметьте, что:

(а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится.

(б) климатические эффекты широкомасштабной ядерной войны малоизвестны (есть вероятность ядерной зимы).

(в) будущие гонки вооружений между странами не могут быть исключены, и это может привести к возникновению еще больших арсеналов, чем те, что существовали в разгар холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в десять раз больше, чем остается в боеголовках (Leslie 1996: 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть (а может и не быть) более стойкой к вымиранию, чем другие виды животных.

3. Мы живем в симуляции, и она выключается 

            Может быть доказано, что гипотезе, будто мы живем в компьютерной симуляции, следует приписать значительную вероятность (Bostrom 2001). Основная идея, лежащая в основе так называемого Доказательства симуляции, состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (Moravec 1989, 1999), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не слишком невероятных предположениях результат может быть тот, что большинство разумов, подобных нашим, являются симулированными разумами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными разумами, а не (субъективно неразличимыми) разумами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами.

            Хотя кому-то может показаться легкомысленным выдвигать столь радикальную гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным Бостромом (Bostrom 2001), было бы интеллектуально нечестно пренебрегать выключением симуляции как возможной причиной истребления человечества.

4. Плохо запрограммированный суперинтеллект

            Когда мы создадим первое суперинтеллектуальное устройство (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al. 1998), мы можем сделать ошибку и задать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающее силу сделать это. Например, мы можем ошибочно возвести цель более низкого уровня в статус сверхцели. Мы говорим ему решить некую математическую задачу, и он подчиняется, превращая все вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. (Yudkowsky 2001)).

5. Генетически сконструированный биологический объект

            В результате огромного прогресса генетических технологий, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать «вирус конца света»: организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью (National Intelligence Council 2000).

            Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox Ectromelia virus) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля грызунов-вредителей (Nowak 2001). Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что усиливает возможную опасность здесь — это то, что исследование было быстро опубликовано в открытой научной литературе (Jackson et al. 2001: 1479—1491). Редко увидишь, чтобы информация, созданная в открытых биотехнологических проектах, хранилась бы в секрете, независимо от того, насколько суровой потенциальной опасностью она обладает - и то же относится к исследованиям в нанотехнологиях.

            Генетическая медицина приведет к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, опасности биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный долговременный потенциал для медицины (Freitas 1999), они несут свои собственный опасности.

6. Ошибочное применение опасных нанотехнологий («серая слизь»). 

            Возможность аварии никогда не может быть полностью исключена.

Однако, существует много путей избежать уничтожающих всех людей аварий благодаря применению надёжных инженерных решений. Можно избежать опасного применения самовоспроизводящих систем; можно сделать наноботов зависимыми от использования какого-то редкого химического вещества, не существующего в природе; можно заключать их в герметичное окружение; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование (Foresight Institute 2000). По этой причине случайное неправильное применение наноботов тревожит гораздо меньше, чем злонамеренное (Drexler 1985; Freitas 2000; (Foresight Institute 1997—1991).

            Однако, различие между случайным и намеренным может стать расплывчатым. Хотя, в принципе, кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить реализоваться этому идеальному уровню безопасности. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике оказалось невозможным избежать использования ядерных технологий также и для создания ядерного оружия, что привело к гонке вооружений. При наличии ядерных арсеналов высокой степени боевой готовности неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который может создать неизбежный риск серьезных происшествий.

            В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать «принципиально непредсказуемую угрозу, в которой всегда есть элемент случайности» - (Schelling 1960).

7. Нечто непредвиденное 

            Нам необходима такая объединяющая категория. Было бы глупо верить, что мы уже придумали и спрогнозировали все значительные угрозы. Будущие технологические или научные открытия легко могут создать новые способы уничтожить мир.

            Некоторые предвидимые опасности (и, следовательно, не из этой категории), были исключены из списка Взрывов по причине того, что они кажутся слишком маловероятными причинами глобальной катастрофы, а именно: солнечные вспышки, сверхновые, взрывы и слияния черных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биоразнообразия, рост загрязнения воздуха, постепенная утрата человеческой способности размножаться, и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем «просветления» и совершим коллективное самоубийство или прекратим размножаться, как надеются сторонники VHEMT (Движение за добровольное вымирание человечества — The Voluntary Human Extinction Movement ) (Knight 2001), выглядят маловероятными. Если бы, действительно, лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе и как доказывал Артур Шопенгауэр (Schopenhauer 1891), хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий глобальной катастрофой. Предположение о том, что быть живым — неплохо, надо рассматривать как подразумеваемое предположение в определении Взрывов. Ошибочное всеобщее самоубийство является риском существованию, хотя его вероятность кажется чрезвычайно малой. (Больше на тему этики человеческого вымирания см. главу 4 из (Leslie 1996: 26).)

8. Катастрофы в результате физических экспериментов

            Тревоги конструкторов атомной бомбы из Манхэттенского проекта по поводу того, что взрыв приведет к возгоранию атмосферы, имеют современные аналоги.

            Были рассуждения о том, что эксперименты на будущих высокоэнергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в «подлинный» вакуум с меньшей энергетической плотностью (Coleman, Luccia 1980: 3305—3315). Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за ее пределы со скоростью света, раздирая всю материю на части по мере продвижения.

            Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные «странные частицы» (strangelets) (гипотетическая форма ядерной материи) или породить микроскопическую черную дыру, которая погрузится в центр Земли и начнет поглощать всю остальную планету (Dar et al. 1999: 142—148). Такие сценарии выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, состоит именно в том, что мы не знаем, что же на самом деле случится. Гораздо более убедительным доказательством является то, что плотности энергии, достигаемые на современных ускорителях, намного ниже тех, что встречаются в природе при столкновении космических лучей (Dar et al. 1999: 142—148; Turner, Wilczek 1982: 633—634). Возможно, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах.

            Основной причиной беспокойства в связи с «физическими катастрофами» является наблюдение мета-уровня о том, что открытия всех видов опасных физических феноменов происходят постоянно, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, все равно могут быть более реальные пути к катастрофе, ждущие своего открытия. Приведенные здесь — не более чем иллюстрации общего случая.

9. Естественно возникшее заболевание 

            Что, если СПИД был бы столь же заразен, как и простуда?

Есть несколько черт современного мира, которые могут сделать глобальную пандемию гораздо более вероятной, чем когда-либо раньше. Путешествия, торговля едой и жизнь в городах — все это значительно возросло в современное время, делая проще возможность для новой болезни быстро заразить большую часть населения Земли.

10. Столкновение с астероидом или кометой

            Есть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы (Morrison et al. 1994).

            Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3—6 км.) Было, по крайней мере, пять, а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями. (Leslie 1996: 81 f). В частности, вымирание динозавров 65 миллионов лет назад связывалось с падением астероида размером 10-15 км в диаметре на полуострове Юкатан. Считается, что тело 1 км или более в диаметре сталкивается с Землей в среднем раз в полмиллиона лет . Мы пока каталогизировали только малую часть потенциально опасных тел.

            Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой (Gold 1999).

11. Неудержимое глобальное потепление

            Есть сценарий, что высвобождение парниковых газов в атмосферу может оказаться процессом с сильной положительной обратной связью. Может быть, именно это случилось с Венерой, которая теперь имеет атмосферу из и температуру в 450°С. Надеюсь, однако, что у нас будут технологические средства для противодействия данной тенденции к тому моменту, когда это станет действительно опасно.