Ник Бостром

    Благодаря ускорению технологического прогресса, человечество, возможно, быстро приближается к критической точке в своем развитии. В дополнение к хорошо известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызовами. В связи с быстро развивающимися технологиями нам нужно лучшее понимание динамики перехода от человеческого к «пост-человеческому» обществу. Особенно важно знать, где расположены ловушки: пути, на которых все может пойти смертельно неправильно.
    Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым всемирным опасностям, эта статья анализирует недавно появившуюся категорию: угрозы существованию (existential risks). Так мы называем риски событий, которые могут привести к нашему вымиранию или кардиальным образом повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, тогда как другие совершенно не замечаются. Угрозы существованию имеют ряд черт, которые делают обычное управление рисками в данном случае неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения данной проблемы. Более ясное понимание картины угроз позволит нам сформулировать лучшие стратегии.

    Жить опасно, и опасность находится повсюду. К счастью, не все риски одинаково серьезны. Для наших целей мы можем использовать три измерения для описания рисков: масштаб, интенсивность и вероятность. Под «масштабом» я имею в виду размер группы людей, подверженных риску. Под «интенсивностью» я имею в виду то, насколько большой вред будет причинен каждому индивидууму из группы. И под «вероятностью» я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода .

1. Типология рисков

Мы можем различить шесть качественно различных групп рисков в зависимости от их масштаба и интенсивности (таб.1). Третье измерение, вероятность, может быть наложено на эти два измерения. При прочих равных, риск является более серьезным, если он имеет значительную вероятность и если наши действия могут увеличить ее или уменьшить.
Масштаб / интенсивность: Переносимая интенсивность Смертельная интенсивность
глобальный Уменьшение озонового слоя Х
местный Экономический спад в стране Геноцид
личный Кража машины Смерть
    «Личный», «местный» или «глобальный» относится к размеру популяции, которая непосредственно подвергается воздействию; глобальный риск воздействует на все человечество (и на наших потомков). «Переносимая интенсивность риска» и «смертельная интенсивность » означает, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к большим разрушениям, но остается возможность восстановиться от повреждений или найти пути преодолеть негативные последствия. В противоположность ему, окончательный риск это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются таким образом, что радикально уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательным исходом может быть, например, смерть, необратимое серьезное повреждение мозга, или пожизненное тюремное заключение. Примером локального смертельного риска может быть геноцид, приводящий к уничтожению всего народа (что случилось с несколькими индийскими народностями). Другой пример — обращение в вечное рабство.

2. Риски существованию
В этой статье мы обсудим риски шестой категории, которая отмечена в таблице как Х. Это категория глобальных смертельных рисков. Я буду называть их угрозами существованию.
    Угрозы существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как «темные века», даже если они охватывают все общество, если они рано или поздно закончатся (хотя см. главу о «Визге» ниже). Сказать, что некий глобальный риск является переносимым, очевидно не означает сказать, что он является приемлемым или не очень серьезным. Мировая война с применением обычных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию переносимых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (С другой стороны, эти события будут местным смертельным риском для многих индивидуумов и для преследуемых этнических групп.)
    Я буду использовать следующее определение риска существованию:
Угроза существованию — это такой риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает ее потенциал.
    Угроза существованию — это такой риск, в котором человечество как целое находится под угрозой. Такие катастрофы имеют огромные негативные последствия для всего будущего земной цивилизации.

3. Уникальность проблемы угроз существованию

    Риски этой шестой категории появились недавно. Это одна из причин, по которой полезно выделить их в отдельную категорию. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, черной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для участников этих событий, с широкой точки зрения — с точки зрения всего человечества — даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.
За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), вероятно, не было значительных угроз существованию до середины 20 века, и определенно ни с одним из них мы не могли ничего сделать.
    Первой созданной человеком угрозой существованию была первая атомная бомба. В то время было некоторое беспокойство по поводу того, что взрыв запустит цепную реакцию посредством «поджигания» атмосферы. Хотя теперь мы знаем, что такой итог был физически невозможен, в то время это предположение соответствовало определению угрозы существованию. Чтобы нечто было риском, исходя из доступных знания и понимания, достаточно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса на то, чтобы случилось нечто плохое. Если мы не знаем, является ли что-то объективно рискованным, это является риском в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чем мы должны основывать наши решения . В любой момент мы должны использовать нашу наилучшую субъективную оценку того, каковы объективные факторы риска .

    Гораздо большая угроза существованию возникла одновременно с появлением арсеналов ядерного оружия в СССР и США. Полноценная ядерная война была возможна со значительной степенью вероятности и с последствиями, которые могли быть настолько устойчивыми, чтобы характеризоваться как глобальные и окончательные. Среди людей, лучше всего знакомых с информацией, доступной в то время, было распространено реальное беспокойство, что ядерный Армагеддон может случиться и что он может истребить наш вид или навсегда разрушить человеческую цивилизацию .Россия и США продолжают обладать огромными ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды создать большие арсеналы. Отметим, однако, что небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не является угрозой существованию, так как он не уничтожит человечество и не повредит необратимо человеческий потенциал. Такая война, однако, будет местным смертельным риском для тех городов, на которые будут нацелены удары.,. К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар — это только прелюдия к угрозам существованию в XXI веке.
Особая природа задач, возникающих благодаря угрозам существованию, может быть проиллюстрирована следующими замечаниями.

    Наш подход к угрозам существованию не может быть основан на методе проб и ошибок. Здесь нет возможности учиться на ошибках. Реактивный подход — смотреть, что случилось, ограничить ущерб и учиться на этом опыте — не работает. Скорее, мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать решительные превентивные меры и оплачивать их моральную и экономическую цену.
    Мы не можем с уверенностью полагаться на наши учреждения, моральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе нашего опыта управления другими типами рисков. Угрозы существованию — это другой зверь. Нам может быть трудно принимать их настолько серьезно, насколько они того заслуживают, поскольку мы никогда не сталкивались с такими катастрофами . Наша коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.
    Уменьшение угроз существованию является всеобщим общественным благом (Kaul, 1999) и по этой причине может быть недостаточно поставляемо рынком (Feldman, 1980). Угрозы существованию являются угрозой для каждого и могут требовать реакции на международном уровне. Уважение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших угроз существованию.
Если мы принимаем во внимание благополучие будущих поколений, то ущерб от угроз существованию умножается на еще один фактор, который зависит от того, учитываем ли мы и насколько будущую пользу (Caplin, Leahy 2000; Schelling 2000: 833—837).

    Удивительно, в виду неоспоримой важности темы, как мало систематической работы сделано в это области. Частично это объясняется тем, что наиболее серьезные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно начали понимать. Другой частью объяснения может быть неизбежно междисциплинарная и умозрительная природа предмета исследований. И отчасти, пренебрежение может быть объяснено нежеланием думать всерьез на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, но нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надежные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чем фокусировать наши усилия.

4. Классификация рисков существованию

    Мы будем использовать следующие 4 категории для классификации рисков существованию :
Взрывы (Bangs) — Возникшая на Земле разумная жизнь истребляется в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.
Сужения (Crunches) — Способность человечества развиться в постчеловечество необратимо повреждена , хотя люди продолжают каким-то образом жить.
Скрипы (Shrieks) — Некая форма постчеловечества будет достигнута, но это будет только чрезвычайно узкая доля спектра возможного и желаемого.
Всхлипы (Whimpers) — Постчеловеческая цивилизация возникает, но развивается в направлении, ведущем постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того уровня, который бы мог быть достигнут.
Вооруженные такой классификацией, мы можем начать анализировать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.

    Благодаря ускорению технологического прогресса, человечество, приближается к критической точке в своем развитии. В дополнение к известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее и то, будет ли у нас будущее, зависит от того, как мы справимся с этими вызовами. В связи с быстро развивающимися технологиями нам нужно лучшее понимание динамики перехода от человеческого к «пост-человеческому» обществу. Важно знать, где расположены ловушки: пути, на которых все может пойти смертельно неправильно.            
    Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым всемирным опасностям, эта статья анализирует недавно появившуюся категорию: угрозы существованию (existential risks). Так мы называем риски событий, которые могут привести к человеческому вымиранию или кардиальным образом повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, тогда как другие не замечаются. Угрозы существованию имеют ряд черт, которые делают обычное управление рисками в данном случае неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения данной проблемы. Более ясное понимание картины угроз позволит нам сформулировать главные стратегии.

    Жить опасно, и опасность повсюду. К счастью, не все риски одинаково серьезны. Для наших целей мы используем три измерения для описания рисков: масштаб, интенсивность и вероятность. Под «масштабом» я имею в виду размер группы людей, подверженных риску. Под «интенсивностью» я имею в виду то, насколько большой вред будет причинен каждому индивидууму из группы. И под «вероятностью» я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода.

5.Типология рисков
     Есть шесть групп рисков в зависимости от масштаба и интенсивности.
Масштаб / интенсивность :Переносимая интенсивность /Смертельная интенсивность

глобальный /Уменьшение озонового слоя , Х
местный /Экономический спад в стране, Геноцид
личный /Кража машины, Смерть

     Третье измерение, вероятность, можно наложить на эти два измерения. При прочих равных, риск серьезней, если он имеет значительную вероятность и если наши действия могут увеличить ее или уменьшить.
    «Личный», «местный» или «глобальный» относится к размеру популяции, которая непосредственно подвергается воздействию; глобальный риск воздействует на все человечество (и на потомков). «Переносимая интенсивность риска» и «смертельная интенсивность » означает, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к  разрушениям, но остается возможность восстановиться от повреждений или найти пути преодолеть негативные последствия. В противоположность ему, окончательный риск это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются таким образом, что  уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательным исходом станет смерть, необратимое серьезное повреждение мозга, или пожизненное тюремное заключение. Пример локального смертельного риска - геноцид, приводящий к уничтожению народа (что случилось с несколькими индийскими народностями). Другой пример — обращение в вечное рабство.