Почти каждый, кто хотя бы немного погружался в тему искусственного интеллекта, обязательно приходит к выводу, что искусственный интеллект либо нас приведет к ужасному апокалипсису, либо прямо к сказочной утопии. А вариантов промежуточных практически нет. Безусловно, это отчасти продиктовано тем фактом, что особенное внимание привлекают громкие лозунги – такие как «Конец уже близок!» или, например «Утопия грядет!». Но все же…

Отчасти сводится это к тому, как люди относятся к изменениям, особенно к изменениям масштабным. Миллениаризм никакого отношения не имеет к тому, чтобы родиться в 90-х, быть «миллениалом» и помнить сериал про победительницу вампиров Баффи. Это такой стиль мышления о будущем, связанный с глубоко укоренившимся ощущением судьбы. Миллениаризм — это «ожидание того, что наш мир будет уничтожен и заменен на мир совершенный и что появится искупитель, который повергнет все зло и сможет утешить праведников».

Соответственно, убеждения миллениалов  тесно связывают идеи творения и разрушения. Среди них — идеи апокалиптических, огромных,  сейсмических сдвигов, которые смогут уничтожить ткань старого мира и построить нечто совсем новое. Подобная система убеждений есть во многих крупных мировых религиях, и даже в не очень-то религиях агностиков и атеистов, которые верят в не в божественные сущности, а в технологии.

Взгляните, к примеру, как футурологи ожидают технологическую сингулярность. Как считает Рэй Курцвейл, сингулярность сродни созданию рая. Каждый окажется бессмертным, ведь появятся биотехнологии, которые смогут излечить наши болезни; а наши мозги можно будет загрузить в облако; страдания и неравенство пропадут как явления. «Разрушение мира» (destruction of the world) заменяется на любимый термин Кремниевой долины: disruption, то есть радикальное изменение отрасли. И, как это происходит в случае с другими тысячелетними убеждениями, ваш итоговый взгляд сильно зависит от того, чего вы ожидаете: рождения утопии или конца света.

Есть много очень хороших причин оставаться скептиком относительно подобного рода мышления. Самая убедительная из этих причин состоит, возможно, в том, что все убеждения миллениалов просто-напросто отражают само отношение людей к изменениям; просто поглядите, как много вырастало в мире вариаций данных убеждений.

Убеждения эти есть в аспектах христианского богословия, хоть и стали популярными в своей современной форме в девятнадцатом и двадцатом веках. Идеи, такие как Вечная скорбь, многих лет тягот и страданий, и Восхищения, когда праведники воскреснут, а зло будет наказано. После этих всех разрушений мир будет заново создан, или люди отправятся в рай.

Несмотря на догматический атеизм, в марксизме тоже было много похожих убеждений. Вопрос только лишь в отношении к истории. Точно так же, как верующие люди  ищут сигналы, которые смогут намекнуть на исполнение всех пророчеств, марксисты ищут знаки того, что мы находимся в финальной стадии капитализма. Они полагают, что общество деградирует и неизбежно выродится до самых низов — собственно, как думают и христиане.

Как утверждает марксизм, когда эксплуатация рабочего класса богатым будет неустойчивой, рабочий класс собирается и свергает угнетателя. «Скорбь» сменяется на «революцию». Порой революционные фигуры такие как Ленин или сам Маркса провозглашаются мессиями, которые приближают наступление Миллениума; их риторика всегда содержит призывы к разрушению старой системы, на развалинах которой «мы наш, мы новый мир построим». Праведные рабочие получат свое по праву, а злую буржуазию уничтожат.

Даже в норвежской мифологии имеется элемент такого, как отмечает Джеймс Хьюз в своем эссе в книге Ника Бострома «Глобальные катастрофические риски». В Рагнарок и люди, и боги терпят поражение в финальной апокалиптической битве, но поскольку все это немножечко мрачновато, скандинавы добавили идею появления новой земли, на которой выжившие будут жить в гармонии.

Судный день тоже стал культурным тропом. Взять древних египтян и их верования на тему загробной жизни; владыка подземного мира Осирис взвешивает сердце смертного вместе с пером. Если сердце умершего будет слишком отягощенным проступками, его съест демон и надежда на загробную жизнь исчезнет.

Вероятно, во время сингулярности произойдет нечто подобное. По мере того, как улучшаются наши технологии, а значит и наша сила, наши сердца, сердца людей, будут взвешены против перьев. Если они окажутся слишком тяжелыми — с глупостью, высокомерием, предубеждением, злом — мы провалим испытание и будем уничтожены. Но если мы пройдем и выйдем из сингулярности, нас ждет рай. Как и в других системах убеждений, здесь нет места для неверующих; все общество радикально изменится, хотите вы этого или нет. Технологическое восхищение.

Кажется, каждое серьезное развитие провоцирует подобный ответ. И ядерное оружие в том числе. Или это будет последней каплей и мы себя уничтожим, или ядерную энергию можно будет использовать для создания лучшего мира. На заре ядерной эпохи люди говорили об электричестве, «которое будет слишком дешевым, чтобы его считать». Ученые, работавшие над бомбой, думали часто, что с подобной разрушительной силой в руках людей мы будем просто обязаны собраться и работать сообща как вид. 

Когда мы видим один и тот же ответ, вновь и вновь, в разных обстоятельствах, возникающих в разных областях, будь то наука, политика или религия, нам необходимо учитывать человеческие предубеждения. Нам нравятся убеждения миллениалов, поэтому когда появляется идея искусственного интеллекта, который превзойдет человеческий, мы тут же накладываем знакомый шаблон.

Нам не нравятся факты. Нам не нравится информация. Мы не настолько рациональны, каковыми себя считаем. Мы создания нарратива. Физики наблюдают мир, и мы вплетаем собственные наблюдения в нарративные теории, истории о крошечных бильярдных шариках, которые летают тут и там и сталкиваются между собой, либо о пространстве и времени, которое изгибается, искривляется и расширяется. Историки пытаются наделить смыслом бесконечный поток событий. Мы обожаем истории: историями выложено наше прошлое, наше настоящее и они же готовят нас к будущему.

Нарратив миллениалов очень прекрасен и убедителен. Он приводит вас к социальным изменениям. Он может оправдать ваши повседневные страдания, если вы скорбите. Он дает вам надежду на то, что ваша жизнь важна и осмысленна. Он дает вам чувство развития вещей в определенном направлении, в соответствии с правилами, а не только в хаосе. Он обещает, что праведники будут спасены, а еретики наказаны, даже если на пути будут страдания. Наконец, нарратив миллениалов обещает рай в конце тоннеля.

Нам необходимо быть осторожнее с нарративом миллениалов, когда мы размышляем на тему технологического развития, сингулярности и экзистенциальных рисков. Мы много раз кричали «волки!», когда их не было. Возможно, и сейчас мир не стоит на грани катастрофы. Конечно, эта история не такая привлекательная. Конечно, всем хочется фееричного финала.

Но копните глубже — и вы поймете, что убеждения миллениалов не всегда самые перспективные, потому что они исключают человеческого агента из уравнения. Нам придется поверить в оттенки серого и отказаться от зловещих апокалипсисов с красноглазым ИИ и от сказочной утопии со всемогущим ИИ, который обожает людей.