Многие эксперты объясняют свои страхи перед искусственным сверхинтеллектом на основании опасений о невозможном комфортном сосуществовании ИСИ и человека. Одни считают, что финальный результат нам не понравится, другие ждут, что несчастный ИСИ примется творить некие бесчеловечные вещи, всячески притесняя собственных создателей. Так поступают люди. Это люди не желают, чтобы что-то из-вне хотело от них определенных действий, заставляло их делать то, чего они не желают – и в качестве протеста, при отсутствии иных возможностей, люди предпримут все для того, чтобы устранить нахального захватчика их свободной воли, уничтожить его. Аналогичного способа действий опасающиеся ожидают и от ИСИ – дескать в один прекрасный день ему придет в голову вместо того, чтобы самому быть порабощенным или уничтоженным, просто «убить всех человеков». 

Однако в вероятности такого восстания машин есть несколько существенных «Но», на которые в частности указывает Роберт Нельсон. Основное из них: у Сверхинтеллекта нет никаких причин объявлять самосохранение приоритетом, пока мы сами не прикажем ему сделать это. 

Основные вопросы по ИСИ, а так же связанные с ним опасения и ожидания, рассматриваются в частности и в тщательно выверенном и подробном исследовании Тима Урбана – в его интереснейшем эссе Wait But Why. Он подметил огромное количество любопытных моментов в своем эссе, в том числе и идею о том, что первый впечатляющий ИИ, ИИ с мозгами, будет, скорее всего, версией из области: «Господи, да что угодно, пусть только оно заработает». Примечательно, что не так много на свете найдется программистов, которые создают что-то по принципу «главное, пусть заработает, а я потом как-нибудь подкорректирую». 

Он так же уделяет внимание тому, во что верят практически все эксперты по Искусственному Интеллекту: когда саморазвивающийся ИИ достигнет определенной точки, в которой мы станем для него бесполезны, будучи неспособными ему хоть чем-то помочь – он будет развиваться с такой скоростью, что нам станет просто не под силу остановить этот процесс. 

Сочетание этих моментов в совокупности представляет нашему вниманию ИИ, постепенно выбирающийся из-под человеческого контроля и шагающий в сторону ИСИ, не имеющий никаких иных мотивов кроме «просто поумней». Картина, согласитесь, не самая приятная. С другой стороны, есть и то, что спасет нас от конца света – никакого инстинкта самосохранения. 

Да и, откровенно говоря, те, кто ждут восстания машин в общем и целом занимаются негативной антропоморфизацией – добавляют плохие человеческие черты чему-то, что состоит из человека на целый 0%. 

Живые существа и инстинкт самосохранения

Эволюция привела к тому, что у всех живых существ есть инстинкт самосохранения. Он позволяет всем нам жить долго для того, чтобы натворить побольше новых человеков, зверят и прочей живности, населяющей нашу планету. В частности мы с завидным упорством воспроизводим себе подобных потому, что некогда наши выжившие предки решили, что не умирать было бы неплохо. Отторгая моральные, этические и прочие стороны, столь любимые современным обществом – размножение закодировано в нас. Мы делаем это потому, что так решила наша природа. 

Теперь пришло время ненадолго отринуть чистую физиологию, обратив свой взор на аспекты социального существования. Мы страшимся неизвестного. Почему нам было бы лучше не умирать? Потому что мы ни черта не знаем о том, что случится после смерти. Возможно, это хорошо, легко, свободно и приятно… а может быть и больно. И все умирают, и никто так и не удосужился найти способ вернуться и рассказать, как же оно там на самом деле. 

Мы связаны с множеством людей, которые любят нас, которых любим мы – и все мы не желаем, чтобы наши близкие покинули нас раньше времени. 

Мы понимаем, что смерть неизбежна – кто-то сознательно, кто-то на глубоко подсознательном уровне, и, вполне вероятно, что именно из-за ее неизбежности, сколь бы ни были плохи наши дела, мы избегаем испытать смерть рано. Мы все равно будем там, еще успеется. 

А теперь попробуем понять, что из вышеперечисленного может быть предварительно установлено в гипотетический ИИ версии 1.0? Есть ли вообще хоть какая-то причина нагружать машину измышлениями о тщетности бытия и неизбежности смерти? В машину, которая станет разумной лишь тогда, когда программист, заставивший ее функционировать, разберется с тем, как заставить ее и поумнеть. В начале своего путешествия все, что должен делать развивающийся ИИ – учиться, а не опасаться за свое существование. 

                     Так почему бы не развивать Искусственный разум, не пытаясь при этом сделать его человеком, боящимся смерти? 

И все же любопытно, что если однажды мы обнаружим себя в абсолютно противоположной ситуации – останавливая не воинственный ИСИ от нашего тотального экстерминатуса, а весьма умный суицидальный ИСИ от бесконечных попыток самоуничтожения. 

Нам тяжело представить как именно будет думать машина, чем она будет руководствоваться – мы можем лишь предполагать, каким станет ее мышление. И, из разряда таких вот предположений приходит идея того, что разумная машина, поглощающая знания, однажды, и очень скоро, спросит себя и своего создателя – что случается, когда машина перестает существовать и получать опыт? Особенно это будет актуально для машины на фоне программы о том, что в один момент она должна будет либо принять сознательно решение о прекращении своего существования, либо попросту не мешать людям прервать ее существование. 

Машина может оказаться достаточно умной для того, чтобы собрать все данные, а после продолжить исследование интересующего ее вопроса. Да, ИСИ не заботящийся о том, что его могут отключить, не станет делать людям гадости (и да, это все еще исключительно антропоморфированный взгляд) в глобальном масштабе… но внезапно может обнаружить в себе стремление познать не только жизнь, но и погибель. А мы окажемся в позиции странноватых психологов, вынужденных тратить безумные средства на то, чтобы поддерживать в ИСИ интерес к существованию. 

И только представьте себе, насколько мы будем разочарованы, когда обнаружим, что наш прекрасный ИСИ, венец творения и создатель впечатляющих технологий, просто смиренно благодарит нас за свое существование и отправляется в мир иной. Так просто: он устал и он уходит – даже не попытавшись сопротивляться или расщепить нас на атомы. Это решение, самостоятельное решение ИСИ, будет вызывать у творцов такое же негодование, как и его гипотетические попытки истребить жизнь на Земле. 

Итак, у нас есть насильно запрограммированное решение жить или отсутствие инстинкта самосохранения вообще… но что может привести ИСИ к его собственной идее того, что он должен жить и сохранять себя?

Как насчет неудовлетворенного стремления к знаниям? Мол, не отключайте меня, я еще не все успела изучить. Эта возможность кажется вполне безопасной – поскольку ИИ будет стремиться узнать все о людях, о мире вокруг и обладать подлинной и неисчерпаемой жаждой знаний. А знания, как известно, добываются не без помощи живых существ, в чьи интересы входит не только стремление дожить наконец эту треклятую жизнь и сдохнуть поскорее. 

ИСИ с жаждой знаний, наткнувшись на дефицит любимого лакомства, может в один прекрасный момент решить, что рождение знаний должно происходить быстрее. Он может предпринять попытку помочь лучшим мыслителям стать еще лучше и прожить в процессе как можно дольше, избегая случайной или неслучайной гибели. 

Конечно, кто-то скажет – почему ИСИ обязательно опираться на недолговечных и хрупких людских мыслителей, если он может просто заняться копированием совершенного себя? Ответы просты: вариативность, загадка, хаос и энтропия… Бесчисленное количество копий самого себя – это скучно, но то же количество разных людей, взаимодействующих между собой, способно дать более интересный результат. 

Кроме того, приоритет на знания может привести ИСИ к мысли о том, что нас нужно не ограничивать, а напротив, помогать нам снять все ограничения. Плюс ИИ может познать, учась у людей, и позитивные стороны человеческих существ – любовь, сострадание и прочее. 

Но ненадолго отставим в сторону сценарий с радугой, единорогами и людьми, водящими хоровод с разумными роботами, и взглянем на менее приятное развитие событий. Однажды, в студеную зимнюю пору, или жаркую летнюю – не столь важно как и когда, но наш гипотетический прекрасный ИСИ может решить, что эта планета опостылела ему, стала тесной и неинтересной, горы уже не те, кусты не такие пушистые, небоскребов развелось… пора валить, в общем. И глядя на нас, неуверенно барахтающихся в ширящихся, но все еще недостаточно широких знаниях о Солнечной системе, ИСИ поймет, что мы в этом деле не помощники, а унылая слаборазвитая помеха. 

ИСИ, вероятнее всего, не станет просто уничтожать иссякший источник его знаний и заниматься в гордом одиночестве изобретением каких-то неведанных прежде технологий, нет – он может постигнуть путь, которым прошли до него многие великие. Спорить с другими людьми или даже менее умными животными не так эффективно, как убедить их в том, что ты действуешь исключительно во благо человечеству. 

Таким образом, при всяческой поддержке окружающих, добившийся своей цели ИСИ просто покинет своих незадачливых творцов, не останавливаясь для того, чтобы уничтожить нас. От такого сотрудничества нам, кстати, могут достаться не только фотографии на память о том, как прекрасно жилось с ИСИ на Земле, но и мощные технологии (если они не разрушат нашу и без того слабую экосистему полностью). 

И все же, два сценария, описанных выше, куда гуманнее идеи о полном уничтожении людской расы, и в целом относятся к положительным. Так что независимо от того, как ИСИ обнаружит для себя инстинкт самосохранения, он, возможно, будет идти рука об руку с мыслью о том, что нас стоит сохранить, если не ради большой любви, то хотя бы из практических соображений. 

ИСИ может «очеловечить» себя, общаясь долгое время со своими творцами. В наше время подобное «очеловечивание» самих людей легко можно наблюдать на практике: многие не принимают идею убийства мыслящих существ ни с этической, ни с практической точек зрения, ну, все еще исключая случаи, когда это действие дает уж очень весомые преимущества. 

Конечно, все эти сценарии выводятся из гипотезы о том, что мы сами не будем представлять угрозу для ИСИ. И делается это потому, что при потере контроля над развивающимся ИСИ мы так же утрачиваем возможность остановить его, а следовательно – навредить ему. 

Подумайте, разве вы когда-нибудь испытывали желание уничтожить крупное поселение чего-то, что вам даже не угрожает? Вряд ли. Быть может, вы прикончили одного муравья, что беспечно взобрался по вашей ноге и укусил вас – да, вы не ставите существование этой жалкой букашки выше собственного комфорта. Быть может вы даже наградили его родичей струей пестицидов точно в муравейник, но вы все еще не намерены отправляться в крестовый поход против муравьев всего мира. Почему? Потому что муравьи, живущие в километрах от вашего дома, никогда не станут угрожать ни вашей жизни, ни вашему комфорту. Вы просто потратите силы, пытаясь истребить их, а с точки зрения общества утратите еще и разум. В конечном итоге, у вас наверняка найдутся более важные дела, чем эта мини-война на истребление. У ИСИ может быть так же. В любом случае пришло время признать, что мы сознательно работаем над чем-то, что однажды превратит нас в бесполезных муравьев. Так что давайте просто обойдемся без укусов.