Возможные социальные и философские последствия

Разговор на данную тему, скорее, следует начать с рассмотрения того, какой сдвиг в наших взглядах на разумную жизнь во вселенной подразумевает постбиологический подход к исследованию космоса. Размышляя о встрече с продвинутым внеземным интеллектом, мы обычно себе представляем существа, биологические свойства которых сильно отличаются от наших. Как говорит постбиологический подход, в ходе подобных размышлений может понадобиться перенести центр нашего внимания с особенностей внеземной биологии на вычислительные способности продвинутых искусственных интеллектов. Кроме того, пытаясь понять постбиологический интеллект, нам надо чётко осознавать, что, возможно, мы размышляем не только об инопланетянах, но и о природе наших собственных потомков, так как возможна трансформация человеческого интеллекта в постбиологический. В сущности, граница между «нами» и «ими» оказывается всё более расплывчатой, и наше внимание от биологии уходит к очень сложной задаче понимания вычислений и поведения существ, которые станут сильно более развитыми, чем мы.
А если это так, какое влияние на общество окажет обнаружение где-то во вселенной существ намного более разумных, чем мы и являющихся формами сверхразумного искусственного интеллекта и, стало быть, не являющихся биологическими? Многое, безусловно, сильно зависит от конкретных обстоятельств, в которых это открытие произойдёт. Предсказать их сложно, но, кажется, мы не ошибёмся, если выскажем следующее предположение: установление того, что высший разум развился за пределами биологической жизни и стал синтетическим, должно произвести эффект холодного душа. В данном случае возникает неизбежный вопрос: формы сверхразумного искусственного интеллекта, включая наших возможных постбиологических потомков, — это личности или только лишь неразумные машины? Есть ли у подобных существ внутренняя жизнь? Чувствуют ли они каким-то образом самих себя, изнутри?
Футурист Рэй Курцвейл, который сейчас занимает должность технического директора компании «Google», изложил сценарии, в которых в конечном итоге человечество сливается с машинами. Курцвейл считает, что, выйдя за пределы биологического существования, люди достигнут более высокого уровня сознания, смогут избавиться от пут биологического старения и, постепенно, превратятся в формы сверхразумного искусственного интеллекта. С данной точки зрения, формы сверхразумного искусственного интеллекта сознательны, они — личности, имеющие свои интересы и развитую способность оценивать мир. В отличие от Курцвейла с его довольно утопическим мировоззрением, исследователи, которые пишут на тему сверхразумного искусственного интеллекта в рамках астробиологии, не обсуждают ценность постбиологического существования.
Я считаю, что вопрос о сознательности сверхразумного искусственного интеллекта ключевой при выяснении того, как необходимо относиться к постбиологическому существованию. Сверхразумный искусственный интеллект может представлять собой изощрённую систему обработки информации, превосходить человека в любой сфере познания, но если он, как любой искусственный интеллект, не может чувствовать, трудно считать, что он имеет точно такую же ценность, как сознающее существо — я или личность. Сознание выступает в данном случае в качестве философского краеугольного камня. Как я полагаю, самость (я) или личность без него немыслимы, так что очень  важно уточнить, что собой представляет сознание. Вдумайтесь: в каждое мгновение вашего бодрствования и в каждое мгновение вашего сновидения есть что-то, чьи ощущения претендуют на то, чтобы быть вами. Когда вы видите тёплые оттенки заката или слышите шум кофеварки эспрессо, у вас есть опыт осознания. Этот опыт включает в себя все формы осознания: например, чувственный опыт, идеи и эмоции. А теперь зададимся вопросом: может ли искусственный интеллект быть сознающим, как считают Курцвейл и другие? Я рассуждала на эту тему в более ранней астробиологической статье, но с тех пор у меня появились два новых соображения, которые сделали меня более консервативной и гасят мой прежний оптимизм в отношении машинного сознания.
Во-первых, нам известно, что некоторые биологические существа, по меньшей мере, могут сознавать что-то. Так как каждый из нас может в себя заглянуть и сказать: «Я сознаю» — прямо сейчас вы можете утверждать, что вы переживаете мир, накапливая опыт. И многие из нас считают, что у животных тоже имеется сознание, так как есть с нами нейрофизиологическое сходство. Но как мы можем узнать, умеют ли машины, состоящие из компьютерных чипов, переживать — совсем иная материя, по сравнению с нами?
Философы считают часто, что при наличии изоморфности в плане способности обеспечивать обработку информации разные субстраты станут функционировать совсем одинаково даже тогда, когда дело касается сознания. Но в ряде важных аспектов углерод и кремний сильно друг от друга отличаются. Прежде всего, не понятно, изоморфны ли они в отношении обработки информации, так как кремниевая обработка намного надёжнее и быстрее нейронной. Во-вторых, надо учесть, что углерод и кремний обладают различной молекулярной структурой. По сравнению с кремнием, молекулы углерода образуют более прочные, более стабильные химические связи. Это углероду даёт возможность создавать очень много соединений. Кроме того, в отличие от кремния, углерод имеет способность образовывать легко двойные связи. Указанные различия обладают большим значением. Исходя из них, астробиологи пришли к выводу, что самый подходящий элемент для развития жизни во вселенной это углерод, а некремний. Если химические различия между кремнием и углеродом влияют на саму жизнь, не стоит исключать, что данные различия влияют и на такую ключевую функцию, как способность порождать сознание. Это не тот аргумент, который создаёт в одиночку прочный фундамент для биологического натурализма, который не признает того, что машины могут иметь сознание, но это тот аргумент, который указывает на отсутствие в вопросе о машинном сознании ясности.
Если кремний не может служить основой для сознания, то суперинтеллектуальные машины — машины, которые могут однажды отбросить на обочину человечество, — станут демонстрировать намного более совершенную, чем у людей, форму интеллекта, но, кроме того, — совершенное отсутствие внутреннего опыта. Как поразительная женщина-андроид в фильме ExMachina убедила главного героя, Калеба, что она в него влюблена, точно так же умный искусственный интеллект способен убедительно имитировать наличие у него сознательности при полном её отсутствии. Более того, в этом аспекте совсем неважно, является ли сверхразумный искусственный интеллект БИСИ, который имеет архитектуру,сходную с человеческой когнитивную, включая глобальную рабочую область. Проявляя в данной области активность, похожую на сознательную деятельность человека, БИСИ, изготовленный из субстрата, не способного порождать сознание, не будет обладать никаким жизненным опытом.
И всё же предположим, что микрочипы это подходящий материал для сознания. Но тут возникает ещё одна проблема. Даже если микрочипы — это подходящий материал, суперинтеллект, чтобы максимально эффективно осуществлять обработку информации, может исключить из этого процесса сознание. Стоит вспомнить, как человеческое сознание работает. В любой момент времени в поле его действия пребывает очень незначительный процент умственной деятельности. Сознание занимается задачами приобретения новых навыков, требующими концентрации. Вспомните, какая сосредоточенность понадобилась вам, когда вы, к примеру, учились водить машину. А суперинтеллект в любой сфере деятельности превзойдёт уровень экспертов, стремительно рыская по базам данных, которые могут включать в себя весь интернет и охватывать всю планету. Что будет неизведанным для него? Что потребует неспешной, вдумчивой сосредоточенности? Разве он не будет освоившим всё, что можно освоить?
Чтобы узнать, обладает ли суперинтеллектуальное существо сознанием, мы должны детально изучить внутреннюю организацию конкретного СИИ, и это может оказаться исключительно трудной задачей, особенно если сверхразумный искусственный интеллект не является БИСИ или более развит, чем ранний сверхразумный искусственный интеллект. Кроме того, хотя мы можем ожидать наличие у БИСИ определённых когнитивных способностей, таких как способность создавать комбинаторные представления, определить, есть ли у такого существа сознание, было бы чрезвычайно сложно, так как потребовалось бы тщательно изучить всю архитектуру этой машины. Простейший случай — встреча с ранним суперинтеллектом, который является БИСИ. Тут мы могли бы сказать, что у него есть глобальная рабочая область. Но вот беда: рабочая область суперинтеллекта может не коррелировать с сознанием. Предположим, что сверхразумный искусственный интеллектимеет систему, которую можно подвергнуть функциональной декомпозиции, что он обладает способностью создавать комбинаторные представления, а также другими когнитивными способностями, о которых я упоминала. Однако через короткий интервал времени его строение может быстро превратиться в систему, недоступную для человеческого понимания. Сознание, по-видимому, зависит от сложного взаимодействия разнообразных когнитивных и перцептивных функций. И как мы сможем определить, является ли обработка информации сознательной, если организация искусственного интеллектастанет совершенно непохожей на организацию головного мозга человека и животных?
В общем, нам необходимо определить, могут сверхразумные искусственные интеллекты быть сознательными и, если могут, в каком случае. А сделать это трудно. Особенно трудно иметь дело с продвинутым суперинтеллектом, который не является БИСИ. Для решения этой задачи людям может понадобиться значительно усовершенствовать свой интеллект.
Вопрос о наличии у  искусственного интеллектасознания имеет большое значение, если надо определить, можно ли данный интеллект квалифицировать как я или личность. При контакте с сверхразумным искусственным интеллектом, земным или инопланетным, этот вопрос, по-видимому, приобретёт остросоциальный характер. Сначала рассмотрим, что произойдёт в том случае, когда сверхразумный искусственный интеллект создан людьми. Как уже упоминалось, есть мнение, что следующим этапом в эволюции земного интеллекта станут машины. Отметим, что, если у машинного суперинтеллекта, как и у любого искусственного интеллекта, отсутствует способность чувствовать, нам следует задаться вопросом: пусть даже машинный интеллект не будет с нами воевать и мирно ассимилирует человечество, хотим ли мы сыграть роль простого промежуточного шага к  искусственного интеллекта? В экстремальном, ужасном случае люди станут постбиологическими, сольются с машинами, и только животные смогут почувствовать свет озарения, муки горя или тёплые оттенки восхода. Это было бы безмерной потерей, которую не компенсировать чистой прибылью в плане интеллектуального развития. Таким образом, вопрос о том, способен ли искусственный интеллект  обладать сознанием, может иметь прямое отношение к нашему будущему и от ответа на него зависит наше отношение к суперинтеллекту.
В наше время утверждать, что искусственный интеллект обладает или не обладает сознанием, опрометчиво: и то и другое может оказаться ошибкой. Её этическая цена высока: допустить, например, что формы искусственного интеллектане способны иметь сознание, значит позволить совершать против них тяжкие преступления.
С учётом сказанного, рассмотрим теперь возможный контакт с внеземным сверхразумным искусственным интеллектом. Здесь вполне естественно спросить, развивается ли биологический интеллект в сторону постбиологического, как утверждают сторонники теории постбиологического космоса. Если да и если искусственный интеллектне имеет сознания, у многих это может вызвать тревогу. Даже если вселенная заполнена невероятно развитыми формами искусственного интеллекта, с чего бы это бессознательные машины будут так же, как и мы, ценить сознающий биологический интеллект? Бессознательные машины не могут переживать мир — у них ничего подобного нет.
Итак, то, как мы отреагируем на открытие сверхразумного искусственного интеллекта, зависит от того, как будет решена проблема машинного сознания. И хотя я предпочитаю не высказываться от имени мировых религий, дискуссии по вопросам религиозных исследований и теологии в Центре теологических исследований с моими коллегами, в основном христианами, которые, как и я, участвуют в финансируемом НАСА астробиологическом проекте, позволяют мне утверждать следующее: многие не согласятся с тем, что сверхразумные искусственные интеллекты имеют души или сотворены по образу Бога, и даже с тем, что они сознающие существа. Папа Франциск недавно сказал, что будет крестить инопланетянина. Но интересно, какова будет его реакция, если его попросят крестить сверхразумный искусственный интеллект, не говоря уже об искусственном интеллекте, не имеющем сознания.
Безусловно, возникнут и другие проблемы. Позвольте мне затронуть одну из них, имеющую прямое отношение к моей дисциплине — философии ума. Учитывая разнообразие возможных интеллектов, нельзя не задаться интригующим вопросом: могут ли существа с различными сенсорными модальностями мыслить, как люди, или подобным образом? Как водится, в философии ума по данному вопросу идут дискуссии. Современные неоэмпиристы, такие как философ Джесси Принц, утверждают, что все понятия зависят от той или иной модальности, так как представлены в особом сенсорном формате, например, в формате зрения. Если он прав, понять мышление существ, имеющих сенсорный опыт, существенно отличающийся от нашего, не просто. Но я сильно сомневаюсь, что в этом плане возникнут серьёзные трудности. Вспомним, например, мой комментарий насчёт независящих от точки зрения представлений. При более высоком уровне обработки информация, по-видимому, становится менее зависимой от точки зрения. Точно так же она становится менее зависимой от модальности, как при обработке в нашем головном мозге: информация восходит от определённых сенсорных модальностей к ассоциативным зонам мозга и в распоряжение рабочей памяти и внимания попадает в более нейтральном формате.
Впрочем, это дело тонкое и заслуживает более длительного разговора. Вопросы, связанные с данной темой, рассмотрены в моей монографии «Язык мысли». Здесь я стремилась выяснить, является ли мышление независимым от природы наших перцептивных модальностей и появилось ли оно раньше языка, на котором мы говорим. В своих суждениях я опиралась на новаторскую работу Джерри Фодора. Что касается сверхразумного искусственного интеллекта, то тут возникает интересный вопрос: если существует внутренний ментальный язык, независящий от сенсорных модальностей и имеющий вышеупомянутую комбинаторную структуру, не станет ли он фундаментом общения при встрече с другими существами, обладающими развитым интеллектом? Многое из того, о чём говорится в моей монографии, относится и к разумной биологической жизни на других планетах. Кроме того, этот материал может оказаться весьма полезным для исследования развития сверхразумного искусственного интеллекта на Земле.