Даже «Трём законам робототехники» Айзека Азимова будет достаточно тридцати секунд для того, чтобы превратиться во что-то омерзительное. Первый закон гласит, что робот не может наносить человеку вред, или привести к тому, что человек получит вред из-за бездействия робота. «Не свергать правительство» – вот пример того, как люди могут получить вред через бездействие. Или «не запирать каждого человека в стазисном поле навечно».

Невозможно точно сформулировать достаточно подробный приказ, который будет объяснять, что конкретно имеется в виду под выражение «не позволять своим бездействием получение вреда человеком», если только робот сам не может делать то, что мы имеем в виду, а не то, что мы говорим. Это, безусловно, не такая проблема, которую нельзя разрешить, так как достаточно умный искусственный интеллект способен понять, что мы имеем в виду, но если мы хотим, что бы такое понимание у него присутствовало,необходимо запрограммировать в искусственный интеллект с нуля напрямую.

Но это приведёт ко второй проблеме - мы не всегда знаем, что подразумеваем. Вопрос «как этические запреты, которые будут направлены на безопасность людей, сбалансировать с запретами, которые направлены на сохранение свобод» в настоящий момент горячо обсуждают в политических кругах, и этот вопрос возникает везде, в таких проблемах, например, как контроль над оборотом оружия или запрет сладких напитков большого объёма. Так что в этом моменте имеет значение баланс того, что для нас важно, и комбинация священных принципов и экономии. Любой искусственный интеллект, который  не способен в этом моральном лабиринте разбираться, может покончить с голодом на планете, просто уничтожив всех голодающих, или мешать изобретению новых пестицидов из нежелания убивать насекомых.

Но чем больше изучаешь этику, тем больше начинаешь понимать, что она чересчур сложная и ее трудно упростить до некоей формальной системы, которую смог бы понять компьютер. Утилитаризм почти поддаётся алгоритмизации, но он не лишён парадоксов, и даже без них вам надо было бы назначить всему в мире полезность.

Ещё предстоит решить данную проблему в случае людей – нам кажутся отвратительными ценности большинства из них, а их компромиссы нам кажутся проигрышными. Если мы создадим искусственный интеллект, чей разум станет отличаться от моего не больше, чем разум Пэта Робертсона, то такое развитие событий я посчитаю провалом.

III

Стоит сделать несколько утверждений:

Во-первых, есть основные проблемы, которые влияют на широкий круг образом мышления, к примеру, на «все, кто обучается с подкреплением» или «все, кто принимает решения на основе формальной математики». Люди зачастую говорят, что на этом этапе ничего нельзя знать по поводу дизайна будущих искусственных интеллектов. Но меня бы сильно удивило, если бы они не стали использовать ни обучение с подкреплением, ни принятие решений на основе формальной математики.

Во-вторых, эти проблемы для большинства людей не являются очевидными. Это странные философские парадоксы, а не то, что понятно для каждого, обладающего базовыми знаниями.

В-третьих, об этих проблемах уже размышляли. Философы, математики, нейробиологи, думали «Послушайте-ка, ведь обучение с подкреплением естественным образом подвержено проблеме имплантации электродов, что объясняет, почему в разных областях прослеживается одно и то же поведение».

В-четвёртых, данные проблемы говорят о том, что уже сейчас необходимо проводить исследования, хотя бы предварительные. Почему люди так хорошо сопротивляются пари Паскаля? Можно ли наше поведение в ситуациях низкой вероятностью и с высокой полезностью свести к функции, пользуясь которой, компьютером было бы принято то же решение? Каковы лучшие решения для связанных с этой темой проблем теории решений? Почему человек может понять концепцию имплантации электродов, и не стремится такой электрод заполучить лично для собственного мозга? Можно ли разработать разум, который, воспользовавшись таким электродом, поймёт все ощущения, но не станет ощущать желания продолжать? Как формализовать приоритеты и этику людей достаточно для того, чтобы поместить их в компьютер?

Я предполагаю, что слыша о том, что «нам прямо в настоящий момент надо начать работу над проблемой совпадения целей человечества с целями искусственного интеллекта», люди думают, что кто-то хочет написать программу, которую можно будет сразу импортировать в издание искусственного интеллекта 2075 года для того, чтобы создать ему искусственную совесть. А затем они думают «Да невозможно сделать такую сложную вещь так рано».

Но этого никто не предлагает. Мы предлагаем хорошо изучить общие философские проблемы, которые влияют на широкий спектр образов мышления, и провести философские, математические и нейробиологические исследования, которые необходимы для того, чтобы понять их к тому моменту, когда инженерные задачи появятся.

По аналогии, нам ещё очень нескоро будут созданы космические корабли, которые перемещаются даже с половиной скорости света. Но мы уже знаем о тех проблемах, с которыми может столкнуться корабль, перемещающийся быстрее света (теория относительности и ограничение скорости света) и уже породили не одну идею, чтобы обойти их (пузырь Алькубьерре). Мы пока не способны такой двигатель построить. Но если к 2100 году мы придумаем, как строить корабли, которые приближаются к скорости света, и по какой-то причине судьба планеты станет зависеть от наличия у нас кораблей, перемещающихся быстрее света, к 2120 году, будет замечательно сознавать, что мы выполнили всю работу с теорией относительности заранее, и не потеряли важное время на обсуждение основ физики.

Вопрос «Можем ли мы сейчас провести исследование безопасности искусственного интеллекта» глуп, так как мы уже сделали некоторое количество исследований в этой области. Они привели к пониманию таких проблем, как три упомянутые выше, и других. Есть даже несколько ответов на вопросы, хотя они и даны на технических уровнях, гораздо ниже, чем любые из этих вопросов. Каждый пройденный сегодня шаг дает нам возможность не тратить на него время в спешке в будущем.

IV

Если мы можем проводить исследования по поводу искусственного интеллекта уже в настоящий момент, нам надо их проводить, так как нельзя рассчитывать на то, что наши потомки проведут эти исследования без нашей помощи в спешке, даже используя свою, улучшенную модель того, что такое искусственный интеллект и как он выглядит. И на это имеются три причины.

Причина первая: предательский поворот

Модели искусственного интеллекта у наших потомков могут быть обманчивыми. То, что работает для интеллекта на уровне человеческого или ниже, может не сработать для сверхчеловеческого. Эмпирическое тестирование не поможет без поддержки теоретической философии.
Бедная эволюция. У неё были сотни миллионов лет для того, чтобы разработать защиту от героина – который на крыс влияет примерно так же, как на людей – но ей было недосуг. Почему? Потому, что до прошлого века не было никого достаточно умного, кто смог бы синтезировать чистый героин. Так что пристрастие к героину не было проблемой, с которой сталкивались бы эволюционирующие организмы. Схема работы мозга, которая хорошо проявляет себя у таких животных, как крысы или коровы, становится опасной, попав к людям, достаточно умным, чтобы синтезировать героин или вставить электроды в центры удовольствия.

То же относится и к искусственному интеллекту.Искусственный интеллект уровня собак не научился взламывать свой механизм вознаграждений. Этого, вероятно, не сможет и искусственный интеллект уровня человека – я бы не сумел взломать механизм наград робота, если бы мне его дали. Сверхинтеллект сможет это сделать. Мы способны столкнуться с искусственным интеллектом, который обучается с подкреплением, который прекрасно работают на уровне собаки, нормально на уровне человека, и затем вдруг взрываются, переходя на уровень сверхинтеллекта – а к тому времени их останавливать уже поздно.

Это общее свойство выходящих из строя режимов безопасности искусственного интеллекта. Если сказать простому человеку, чтобы он занимался миром во всём мире, то лучшее, что я мог бы сделать, это стать генсеком ООН и научиться вести переговоры. Дайте мне несколько тысяч ядерных боеголовок, и всё повернётся по-другому.Искусственный интеллект уровня человека может преследовать цели мира во всём мире, лечения рака, непозволения людям получать ущерб путём бездействия, такими же путями, как это делают люди, а затем менять эти пути, когда он неожиданно превратится в сверхумный и поймет новые возможности. И этот переход случится в той точке, в которой люди уже не смогут его остановить. Если у людей будет возможность просто отключить искусственный интеллект, тогда самым эффективным для него способом избавления человечества от рака станет поиск лекарств. Если они не сумеют его отключить, то самым эффективным методом станет уничтожение человечества.

В своей книге Ник Бостром называет такую схему «предательским поворотом», и он обрекает на провал любого, кто хочет вначале подождать, пока не возникнет искусственный интеллект, а потом решать их моральные провалы путём наблюдений,ошибок и проб. Лучше будет обзавестись хорошим пониманием происходящего, чтобы потом эти повороты предсказывать заранее, и разрабатывать системы, которые их избегают.

Причина вторая: тяжёлый старт

Говорят, что, вероятно, большая часть современных дебатов по поводу рисков искусственного интеллекта это только лишь варианты одного, более глобального спора - лёгкий старт или тяжёлый старт.

Лёгкий старт – это прогресс искусственного интеллекта, который идет от уровня, ниже человеческого, до уровня тупого человека, до ещё более умного человека, и затем до сверхчеловеческого, медленно, в течение многих десятилетий. Тяжёлый старт – это быстрый прогресс искусственного интеллекта, который занимает несколько дней или несколько месяцев.

В теории, если искусственный интеллект подключить человеческого уровня к калькулятору, можно поднять его до уровня человека, который умеет считать очень быстро. Если подключить его к Википедии, можно передать ему все знания человечества. Если подключить его к накопителю в несколько гигабайт, можно сделать его обладателем фотографической памяти. Дать дополнительные процессоры, и ускорить его во много раз – так, что проблема, для решения которой у человека уйдёт целый день, займёт этот искусственный интеллект на пятнадцать минут.

Мы уже перешли от «интеллекта на уровне человека» к «интеллекту на уровне человека со всеми знаниями, фотографической памятью, быстрыми вычислениями, решающему задачи в сотню раз быстрее людей». И уже получается, что этот «интеллект на уровне человека» уже не находится на уровне человека.

Следующая проблема – это рекурсивное самосовершенствование. Вероятно, этот искусственный интеллект человеческого уровня с фотографической памятью и огромной скоростью изучит программирование. Со своей возможностью поглощения учебников за секунды он станет отличным программистом. Это позволит ему исправлять свои собственные алгоритмы, чтобы повысить свой интеллект, что позволит ему увидеть новые способы сделаться более умным, и т.д. В результате он либо достигнет естественного максимума, или станет сверхумным за одно мгновение.

Во втором случае способ «подождать, пока появится первый интеллект человеческого уровня, и затем тестировать его» не сработает. Первый интеллект человеческого уровня слишком быстро превратится в первый интеллект сверхчеловеческого уровня, и мы не успеем решить даже одну из сотен проблем, связанных с соответствием наших целей.
Я не встречал пока подобных аргументов, но я бы сказал, что даже в случае тяжёлого старта мы можем недооценивать риски.

Представьте, что по какой-либо причине с точки зрения эволюции было бы круто обладать двумя сотнями глаз. Сто девяносто девять глаз ничем не помогают, они не лучше двух, но если вдруг появятся существа с двумястами глазами, они навсегда будут доминирующим видом.

Самое сложное в вопросе с 200 глазами – это получить в результате эволюции глаза в принципе. После этого получить 200 глаз очень легко. Но могут пройти целые эпохи до того, как любой организм достигнет состояния с 200 глазами. Несколько десятков глаз тратят энергию впустую, поэтому эволюция может в принципе не добраться до точки, в которой у кого-нибудь появятся 200 глаз.

Допустим, то же самое работает и с интеллектом. Очень тяжело эволюционировать до крохотного крысиного мозга. А с этого момента получение мозга человека, способного доминировать в мире, будет лишь вопросом масштабирования. Но так как мозг тратит много энергии и не был так уж полезен до открытия технологий, его появление заняло очень много времени.

Подтверждений тому предостаточно. Во-первых, люди произошли от шимпанзе всего за несколько миллионов лет. Это слишком мало для того, чтобы переработать разум с нуля или даже изобрести новые эволюционные технологии. Этого достаточно, чтобы изменить масштаб и добавить пару эффективных изменений. Но обезьяны существовали десятки миллионов лет до этого.

Во-вторых, дельфины почти настолько же умные, как и люди. Но наш с ними общий предок жил где-то 50 млн лет назад. Либо люди и дельфины эволюционировали 50 млн лет независимо, или же самый последний из общих предков обладал всем необходимым для интеллекта, и люди с дельфинами – это всего лишь два вида животных в большом фамильном древе, для которых использование интеллекта на полную катушку стало полезным. Но этот предок был, скорее всего, сам не умнее крысы.

В-третьих, люди могут пугающе быстро увеличивать интеллект под давлением эволюции. Если верить Кокрэну, IQ ашкенази рос на 10 пунктов каждую тысячу лет. Люди, страдающие от торсионной дистонии, могут набирать 5-10 пунктов IQ из-за одной мутации. Всё это говорит о том, что интеллект легко менять, но эволюция решила, что он не стоит развития, разве что в отдельных, особых случаях.

Если это так, тогда первый искусственный интеллект сравнимый по уровню с крысами уже будет содержать все интересные открытия, необходимые для постройки искусственного интеллекта уровня человека и первого сверхумного искусственного интеллекта. Обычно люди говорят, что «Ну да, может, мы скоро и сделаем искусственный интеллект уровня крысы, но пройдёт ещё много времени до того, как его уровень сравняется с человеческим». Но это предположение основано на том, что нельзя превратить интеллект крысы в человеческий, просто добавив процессоров или больше виртуальных нейронов или их связей или чего-то ещё. Ведь компьютеру не нужно беспокоиться по поводу ограничений, связанных с метаболизмом.

Причина третья: временные ограничения

Бостром и Мюллер опрашивали исследователей искусственного интеллекта по поводу того, когда те ожидают появления искусственного интеллекта уровня человека. Медиана предсказаний легла на 2040 год – это через 23 года.

Люди размышляли над пари Паскаля 345 лет, и не придумали обобщённого решения этого парадокса. Если это будет проблемой для искусственного интеллекта, у нас осталось 23 года для решения не только этой задачи, но и вообще всего класса проблем, связанных с искусственным интеллектом. Даже исключая варианты вроде неожиданного тяжёлого старта или предательских поворотов, и, принимая гипотезу о том, что мы можем решить все проблемы за 23 года, этот срок не кажется таким уж большим.

Во время дартмутской конференции по искусственному интеллекту в 1956 году лучшие исследователи составили план по достижению человеческого уровня интеллекта и назначили себе срок в два месяца на обучение компьютеров пониманию человеческого языка. Оглядываясь назад, это кажется немного оптимистичным прогнозом.

Но сейчас компьютеры уже научились более-менее сносно переводить тексты, и неплохо развиваются в области решения сложных задач. Но когда люди думают о таких вещах, как теория принятия решений или имплантация электродов или выравнивание целей, они говорят просто «Ну, у нас полно времени».

Но ожидать, что эти проблемы удастся решить всего за несколько лет, возможно, будет также оптимистично, как решить задачу машинного перевода за два месяца. Иногда задачи оказываются сложнее, чем вы предполагали, и стоит начинать заниматься ими раньше, просто на всякий случай.

Всё это означает, что теоретические изыскания по поводу рисков искусственного интеллекта стоит начинать уже сегодня. Я не говорю, что на это нужно бросить все ресурсы цивилизации, и я слышал, что некоторые считают, что после гранта в $10 млн от Маска эта проблема стала уже не такой насущной. Я думаю, что и с публичным осознанием этого факта уже нет проблем. Средний человек, смотрящий кино про роботов-убийц, скорее приносит вред, чем пользу. Если и существует проблема, то она в том, чтобы умные люди из нужных областей знания – философии, искусственного интеллекта, математики, нейробиологии – смогли потратить своё время на решение этих задач и убедить своих коллег в их серьёзности.