Компьютерный ученый Кристоф Солдж хочет устранить необходимость в правилах, управляющих поведением роботов. Его стратегия состоит в том, чтобы дать роботам цель: сделать нас более могущественными. Кристоф работает в Game Innovation Lab при Нью-Йоркском университете. В этом интервью Кристоф рассказывает, что, возможно, нам совсем не стоит пытаться удержать неудержимый поток технологической сингулярности.
Три знаменитых закона робототехники Айзека Азимова — ограничения поведения автоматов и андроидов, которые требуются для обеспечения безопасности человечества —  тоже были незавершенными. Данные законы вначале появились в 1942 годув одном из рассказов Азимова, а потом в его классических работах вроде «Я, робот» и звучат они примерно таким образом:
1.    Робот не может причинить человеку вред или допустить своим бездействием, чтобы вред был причинен человеку.
2.    Робот должен подчиняться приказам, которые отдают ему люди, если эти приказы не противоречат Первому Закону.
3.    Робот должен защищать свое существование, если данная защита не противоречит Первому Закону или Второму Закону.
В данных законах можно найти много лазеек и противоречий (чем, собственно, и сам Азимов пользовался). В наше время продвинутого программного обеспечения с автономной робототехникой и машинным обучением, определение и внедрение железной этики искусственного интеллекта оказалось актуальной проблемой для таких организаций, как OpenAIи Институт исследований машинного интеллекта.
Кристоф Солджвыбрал другой подход. Вместо того чтобы навязывать«сверху-вниз» философские определения того, как должны или не должны искусственные агенты вести себя, Солдж и его коллега Даниэль Полани исследуют путь «снизу-вверх», или «что робот должен делать в первую очередь», как они написали в своей статье «Расширение прав как замена трем законам робототехники».
«Расширение прав», концепция, которая была рождена на стыке психологии и кибернетики, описывает внутреннюю мотивацию агента к одновременному сопротивлению и работе в условиях окружающей среды. «Как организм, он хочет выжить. Он хочет оставить след в мире», рассказывает Солдж. Пылесос Roomba, который запрограммирован при разрядке батарей на поиск зарядной станции, — это рудиментарный пример «расширенных прав»: для того, чтобы продолжать функционировать в мире, ему требуется получить заряд и продолжить собственное существование, иными словами, выжить.
Расширение прав способно прозвучать как рецепт для получения того самого результата, которого так боятся сторонники безопасного искусственного интеллекта, например, Ник Бостром: это мощная автономная система, обеспокоеннаялишь удовлетворением своих интересов и в процессе этого сходящей с ума. Но Солдж, который изучает человеко-машинные социальные взаимодействия, спрашивает: что произойдет, если агент с расширенными правами «также будет заниматься расширением прав другого?Необходимо, чтобы робот не просто хотел оставаться в рабочем состоянии — необходимо, чтобы он хотел также поддерживать своего человеческого партнера».
Полании Солджпришли к выводу, что теория информации предлагает способ воплотить данное взаимное расширение в математическую базу, которую не-философствующий искусственный агент возьмет на вооружение. «Одним из недостатков трех законов робототехники - то, что они основаны на языке, а язык в высокой степени двусмысленный», рассказывает Солдж. «Мы пытаемся найти что-то, что на самом деле будет можно исполнить».

Некоторые технологи полагают, что искусственный интеллект — это очень большая, даже, можно сказать, катастрофическая угроза существованию людей. А вы?

Я воздержусь. То есть, я правда думаю, что в настоящий момент есть страх перед роботами и возрастающим влиянием искусственного интеллекта. Но, полагаю, в краткосрочной перспективе мыбудем, скорее всего, больше озабочены вероятной переменой рабочих мест и процесса принятия решений, потерей демократии, утратой конфиденциальности. Не знаю, насколько вероятно, чтов ближайшее время появится неудержимый искусственный интеллект. Но даже если искусственный интеллект станет контролировать систему здравоохранения и выдавать рецепты, нам надо подумать об этических вопросах, которые возникают в процессе его работы.

Каким образом концепция расширения прав нам поможет справиться с данными проблемами?

Я считаю, что идея расширения прав заполняет нишу. Она не даст агенту позволить человеку умереть, но как только вы сумеетена этом порогеудержаться, она станет поддерживать намерение создавать дополнительные возможности для выражения человека и воздействия на мир. В одной из книг Азимова роботы просто в конечном итоге всех людей поместят в безопасные контейнеры. Это было бы очень нежелательным. Если наша способность воздействовать на мир станет все время улучшаться, я считаю, это будет цель, намного более интересная для достижения.
Вы проверяли свои идеи виртуальных агентов в видеоигровой среде. Что случилось?

Агент, который мотивирован своими расширенными правами, не свалится в яму и уклонится от снаряда, в общем, избежит любой ситуации, которая может его привести к смерти, утрате мобильности или повреждению таким образом, чтобы уменьшить его операциональность. Он будет просто держаться.
В связке с игроком-человеком, который также наделен расширенными правами, мы увидели, что виртуальный робот станет поддерживать определенную дистанцию, чтобы не препятствовать движению человека. Он не заблокирует вас, не встанет на проходе, чтобы вы не могли пройти. Он станет держаться максимально близко к вам, чтобы иметь возможность помочь. Это приводит к поведению, при котором он может и брать инициативу, и следовать за чужой.
Например, мы создали сценарий, в котором у нас был лазерный барьер, который опасен для человека, но безопасен для робота. Если в этой игре человек приближается к лазерам, у робота возникает больше стимулов для блокировки лазера. Стимул усиливается, когда человек становится прямо перед барьером, словно намереваясь его пересечь. И робот фактически блокирует лазер, становясь перед человеком.

Проявляли ли данные агенты какое-то непреднамеренное поведение, подобное тому, что вытекает из трех законов в книге Азимова?

Сначала поведение было хорошим. К примеру, виртуальный робот перехватывал противников, которые вас пытались убить. Время от времени он мог прыгнуть под пулю, если это было единственным способом васспасти. Но что нас удивило особенно, с самого начала, что он также очень боялся человека.
Причина этого связана с его «близорукой» моделью: он,по сути, анализирует, как последовательности определенных действий в 2-3 шага могут повлиять на мир, как для вас, так и для него. Поэтому первым шагом мы запрограммировали то, что игрок действует случайным образом. Но на практике это вылилось в то, что агент относился к человеку как ксвоего рода психопату, который мог, к примеру, в любой момент временивыстрелить в агента. Поэтому агенту приходилось очень и очень осторожно выбирать положения, при которых человек не мог его убить.
Нам необходимо было исправитьэто, поэтому мы смоделировали так называемое предположение о доверии. По сути, компаньон-агент действует, исходя из предположения, что человек станет выбирать только те действия, которые не станут ограничивать расширенные права самого агента — пожалуй, это более подходящая для компаньона модель.
Мы также заметили, что если в игре у вас было, скажем, десять очков здоровья, компаньон не особо переживал, если вы теряли восемь или девять этих очков — он мог даже выстрелить в вас разочек, просто шутки ради. И тогда мы поняли, что есть разрыв между миром, в котором мы живем, и моделью в компьютерной игре. Как только мы смоделировали ограничения способности, вызванные потерей здоровья, проблема исчезла. Ее также можно было решить, создав не такую близорукую модель, которая могла бы просчитывать действия еще на пару шагов в будущее. Если бы агент мог заглянуть дальше в будущее, он увидел бы, что иметь больше очков здоровья может быть полезным для будущих событий.
Принимая во внимание, что смена количества очков здоровья никак на сказывается на моих расширенных правах, агент решает: «Стреляю я в него, не стреляю — какая разница?». И иногда стреляет. Что, конечно, является проблемой. Я не хочу случайных выстрелов в игроков. Мы добавили исправление, чтобы виртуальный робот чуть больше беспокоился о вашем состоянии, чем о своем.

Как вы делаете эти концепции точными?

Если рассматривать агентов как системы управления, их можно разложить на информационные составляющие: в мире что-то происходят и так или иначе тебя касается. Мы говорим об информации не как о вещах, которые вы воспринимаете, а как о воздействиях любого рода — это может быть вещество, что-то протекающее между миром и вами. Может быть питательные вещества или температура в вашем теле. Любая вещь, которая пересекает границу между миром и агентом, переносит в себе информацию. Точно так же агент может влиять на внешний мир самыми разными способами, также выводя в него информацию.
Можно этот поток рассматривать как пропускную способность канала, это концепция из теории информации. Вы можете иметьрасширенные права, широкие полномочия, если вы можете предпринимать разные действия, приводящие к разным результатам. Если что-то пойдет не так, вы своих полномочий лишитесь, так как утрата способности соответствует количественному уменьшению пропускной способности канала между вами и окружающей средой. Это главная идея.

Сколько агент должен знать, чтобы его расширенные полномочия действовали в полной мере?

Расширенные права имеют преимущества в том, что их можно применять даже в тот момент, когда вы не обладаете полным знанием. Агент действительно нуждается в модели того, как его действия будут влиять на мир, но ему не нужно полное понимание мира и всех его тонкостей. В отличие от некоторых подходов, которые пытаются смоделировать все в мире, насколько это возможно, в нашем случае нужно лишь выяснить, как ваши действия влияют на ваше же восприятие. Не нужно узнавать все обо всем; нужен лишь агент, который исследует мир. Он что-то делает и пытается понять, как его действия влияют на мир. Модель растет, а агент все лучше и лучше понимает, куда простираются границы его полномочий.

Вы проверяли его в виртуальной среде. Почему не в реальном мире?

Главным препятствием масштабирования этой модели и тому, чтобы поместить ее в реального робота, является сложность расчета пропускной способности канала агента и человека в такой богатой среде, как реальный мир, надолго вперед. Всем этим процессам еще только предстоит стать эффективными. Я оптимистично настроен, но пока эта проблема остается чисто вычислительной. Поэтому мы проверяем работу системы в компьютерной игре, в упрощенной форме.

Похоже, расширение прав и возможностей, в идеале, сделает наши машины мощными служебными собаками.

Я даже знаю некоторых робототехников, которые сознательно моделируют поведение компаньона на основе собак. Думаю, если роботы будут относиться к нам, как наши собаки, в этом будущем все мы сможем ужиться.