Согласитесь ли вы купить автомобиль, способный убить вас ради спасения других людей

Технологии защитили человека от природы, но не от самих себя. Речь не только об оружии, но и о сервисных механизмах, призванных создавать удобства. Больше того смерть от механизма скоро станет не только результатом несчастного случая, но и заранее запланированным исходом. Электронный мозг самоуправляемого автомобиля будет принимать решение, чьей жизнью он должен пренебречь в случае выбора в аварийной ситуации. Проще говоря, кого предстоит убить – пассажира или пешехода, если другого выбора нет.

Сегодня эта моральная проблема вызывает живейший интерес в автомобильной промышленности. Сугубо гуманитарная тема оказалась важнее технических решений. Как роботу ездить и ориентироваться, это инженеры как-нибудь придумают. А вот как решить, кого роботу убивать в случае необходимости

Как в случае с клонированием или редактированием генома человека, внедрение новой технологии здесь упирается не столько в технические сложности, сколько в этическую проблему. Здесь она описывается так называемой проблемой вагонетки – trolleyproblem, сформулированной в 1967 году английским философом Филиппой Фут в виде мысленного эксперимента. Предположим, что по рельсам мчится вагонетка, а на ее пути сумасшедший философ привязал пять человек. Если оставить все как есть, они погибнут. Но вы можете перевести стрелку и направить вагонетку на другой путь, где привязан только один человек. Как вы поступите Позволите погибнуть пятерым или возьмете на себя ответственность за смерть одного (Других вариантов нет.)

Диапазон убийственных решений

Именно с этой ⁠дилеммой⁠ предстоит столкнуться беспилотному автомобилю. Для⁠ него проблема вагонетки формулируется⁠ следующим образом. Автомобиль несется в группу детей, тормоза отказали. ⁠Выбор свернуть, то есть врезаться в стену и убить пассажира, –или продолжить движение, наехать на детей, но спасти пассажира

На практике проблема вагонетки может иметь множество осложнений. Например, предположим, что вагонетка все так же мчится в группу людей, но вам надо не просто перевести стрелку (совершить отстраненное техническое действие), а непосредственно своими руками толкнуть на рельсы достаточно толстого человека, чтобы его тело остановило вагонетку. Надо сталкивать или нет А если этот толстый человек – злодей, запустивший вагонетку А если на одном пути вагонетки привязаны пять старушек, а на другом – трое младенцев И так далее.

Понятно, что вероятность подобных ситуаций крайне мала. Особенно в сравнении с нынешней статистикой смертей на дорогах, где машинами управляют люди. Но впервые в истории инженерам придется запрограммировать право машины на убийство человека.

Каким должен быть выбор с точки зрения современных представлений цивилизованного мира На эту тему проводится масса исследований. Почти все они показывают, что большинство людей придерживается так называемого утилитарного решения спасти многих ценой немногих. С точки зрения программирования это означает, что самоуправляемый автомобиль должен быть запрограммирован в определенной ситуации убить пассажира. Казалось бы, вот практическое решение, насколько оно вообще возможно.

В то же время исследования обнаруживают, что сами испытуемые, конечно же, не будут покупать такой автомобиль. Зачем им механизм, про который известно, что он закодирован убить хозяина в определенной ситуации

Грандиозный скандал разразился на Парижском автосалоне минувшей осенью. Руководитель подразделения разработки автопилотов для Mercedes-Benz Кристоф фон Хьюго заявил, что их машины получат этическую установку driverfirst. То есть они будут в любой ситуации спасать тех, кто внутри автомобиля. Компания потом оправдывалась, что слова менеджера выдернули из контекста. На самом деле он имел в виду, что автомобиль не может контролировать ситуацию вне салона, но ситуация внутри салона полностью под контролем, поэтому внутри салона, по логике, и надо концентрировать «спасающие усилия» робота. «Если вы знаете, что можете спасти по крайней мере одного человека – спасите хотя бы именно его. Спасите того, кто в машине. Если все, что вы знаете наверняка, это то, что одна смерть может быть предотвращена, – это и есть ваш приоритет», – сформулировал фон Хьюго.

С точки зрения философии это либертарианское, рыночное решение проблемы вагонетки. Ирония в том, что такое решение делает саму продажу беспилотника возможной, то есть переводит проблему вагонетки из абстрактной задачи в уличную реальность, ведь люди будут согласны покупать автомобили, защищающие владельца в любой ситуации. Некоторые авторы развивают рыночную иронию и говорят, что автоконцерны могли бы даже продавать пешеходам место в DoNotKillList, то есть в списке неубиваемых – тех, кого робот распознает и не убьет ни при каком раскладе. Вот это была бы полная реализация «рыночного» подхода, как его видят критики слева.

Этический краудсорсинг

В августе прошлого года Массачусетский технологический институт запустил проект «Моральная машина» – MoralMachine. Сайт предлагает пользователям на выбор самые разные версии проблемы вагонетки. Условия задачи предлагают автомобиль с отказавшими тормозами, разные сценарии выбора и два решения – оба трагические, но по-разному. Например, надо выбрать, кем пожертвовать, – тремя пешеходами или семьей с ребенком в машине Женщиной-пассажиром или мужчиной-пешеходом Ребенком, переходящим дорогу на красный свет, или пожилым пассажиром.Есть совсем уж причудливые варианты. Например, надо выбрать между одной группой пешеходов, среди которых два врача и грабитель, и другой группой пешеходов, среди которых два спортсмена и бездомный.

После тестов сайт предлагает участникам оценить «социальную ценность» персонажей в парах «врач – грабитель», «мужчина – женщина», «атлет – толстяк», «нарушитель ПДД – примерный участник ДД», «молодой – старый» и тому подобных.

Подразумевается, что этот своего рода этический краудсорсинг позволит определить социальную ценность персонажей – потенциальных жертв. Сайт предлагает участникам также этический конструктор, в котором самому можно составить какие угодно дорожные ситуации в парадигме вагонетки; эти сюжеты потом тоже будут выставлены на голосование.

За полгода после запуска MoralMachine собрала 26 млн решений от 3 млн человек со всего мира. Параллельно проект изучает, насколько национально-культурные особенности респондентов влияют на их этический выбор. Полученный массив данных по идее даст программистам самоуправляемых машин материал для адекватного перевода этических предпочтений человека в «сознание» робота. Чем-то напоминает поэму Маяковского, в которой отец на примерах рассказывает крохе, что такое хорошо и что такое плохо.

Государственное регулирование

Влияние проблемы вагонетки на внедрение самоуправляемых автомобилей не ограничивается этическими трудностями программирования. Некогда сугубо этическая проблема обещает в реальности также массу юридических и финансовых последствий. Адвокаты потерпевшего, будь то пешеход или пассажир, неизбежно будут подавать иски к автопроизводителю, а не к владельцу авто. А поскольку то или иное убийственное свойство машины запрограммировано серийно, для всей категории продукта, то возможны групповые иски – страшный сон для любой корпорации. Автокомпании, стремясь выглядеть этично в такой сложной ситуации, заранее заявляют, что примут на себя ответственность за любые вероятные трагические инциденты с их беспилотниками, как это уже сделали Audi и Volvo.

Однако это не решает проблемы. Во-первых, адвокаты и активисты требуют от автоконцернов прозрачности – общественность должна знать, какое именно решение проблемы вагонетки выбирает тот или иной производитель для той или иной ситуации. Действительно, люди должны знать, как и почему роботы будут убивать их в случае необходимости.

Но и этого недостаточно. Страховщики уже боятся самоуправляемых машин, поскольку те снизят аварийность и в разы сократят потребность в автостраховании. А тут еще проблема вагонетки ОСАГО автовладельца превращается в ОСАГО робота, а точнее – в ОСАГО автоконцерна. А там совсем другие риски (опять же с учетом вероятности групповых исков). Это уже будет чем-то вроде страхования опасного производства. Или страхования космического запуска.

Общественность требует, чтобы решение проблемы вагонетки вышло на уровень государственного регулирования. Правительство должно задать стандарты этического выбора для беспилотников, сформулировать правила и для автоконцернов, и для страховщиков. Строго говоря, пока это не будет сделано, беспилотные автомобили на улицах не появятся. (Отдельная проблема – переходный период, когда в машинах уже есть автоматические системы, но за их включение отвечает все-таки пока еще водитель.)

Хорошо, когда проблема очевидна. А если нет

Как ни странно, эта мрачная киберпанковская тема оборачивается достаточно позитивным исходом. Мы видим еще одно подтверждение силы наших этических представлений – их способности сдерживать технологический прогресс.

Еще рано говорить, что этический опыт, наработанный в философии, или страх общества, столкнувшегося с необходимостью программировать право устройства на смерть, остановили технарей. На самом деле пока их остановил рынок (прогнозируемое нежелание потребителей покупать убивающие владельцев машины) и накопленная рыночная инфраструктура (санитары рынка – юристы, страховщики, регуляторы).

Но есть сферы, в которых невидимая рука рынка не поможет. Например, компьютерные игры учат ребенка, что можно сохраниться, оздоровиться или получить запасные жизни. Но эти навыки в корне противоречат биологической природе смерти и защитному механизму страха смерти. Что случится с массами людей, которые в детстве получают подобный опыт обратимой смерти или приобретают необходимые пространственные навыки в виртуальной реальности

Поставить заслон разнообразным технологическим новшествам трудно, нет таких механизмов. Человечество вступило в переходный период – оно переезжает из физического мира в виртуальный. А один переезд, как известно, равен трем пожарам. Там, где задействованы финансовые страхи крупных игроков, есть надежда на регулирующие механизмы рынка. Во многих других случаях нам, похоже, придется искать и опираться на какие-то другие стратегии.