Руководители более сотни ведущих мировых компаний в области искусственного интеллекта сильно обеспокоены развитием «роботов-убийц». Эти бизнес-лидеры, например, Илон Маск из Tesla и основатели гугловской Deep Mind – предупредили в открытом письме ООН, что использовать технологии автономного оружия могут террористы и деспоты, либо они в той или иной степени могут подвергнуться взлому.

Но подлинная угроза намного серьезнее – и речь идет не только о человеческих проступках, но и о поступках машинных. Исследование сложных систем демонстрирует, что они могут вести себя намного более непредсказуемо, чем можно сделать вывод из совокупности отдельных действий. С одной стороны это значит, что человеческое общество способно вести себя совсем по-другому, чем вы могли бы ожидать, изучая поведение отельных людей. С другой стороны, это также можно применить и к технологиям. Даже экосистемы обычных программ искусственного интеллекта – которые мы можем назвать хорошими, но тупыми ботами – могут нас удивлять. Даже отдельные боты могут ужасно вести себя.

Отдельные элементы, которые составляют сложные системы, например, экономические рынки или глобальная погода, обладают тенденцией не взаимодействовать линейным простым способом. Это делает данные системы очень трудными для понимания и моделирования. К примеру, даже после долгих исследований климата нельзя спрогнозировать долгосрочное поведение погоды. Данные системы настолько чувствительны к самым маленьким изменениям, насколько взрывоопасно реагируют на них. Очень трудно узнать точное состояние подобной системы в отдельно взятый момент. Все это делает эти системы внутренне непредсказуемыми.

Все эти принципы можно применить к большим группам людей, которые действуют по-своему, идет ли речь о человеческих обществах или о группах ботов с искусственным интеллектом. Не так давно ученые изучали один из типов сложной системы, в которой хорошими ботами  пользовались  для того, чтобы автоматически редактировать статьи на Википедии. Эти самые разные боты написаны, разработаны и используются доверенными редакторами Википедии, а их базовое программное обеспечение с открытым исходным кодом и доступно для всех. По отдельности у них есть общая цель – улучшать энциклопедию. Но их коллективное поведение было на удивление неэффективным.

В основе работы данных ботов с Википедии находятся хорошо установленные правила и условности, но так как веб-сайта не имеет центральной системы управления, отсутствует и эффективная координация между людьми, которые управляют разными ботами. В результате оказалось, что существовали пары ботов, которые несколько лет занимались тем, что отменяли правки друг друга и никто этого не замечал. И, естественно, так как эти боты никаким образом не учатся, они сами тоже этого не заметили.

Предназначением этих ботов является ускорение процесса редактирования. Но маленькие различия в дизайне ботов или между людьми, которые используют их, могут привести к массовой трате ресурсов в продолжающейся «войне за редактирование», которая была бы разрешена гораздо быстрее с помощью редакторов.

Исследователи также обнаружили, что боты вели себя в разных языковых версиях Википедии по-разному. Правила, казалось бы, почти одинаковые, цели идентичные, технологии похожие. Но в немецкоязычной Википедии сотрудничество ботов было намного более эффективным и продуктивным, чем, к примеру, в португальской. Это можно объяснить только различиями между редакторами-людьми, которые этими ботами руководили в разных средах.

Экспоненциальная путаница

Боты с Википедии не обладают широкой автономией и система уже работает не в соответствии с целями отдельных ботов. Но Wikimedia Foundation планирует использовать ИИ, которые будут давать больше автономии этим ботам. И это, вероятнее всего, приведет к еще более непредсказуемому поведению.

Хороший пример того, что может случиться, продемонстрировали боты, созданные для разговоров с людьми, когда их заставили общаться между собой. Мы уже не удивляемся ответам персональных ассистентов вроде Siri. Но заставьте их общаться между собой и они быстро начнут вести себя неожиданным образом, спорить и даже оскорблять друг друга.

Чем больше становится система и чем более автономным становится каждый бот, тем более сложным и непредсказуемым будет будущее поведение этой системы. Википедия – это пример работы большого числа относительно простых ботов. Пример с чат-ботами – это пример небольшого числа относительно сложных и изобретательных ботов – в обеих случаях возникают непредвиденные конфликты. Сложность и, следовательно, непредсказуемость растут экспоненциально по мере добавления в систему индивидуальности. Поэтому, когда в будущем появятся системы с большим количеством очень сложных роботов, непредсказуемость их выйдет за пределы нашего воображения.

Полыхающее безумие

Самоуправляемые автомобили, например, обещают осуществить прорыв в эффективности и безопасности дорожного движения. Но мы еще не знаем, что произойдет, когда у нас будет большая дикая система полностью автономных автомобилей. Они могут вести себя по-разному даже в пределах небольшого флота индивидуальных автомобилей в контролируемой среде. И еще более непредсказуемое поведение может проявиться, когда самоуправляемые автомобили, «обученные» разными людьми в разных местах, начнут взаимодействовать между собой.

Люди могут адаптироваться к новым правилам и соглашениям относительно быстро, но при этом с трудом переключаются между системами. Искусственным агентам может быть еще сложнее. К примеру, если «обученный в Германии» автомобиль поедет, например, в Италию, мы не знаем, как он освоит неписаные культурные соглашения, которым следуют многие другие «обученные в Италии» автомобили. Нечто обыденное вроде пересечения перекрестка может стать смертельно рискованным, потому что мы просто не знаем, будут ли машины взаимодействовать, как положено, либо начнут вести себя непредсказуемо.

А теперь подумайте о роботах-убийцах, которые беспокоят Илона Маска и его коллег. Один робот-убийца не в тех рукахможет быть очень опасен. А система непредсказуемых роботов-убийц Думайте сами.