Искусственный интеллект уже помогает в некотором роде определиться вашему будущему. Когда вы что-нибудь ищете в поисковике, пользуетесь сервисом таким как Netflix или если банк оценивает вашу пригодность для ипотеки. Но что произойдет, если искусственный интеллект будет вынужден определять в суде, виновны вы или нет?

Как это ни странно, в некоторых странах это уже, вероятно, происходит. Не так давно американского высокого судью Джона Робертса спросили, может ли он представить день, когда «умные машины, управляемые искусственным интеллектом, станут помогать в поиске улик или даже принимать участие в принятии судебных решений». Он ответил: «Этот день уже наступил, и искусственный интеллект существенно оказывает помощь в производстве дел судебным органам».
Вероятно, судья Робертс имел в виду недавний случай Эрика Лумиса, который был приговорен к шести годам заключения по рекомендации секретного проприетарного программного обеспечения частной компании. Лумис, уже имевший криминальную историю,получил свой приговор за то, что бежал на угнанной машине из полиции, и теперь он утверждает, что было нарушено его право на процедуру, так как ни он, ни его представители не смогли рассмотреть или опротестовать алгоритм рекомендации.
Отчет подготовила программа Compas, которая продается Notrpointe судам. Программа воплощает новую тенденцию в исследованиях искусственного интеллекта: она помогает судьям принять «лучшее»решение в суде (или по крайней мере максимально ориентированное на данные).
Хотя специфические подробности дела Лумиса все еще остаются закрытыми, в нем наверняка содержатся числа и диаграммы, определяющие жизнь, поведение и вероятность рецидива Лумиса. Среди них гендерная идентичность,  раса, привычки, возраст, история браузера и какие-нибудь измерения черепа. Точнее никто пока не знает.

Известно лишь, что прокурор по делу сказал судье, что Лумис продемонстрировал «высокий риск рецидивизма, насилия, досудебного разбирательства». Это стандартно, когда речь идет о вынесении приговора. Судья был согласен и сказал Лумису, что «по оценке Compas он был определен как лицо, которое представляет высокий риск для общества».
Верховный суд штата Висконсин осудил Лумиса, уточнив, что отчет Compas привнес в его решение ценную информацию, но добавил, что и без него он вынес бы точно такой же приговор. Проверить это наверняка, конечно, не получится. Какими могут быть когнитивные предубеждения, когда в деле принимает участие всемогущая «умная» система вроде Compas, которая дает судьям советы, как им поступать?

Неизвестное использование

Давайте будем откровенны, ничего «незаконного» в том, что сделал суд Висконсина нет — это просто пример. Другие суды способны делать то же самое и будут делать.
К сожалению, нам не известно, в какой степени используются искусственный интеллект и прочие алгоритмы при вынесении приговора. Существует мнение, что некоторые суды «тестируют» системы подобные Compas в закрытых исследованиях, но не могут заявлять о своем партнерстве. Существует также мнение, что несколько стартапов искусственного интеллекта разрабатывают подобные умные системы.

Однако использование искусственного интеллекта в законодательстве не начинается и не заканчивается вынесением приговора, оно начинается с расследования. В Великобритании уже разработана система VALCRI, которая выполняет трудоемкие аналитические работы за считанные секунды — пробирается сквозь тонны данных вроде текстов, лабораторных отчетов и полицейских документов, чтобы выделить вещи, которые могут потребовать дальнейшего расследования.
Полиция Уэст-Мидландс в Великобритании будет тестировать VALCRI в течение следующих трех лет, используя анонимные данные, содержащие больше 6,5 миллиона записей. Подобное испытание проводится в Бельгии полицией Антверпена. Но в прошлом проекты искусственный интеллект и глубокого обучения, включающие массивные наборы данных, были проблемными.

Выгоды для немногих

Технологии обеспечили множество полезных приспособлений залам суда, от копировальных аппаратов до извлечения ДНК из отпечатков пальцев и сложных методов наблюдения. Но это не означает, что любая технология — это улучшение.
Хотя использование искусственного интеллекта в расследованиях и приговорах потенциально может сэкономить время и деньги, оно породит острые проблемы. В докладе по Compas от Pro Publica было четко сказано, что черных программа ошибочно считает более склонными к рецидивизму ответчиками, чем белых. Даже самые сложные системы искусственного интеллекта могут унаследовать гендерные и расовые предубеждения тех, кто их создает.
Более того, какой смысл перекладывать принятие решений (по крайней мере частично) по вопросам, которые уникальны для людей, на алгоритм? В США есть определенная трудность, когда суд присяжных судит своих сверстников. Стандарты в законах никогда не были эталонными, потому эти суды присяжных считаются наиболее демократичными и эффективными системами осуждения. Мы совершаем ошибки, но со временем накапливаем знания о том, как их не совершать, уточняя систему.
Compas и подобные ей системы представляют «черный ящик» в правовой системе. Таковых не должно быть. Правовые системы зависят от непрерывности, прозрачности информации и способности к рассмотрению. Общество не хочет появления системы, которая поощряет гонку с созданием стартапов искусственного интеллекта, которые делают быстрые, дешевые и эксклюзивные решения. Наспех сделанный искусственный интеллект окажется ужасным.
Обновленная версия Compas с открытым исходным кодом была бы улучшением. Но сначала надо будет поднять стандарты системы правосудия, прежде чем мы станем снимать ответственность в пользу алгоритмов.