В недавней серии подкастов под названием Instaserfs, бывший водитель Uber по имени Мансур дал пугающее описание нового компьютеризированного рабочего места. Во-первых, компания пыталась убедить его взять грабительский кредит на покупку нового автомобиля. По-видимому, программа посчитала, что у него высокий риск нарушения договора. Во-вторых, никто из Uber никогда не отвечал ему лично — он только получал автоматические текстовые сообщения и электронные письма. Этот стиль надзора был серией ультиматумов прими-это-или-уходи — этакий закодированный цифровой босс.

Затем компания вдруг стала снимать в свою пользу всё большую часть дохода от него и других водителей. И, наконец, то, что показалось Мансуру самым возмутительным: его работа могла быть прекращена без уведомления, если несколько пассажиров дали ему одну звезду, поскольку это может перетащить его рейтинг в среднем ниже 4,7. По его словам, у Uber нет реальной процедуры апелляции или другой надлежащей правовой процедуры для рейтинговой системы, которая может мгновенно лишить водителя работы — она просто перемалывает числа.

История Мансура — это сжатый рассказ о давних тенденциях в области кредита и занятости и она ни в коем случае не уникальна. Интернет-магазины живут в страхе перед «смертной казнью Google» — внезапным, загадочным падением в рейтинге поисковых систем, если они сделали нечто, что гугловские алгоритмы обнаружения спама расценили как мошенничество. В США ищущие работу в Walmart и других крупных компаниях проходят загадочные «личностные тесты», которые обрабатывают их ответы нераскрытыми способами. И белые воротнички сталкиваются с CV-сортировочными программами, которые могут занизить или полностью проигнорировать их квалификацию. Один алгоритмический анализатор резюме решил, что все 29 000 людей, которые претендовали на «более-менее стандартную инженерную должность» недостаточно квалифицированы.

Детство Интернета закончилось. По мере того как онлайновые пространства взрослели, Facebook, Google, Apple, Amazon и другие мощные корпорации устанавливали правила, которые регулируют конкуренцию среди журналистов, писателей, кодеров и фирм электронной коммерции. Uber, Postmates и другие платформы добавляют программное, цифровое измерение к таким привычным профессиям как вождение и работа в сфере услуг. Киберпространство — это больше не бегство от «реального мира». Теперь это сила, управляющая им посредством алгоритмов: похожие на рецепт наборы инструкций по решению проблем. От поиска Google до сводничества OkCupid, программы упорядочивают и загружают сотни переменных в чистые, простые интерфейсы, ведя нас от запроса к решению. Ответами управляет сложная математика, но она скрыта из виду, либо по причине секретности, установленной законом, либо в силу внутренней сложности, которую посторонние не способны разгадать.

Алгоритмы приобретают все большее значение, поскольку предприятия, которые редко воспринимаются как высокотехнологичные, извлекли уроки из успехов интернет-гигантов. Следуя совету Джеффа Джарвиса (Jeff Jarvis) — «What Would Google Do» («Что бы сделал Google»), — они собирают данные о работниках и клиентах, используя алгоритмические инструменты для принятия решений, чтобы отделить желательное от ненужного. Компании могут проанализировать ваш голос и кредитную историю, когда вы им звоните, чтобы определить, соответствуете ли вы статусу «идеальный клиент», или вы просто «бесполезная трата» времени и ресурсов, которой можно пренебречь. Epagogix советует киностудиям, какие сценарии покупать, основываясь на том, насколько они совпадают с прошлыми успешными сценариями. Даже виноделы используют алгоритмические решения, основанные на статистическом анализе погодных условий и других характеристик хороших и плохих лет далёкого прошлого.

Когда речь идёт о винах или фильмах, ставки не очень высоки. Но когда алгоритмы начинают влиять на ключевые возможности трудоустройства, карьерного роста, здравоохранения, образования и кредита, они заслуживают большего внимания. Американские больницы используют ориентированные на большие данные системы, чтобы определить пациентов с высоким риском, и эти определения формируются данными довольно далёкими от традиционных медицинских записей. IBM теперь использует алгоритмические инструменты оценки для сортировки сотрудников по всему миру по критериям экономической эффективности, но оберегает топ-менеджеров от такого инвазивного надзора и оценки. В сфере государственного управления алгоритмические оценки опасности также могут привести к увеличению сроков для осуждённых, или чёрным спискам для путешественников. Оценка кредитоспособности пускает миллиарды долларов на кредиты, но методы оценки остаются непрозрачными. Средний заёмщик может потерять десятки тысяч долларов за всю жизнь из-за неверно или несправедливо обработанных данных.

Эта тенденция к использованию всё большего объёма данных, чтобы ранжировать и оценивать нас всё более неясными способами, может показаться неизбежной. Тем не менее, в точном развитии таких компьютеризированных методов сортировки нет ничего автоматического. Поисковые системы, например, являются парадигматическими примерами алгоритмической технологии, но их нынешний вид и функции во многом обязаны юридическим мерам. Например, благодаря действиям Федеральной комиссии по торговле в 2002 году, законы о защите потребителей США требуют отделения рекламы от неоплаченного, «органического» контента. В мире, где фирмы по работе со средствами рекламы постоянно пытаются затушевать различие между содержанием и «естественной рекламой», этот закон имеет значение. Регуляторы Европейского союза сейчас пытаются обеспечить, чтобы ненужная, устаревшая или предвзятая информация не попадала в результаты «поиска по имени» — серьёзная задача в эпоху, когда многие потенциальные работодатели гуглят информацию о тех, кого они рассматривают как потенциальных работников. ЕС также стимулировал поисковые системы принять во внимание человеческое достоинство — путём, например, удовлетворения просьбы «жертвы физического насилия, которая просила, чтобы результаты, описывающие нападение, удалили из запросов её имени».

Такие споры породили движение за алгоритмическую ответственность. На Governing Algorithms, конференции 2013 года в Нью-Йоркском университете (New York University), учёные и активисты объединились для критического анализа результатов алгоритмических процессов. Сегодня эти учёные и активисты способствуют рациональному диалогу об алгоритмической ответственности или сокращённо #algacc. Подобно движению за «доступ к знаниям» (A2K) в 2000-е, #algacc привлекает внимание к важной проблеме социальной справедливости 2010-х.

Некоторые в деловом мире предпочли бы видеть работу этого сообщества закончившейся, прежде чем она даже началась. Представители и лоббисты страховщиков, банков и крупного бизнеса в целом считают, что ключевые алгоритмы заслуживают «железную» защиту торговой тайны, поэтому они никогда не могут изучаться (не говоря уже о том, чтобы их подвергнуть критике) посторонними лицами. Но юристы ранее уже оспаривали такое засекречивание, и сделают это снова.

Регуляторы могут сделать ориентированные на данные фирмы более ответственными. Но, во-первых, они должны быть осведомлены о многих случаях, когда бизнес-вычисления могут быть проведены неверно. Используемые данные могут быть неточными или некорректными. Алгоритмическое моделирование или анализ могут быть предвзятыми или неприемлемыми. К тому же использование алгоритмов по-прежнему непрозрачно во многих ключевых секторах — например, мы можем даже не знать, оценивают ли нас наши работодатели согласно секретной формуле. На самом деле, однако, на каждом этапе алгоритмического принятия решений, простые правовые реформы могут ввести основные средства защиты (например, надлежащую правовую процедуру и антидискриминационный закон) в компьютерную эпоху.

Всем известно, какими недостоверными могут быть отчёты о кредитных операциях и как трудно их исправить. Но кредитные истории на самом деле являются одной из наиболее регулируемых сфер экономики данных, с мощной защитой, доступной для подкованных потребителей. Гораздо большую тревогу вызывает теневой мир тысяч в основном нерегулируемых брокеров данных, которые создают досье людей без ведома этих людей, согласия и часто без права на пересмотр или исправление. Какое-нибудь случайное пятно на вашей репутации может войти в случайную базу данных без вашего ведома, а затем попасть в сотни других цифровых досье, якобы для того чтобы сообщить о состоянии вашего здоровья, финансовом положении, компетентности или судимости.

Этот новый цифровой параллельный мир может испортить репутацию. Одну женщину частный брокер данных ложно обвинил в том, что она продаёт метамфетамин, и потребовались годы, чтобы исправить запись — годы, в течение которых домовладельцы и банки отказывали ей в жилье и кредитах. Ситуация с государственными базами данных может быть ещё хуже, в США, например, невинных людей опорочили «Отчёты о подозрительной деятельности», или неточные записи об арестах. Обе проблемы беспокоили несчастных граждан в течение многих лет. Жадность к данным как государственных, так и рыночных акторов означает, что недостоверные записи могут быстро распространяться.

В ситуации, когда ложная, дискредитирующая информация может мгновенно распространяться между базами данных, но требуются месяцы или годы беготни и адвокатских усилий, чтобы всё исправить, архитектура данных дефектна изначально. Будущие системы репутации должны позволить устранять стигму столь же быстро, как они способствуют её распространению. Это не является неразрешимой проблемой: Конгресс США принял «Закон о справедливой кредитной отчётности» в 1970 году для регулирования практики сбора данных кредитными бюро. Расширение и модернизация её средств защиты будет создавать подотчётность, механизмы объективной оценки и исправления в системах данных, которые сейчас создаются только из интересов быстрой прибыли, а не из интересов граждан.

Проблемы сбора данных выходят за пределы неточности. Некоторые методы работы с данными являются слишком инвазивными, чтобы допускаться в цивилизованном обществе. Даже если соискатели так отчаянно нуждаются в работе, что согласны на видеосъёмку в ванной комнате в качестве условия занятости, закон о конфиденциальности должен положить конец подобным сделкам. Сбор цифровых данных также может переходить границу. Например, бывшая сотрудница международной службы электронных переводов Intermex утверждает, что её уволили после того, как она отключила приложение, которое позволяло фирме постоянно отслеживать её местоположение.

Обратите внимание, что у работодателя для такой слежки помимо вуайеризма могут быть соображения бизнеса. Он может обнаружить, что сотрудники, которые всегда дома в 8 вечера, как правило, лучше работают на следующий день, а затем постепенно вводить стимулы, или даже требование такого поведения для всего своего персонала. Сколько бы осведомлённость о каждом моменте жизни работника ни прибавляла прибыли, демократическое общество должно этому противостоять. Между работой и нерабочим временем должна сохраняться некоторая граница.

Ограничения на сбор данных разочаруют знатоков Big Data. Генеральный директор ZestFinance гордо заявил, что «все данные — это кредитные данные», то есть, для прогностического анализа можно взять практически любой фрагмент информации о человеке, проанализировать, соответствует ли характеристика заведомо кредитоспособным людям, и соответствующим образом экстраполировать эту информацию. Такие данные могут включать в себя сексуальную ориентацию или политические взгляды. Но даже если бы мы знали, что сторонники Джорджа Буша более склонны задерживать выплаты по счетам, чем избиратели Джона Керри, на самом ли деле это знание, которое мы доверяем нашим банкам или кредитным регистраторам? То ли это знание, которым они должны обладать? Брачное консультирование может рассматриваться как сигнал о надвигающейся нестабильности и привести к повышению процентных ставок или понижению кредитных лимитов — против одной американской компании, CompuCredit, уже был выдвинут судебный иск (без признания правонарушения) именно за это. Но такая интимная информация не должна быть монетизирована. Слишком многие знатоки больших данных стремятся анализировать всю улавливаемую информацию, но когда их бредовые фантазии об идеально известном мире сталкиваются с базовыми ценностями, они должны уступить.

В то время как большинство сторонников конфиденциальности сосредоточились на вопросе сбора данных, угроза, исходящая от бездумного, плохого, или дискриминационного анализа вполне может быть сильнее. Рассмотрим «вероятную оценку успеха занятости», которая в значительной мере зависит от расы претендента, его почтового индекса или отсутствия работы в текущий момент. Каждая из этих частей данных может быть невинной или даже уместной в правильном контексте. (Например, фирма Entelo пытается подобрать заявителей из числа меньшинств для фирм, которые хотят больше разнообразия.) Но они также требуют тщательного изучения.

Рассмотрим сначала расизм. Существует долгая и тревожная история дискриминации меньшинств. Сохранившиеся антидискриминационные законы в сфере занятости уже запрещают предвзятость, и могут привести к крупным штрафам. Таким образом, многие сторонники алгоритмического принятия решений скажут, зачем беспокоиться о нашей новой технологии? Дискриминация в любой форме, будь то личная, технологическая, что там ещё — уже запрещена. В лучшем случае это наивно. Алгоритмические процессы принятия решений вместе с персональными и социальными данными от общества получают и проблему дискриминации. Общество изобилует данными, которые часто являются простыми проводниками дискриминации — таковы, например, почтовые индексы.

Рассмотрим переменную, которая выглядит, на первый взгляд, менее проблемной: месяцы с последнего места работы. Такие данные могут помочь работодателям, которые предпочитают работников быстро переходящих с работы на работу — или поспособствовать дискриминации в отношении тех, кто нуждается в свободном времени, чтобы оправиться от болезни. Обеспокоенные потенциально дискриминационным воздействием таких соображений, некоторые юрисдикции запретили работодателям в объявлениях о вакансиях уточнять, что от безработных заявки не принимаются. Это похвальный политический шаг, но независимо от его достоинств, какое влияние у него будет, если работодатели никогда не видят резюме, исключённые алгоритмом, который отсеивает тех, чья последняя запись старее, чем несколько месяцев? Большие данные могут легко превратиться в сложный инструмент для углубления уже распространённых форм нечестных практик.

Правоохранители будущего могли бы обнаружить, что трудно узнать все переменные, которые задействованы в решениях о выдаче кредита и приёма на работу. Защищённые коммерческой тайной, многие алгоритмы остаются непроницаемыми для внешних наблюдателей. Когда их попытаются раскрыть, истцы могут столкнуться с Уловкой-22. Обоснованно обеспокоенные тем, чтобы остановить сбор компромата, суды могут выносить решение о запросе документов, только если у истца накопилось некоторое количество доказательств дискриминации. Но если ключевым субъектом, принимавшим решение, был безликий секретный алгоритм, тогда что является основой для первоначального подозрения в дискриминации?

В самом деле, после принятия «Закона о равных кредитных возможностях» (1974), американские регуляторы часто рекомендуют фирмам использовать алгоритмы для принятия решений. Регуляторы хотят избежать нерациональной или подсознательной предвзятости людей, принимающих решения, но, конечно, люди, принимающие решения разработали эти алгоритмы, сформировали данные, и повлияли на их анализ. Ни один «слой кода» не может создать ровное игровое поле «включай и работай». Всегда будут необходимы политика, человеческое суждение и право. Алгоритмы никогда не помогут уйти от общества.

Органы власти должны обеспечить, чтобы алгоритмы, которые они продвигают, служили своим декларируемым целям, а не разрушали их. Ипотечный кризис даёт хороший пример правового провала в прошлом и инновационное решение для него. Рейтинговые агентства Moody’s и S&P, например, используют алгоритмические оценки кредитоспособности, давая разрешение штамповать сомнительные ипотечные ценные бумаги (MBS’s) в качестве AAA — это самый высокий уровень кредитоспособности. Рейтинговые агентства использовали алгоритмические способы оценки платёжеспособности по кредитам для формального присвоения сомнительным MBS (ценным бумагам, обеспеченным закладной) высочайшего рейтинга ААА. Эти эрзацы позволяют в свою очередь привлекать поток денег для низкокачественных кредитов. Критики утверждают, что агентства изменили свои методы рейтинга для того, чтобы больше привлечь тех, кто продаёт ценные бумаги, обеспеченные закладной. Рейтинг AAA (определение наивысшей кредитоспособности) после изменения метода может означать что-то очень отличное от предыдущих, но многим инвесторам не хватает знаний параметра ликвидации обязательств с одними ценными бумагами и заключение сделок по другим.

Для решения этой проблемы, закон Додда — Франка требует, чтобы рейтинговые агентства раскрывали существенные изменения в своих методах. Такая открытость помогает участникам рынка понимать «подноготную» рейтинга ААА, а не бездумно полагать, что он всегда гарантировал, и всегда будет гарантировать определённый уровень надёжности. Как вам скажет любой инвестор, информация — это власть, а кредитные рейтинги не обязательно информация — это просто сокращение.

В то время как кредитные рейтинги оценивают стоимость ценных бумаг, алгоритмическая оценка потребителей оценивает людей, а также любое число параметров, в том числе (но отнюдь не только) их кредитоспособность. Как показал доклад Всемирного Форума по вопросам конфиденциальности The Scoring of America в 2014, существуют тысячи таких оценок. Когда ответственное лицо решает их использовать, он или она обязаны точно объяснить ранжированным и классифицированным людям, какие именно данные использовались, как они были проанализированы, и как потенциальные ошибки, предвзятое отношение или нарушения закона могут быть идентифицированы, исправлены или оспорены. В различных областях, начиная от банковского дела и занятости до жилья и страхования, алгоритмы вполне могут быть «делателями королей», решая, кто получит работу или будет уволен, кто получит повышение, а кто понижен в должности, кто получит 5 процентов или 15 процентов процентной ставки. Люди должны быть в состоянии понять, как они работают, или не работают.

Растущая индустрия «прогностической аналитики» будет противиться этому предложению, заявляя, что её методы оценки и классификации людей заслуживают абсолютной защиты и статуса коммерческой тайны. Такая интеллектуальная собственность хорошо защищена в соответствии с действующим законодательством. Тем не менее, власти могут условием финансирования сделать использование или разглашение данных и методов, используемых подрядчиками. Власть правительства использовать свои рычаги влияния в качестве заказчика огромна, и оно может отменять контракты компаний, которые, например, используют секретные алгоритмы для принятия решений о приёме на работу или кредитные решения на основе сомнительных данных.

В США пришло время, чтобы федеральные средства расходовались на создание открытого алгоритмического принятия решений, а не просто платились за любые инструменты, которые придумали подрядчики. Мы не стали бы терпеть парки, нашпигованные подслушивающими устройствами, которые записывают каждый разговор, или отказ во входе в общественные туалеты тем, кому секретные программы приписали «риск вандализма». Мы должны иметь одинаковые и справедливые оценки частной жизни со стороны тысяч алгоритмических систем, которые правительство прямо или косвенно финансирует каждый год.

Некоторые вербовщики клинических исследований обнаружили, что люди, которые владеют минивэнами, у которых нет маленьких детей, а также подписаны на множество каналов кабельного телевидения, более вероятно будут страдать ожирением. По крайней мере, в их базах данных, и, возможно, в других, владеющие минивэном, бездетные, любители кабельного ТВ вдруг превращаются в новую группу — «склонны к ожирению», и этот вывод является новой порцией данных, созданных об этих людях.

Подобный логический вывод может быть сам по себе немногое и значит. Но как только люди идентифицированы таким образом, он может легко быть объединён и рекомбинирован с другими списками, скажем, списками тучных покупателей, или частых покупателей фаст-фуда — которые кристаллизуются в суждения. Новый алгоритм Facebook мгновенно отмечает людей на фотографиях, основываясь на типе тела или позы. Святой Грааль алгоритмической репутации — это самая полная база данных, возможно, каждого индивида, объединяющая кредит, телекоммуникации, местоположение, покупки и десятки других потоков данных в цифрового двойника.

Насколько бы они ни были осведомлены о нашем росте, или весе, или состоянии здоровья, собирателям данных выгодно сохранять классификацию туманной. Человек может, в принципе, выдвинуть судебный иск о защите чести и достоинства против брокера данных, который ложно утверждал, что человек болен диабетом. Но если вместо этого брокер выбирает нечёткую классификацию, такую как «член обеспокоенного диабетом домохозяйства», это для судов выглядит гораздо в большей степени как мнение, чем факт. Гораздо сложнее доказать, что мнения являются дискредитирующими — как вам доказать, без всяких сомнений, что ваша семья в какой-то мере не «обеспокоена диабетом»? Но более мягкая классификация может привести к столь же невыгодным результатам, что и более строго фактическая классификация.

Подобные арбитражные стратегии могут привлечь другие фирмы. Например, если работодатель говорит вам, что он не примет вас на работу, потому что вы диабетик, это явно незаконно. Но что, если существует некая эвфемистическая терминология, которая оценивает вашу «выносливость» в качестве работника? Даже если оценка частично основана на информации, связанной со здоровьем, это может оказаться практически невозможно доказать, потому что кандидаты почти никогда не знают, что влияет на решение работодателя не проводить собеседование или не давать им работу. Работодатель может даже утверждать, что не знает, что входит в оценку. Действительно, в какой-то момент в процессе приёма на работу или оценки, заявители могут столкнуться с менеджерами или специалистам по кадрам, которые на самом деле не знают, что составило рейтинг «выносливости». Когда столь антидискриминационный закон требует от истцов доказать намерение работодателя использовать запрещённые классификации, невежество может быть блаженством.

Эти проблемные ситуации будет гораздо легче регулировать, до того как они успеют стать широко распространёнными и повсеместными деловыми практиками. Комиссия по равным возможностям занятости (КСРТ) рассматривает споры, вытекающие из личностных тестов работодателей, содержащих вопросы, которые, похоже, предназначены выявлять образ мыслей, связанный с психическими расстройствами, но не связанный с солидной профессиональной квалификацией или производительностью. Эти исследования должны продолжаться, и распространиться на растущий класс алгоритмических оценок прошлой или вероятной работы. В некоторых случаях, простого раскрытия и анализа алгоритмических оценок не достаточно, чтобы сделать их справедливыми. Скорее, их использование следует запретить в важных ситуациях, начиная от трудоустройства до жилья, от получения кредита до образования.

Когда проблемы с алгоритмическим принятием решений становятся известны общественности, крупные фирмы, как правило, играют в игру музыкальной экспертизы. Юристам говорят, что те не понимают код; юристы и сами с этим согласны. Программисты слышат в свой адрес, что не понимают закон, и не склонны возражать. Экономисты, социологи и специалисты по этике слышат и то, и другое.

По правде говоря, потребовалось сочетание вычислительных, юридических и социальных научных навыков, чтобы раскопать каждый из рассмотренных выше примеров — назойливый сбор данных, плохой или предвзятый анализ и дискриминационное использование информации. Сотрудничество между экспертами в различных областях может привести к ещё более важной работе. Например, правоведы Райан Кало (Ryan Calo) из Университета штата Вашингтон (University of Washington), и Джеймс Гриммельман (James Grimmelmann) из Университета штата Мэриленд (University of Maryland), вместе с другими специалистами по этике, предложили критерии для оценки алгоритмической манипуляции содержанием и людьми. Основанные на хорошо зарекомендовавших себя эмпирических методах социальных наук, их модели могут и должны, используя алгоритмы, информировать руководство фирм и государственных органов.

Эмпирики могут быть разочарованы секретным характером алгоритмического процесса принятия решений. Они могут работать с правоведами и активистами, чтобы открыть его определённые аспекты (через принцип свободы информации и справедливую обработку данных). Журналисты, в свою очередь, объединившись с программистами и обществоведами, также могут разоблачить новые вторгающиеся в частную жизнь технологии сбора, анализа и использования данных — и подтолкнуть регуляторов к борьбе со злостными правонарушителями.

Исследователи выходят за рамки анализа существующих данных и присоединяются к коалициям независимых наблюдателей, архивистов, сторонников открытых данных, а также адвокатов общественных интересов, чтобы обеспечить более сбалансированный набор «сырья» для анализа, синтеза и критики. Социологи и другие должны серьёзно отнестись к жизненно важному и долгосрочному проекту по обеспечению того, что алгоритмы производят справедливую и релевантную документацию. В противном случае штаты, банки, страховые компании и другие сильные акторы будут производить всё более недоступные данные об обществе и людях и обладать ими. Алгоритмическая ответственность — это большой проект, требующий навыков теоретиков и практиков, юристов, социологов, журналистов и других. Это безотлагательная глобальная задача, для осуществления которой небезразличные и активные эксперты ищут поддержки.

Мир полон алгоритмических решений. Ошибочная или дискриминационная часть информации может лишить кого-то работы или кредитов. Очень важно, чтобы граждане имели возможность видеть и регулировать цифровые досье гигантов бизнеса и государственных учреждений. Даже если кто-то убеждён, что никакую информацию не следует «удалять», что каждые совершенные кем-то промах и ошибка должны быть зафиксированы навечно — это всё ещё сохраняет важные решения, которые будут приниматься на основе обработки данных. Алгоритмы могут быть более ответственными, соблюдающими справедливость и достоинство, за которые боролись поколения. Задача носит не технический, а политический характер, и первым шагом является закон, который даст людям возможность видеть и оспаривать то, что алгоритмы говорят о нас.

Автор — Фрэнк Паскуале (Frank Pasquale).
Перевод — Дмитрий Райдер.

http://22century.ru/popular-science-publications/digital-star-chamber