Давным-давно, когда мобильные телефоны были  еще кнопочными и не имели тачскрина, а социальные сети не существовали вовсе, мы были способны на большее, чем сейчас. Мы помнили наизусть номера телефонов множества  родственников и друзей, помнили, когда у них дни рождения, и с легкостью выполненяли арифметические действия в уме. Сейчас, неожиданно оказавшись случайно без своего смартфона, мы  абсолютно беспомощны – не способны ни вспомнить номер телефона человека, с которым у нас назначена встреча, ни решить несложный пример. За нас помнят всю информацию компьютеры, сами пилотируют самолеты и обеспечивают безопасность, но чем лучше они становятся, тем все больше ухудшаются способности человека. У этого есть свое название: парадокс автоматизации. Британский экономист и писатель Тим Харфорд объясняет это явление и рассказывает, стоит ли его бояться.

Хрестоматийным примером парадокса автоматизации можно назвать судьбу рейса AirFrance 447 над Атлантикой. Тридцать первого мая 2009 года полет начался в полном соответствии с графиком, в 19:29 пассажирский лайнер вылетел из Рио-де-Жанейро и направился в Париж, в аэропорт имени Шарля де Голля. У трех пилотов, управлявших самолетом, были свои недостатки: 32-летний Пьер-Седрик Бонэн был молод и недостаточно опытен (налетал 2936 часов); 37-летний Давид Робер имел больше опыта (6547 часов), но незадолго до этого получил должность менеджера AirFrance и больше не работал пилотом на полную ставку; командир экипажа, 58-летний Марк Дюбуа имел более чем солидное время налета (10 988 часов), однако, по сообщениям, ночь накануне провел на отдыхе в Рио и успел поспать всего час. Но к счастью, экипаж управлял одним из самых современных и безопасных авиалайнеров мира – Airbus 330, легендарно мягким и легким в управлении.

Особенностью А330 является более продвинутая по сравнению с обычным самолетом система управления. Как объясняет Харфорд, в среднем самолете автопилот отвечает за то, чтобы вести машину по определенному маршруту; в этом лайнере вдобавок к автопилоту есть сложная система fly-by-wire (FBW), которая служит посредником между пилотом и механизмами самолета – рулями направления и высоты, элеронами и другими. Обычно у пилота масса возможностей совершить ошибку, но FBW встает между ним и элементами управления, по действиям человека понимает, чего он хочет от самолета, и выполняет маневр идеально, без рывков и лишних движений. Именно из-за этого у А330 потрясающая история безопасности: за 15 лет после выпуска (1994) у самолетов этой модели не было ни одного крушения в коммерческом использовании.

В 23:02 по времени Рио-де-Жанейро главный пилот покинул кабину, чтобы вздремнуть. Через несколько минут, когда он вбежал назад в кабину, самолет сильно трясло, бортовой компьютер громко повторял: «STALL STALL STALL» (предупреждение о сваливании), а оставшийся у штурвала пилот-стажер Бонэн не понимал, что происходит. Сваливание случается тогда, когда нос самолета поднимается вверх выше допустимого угла атаки. В этом случае нормальное обтекание крыла потоком воздуха, создающее нужную подъемную силу, нарушается, крыло начинает создавать огромное сопротивление, с которым не справиться никакому двигателю, скорость резко падает, и самолет начинает терять высоту с задранным вверх носом.

За время, пока командира экипажа не было в кабине, случился ряд обстоятельств, которые по отдельности не привели бы к трагедии. На высоте у самолета датчики скорости забились кристаллами льда, пилоты включили систему защиты от обледенения. Это несущественная проблема, но без данных о скорости FBW не может работать полноценно, поэтому система переключилась в режим, который превратил А330 в обычный самолет. Тем временем Бонэн, несмотря на то что борт уже находился близко к максимально разрешенной для A330 высоте (отметке, выше которой машина не сможет лететь, так как воздух там становится слишком разреженным и не удержит самолет), стал тянуть штурвал на себя, чтобы уйти от грозы. Возможно, пилот не понимал, насколько резко он поднимает нос самолета; в обычной ситуации FBW выполнила бы маневр более плавно, но в тот момент человек действовал сам по себе. Угол атаки увеличился с 2 до 13 градусов, самолет продолжал подниматься.

К этому времени индикаторы скорости оттаяли, система FBW пришла в себя и начала громко сигнализировать о сваливании. Когда Дюбуа вернулся в кабину, его коллеги не смогли четко объяснить, что случилось за время его отсутствия, они повторяли: мы потеряли контроль над самолетом, мы не знаем, что происходит. Какое-то время, судя по записям из кабины, Дюбуа даже не понимал, поднимаются они или опускаются. К тому моменту угол атаки превысил 40 градусов – это так много, что FBW прекратила сообщать о сваливании, потому что посчитала данные неверными. Пилоты обменивались противоречивыми репликами, и, когда Дюбуа наконец понял, что самолет падает вниз с задранным носом и дал команду опустить его, машина была уже слишком низко, чтобы успеть нырнуть и набрать скорость и высоту. Бонэн так и не осознал, что произошло, – его последними словами были: «Но что же творится?» Через четыре секунды после этого рейс AirFrance 447 на скорости более 200 км/час рухнул в океан, все 228 человек на борту погибли мгновенно.

Эксперты считают, что трагедия французского А330 – результат чрезмерного доверия компьютеру и FBW: люди не думали, что электроника может позволить им довести самолет до сваливания. К тому же умная система управления отстраняет человека от этого процесса. Один из пилотов, Бонэн, много часов провел в летящем А330, но большую часть времени он просто наблюдал за приборами и не принимал реального участия в управлении машиной. Писатель и профессиональный пилот Уильям Лангевише указывает, что даже командир экипажа Дюбуа, налетавший 346 часов за предшествовавшие эпизоду полгода, непосредственно управлял самолетом всего четыре часа в год, если сложить те минуты, которые уходят на посадку и взлет.

Парадокс парадокса автоматизации в том, что чем совершеннее оборудование, тем оно опаснее. Известен случай, когда в 2009 году пилоты рейса, летевшего в Миннеаполис (США), «проскочили» аэропорт прибытия на 160 километров – они слишком увлеклись своими лэптопами, пока автопилот вел самолет. По мнению эксперта по авиационной безопасности Эрла Винера, «цифровое оборудование прощает мелкие ошибки, но создает возможности для крупных».

Связанный с развитием автоматики парадокс затрагивает не только пилотов пассажирских лайнеров. Он применим как к операторам атомных электростанций и капитанам круизных и грузовых судов, так и к любому из нас, хранящих все, что нужно помнить, в компьютерах и смартфонах. Автоматизированные системы ежегодно совершенствуются, а чем лучше они становятся, тем меньше участие оператора-человека. Автоматика поощряет некомпетентность или позволяет притупиться навыкам даже лучшего из экспертов, при этом она или отказывает в наиболее нестандартных ситуациях, или сама создает такую ситуацию, которая требует лучших навыков от человека. Оператор же, недостаточно квалифицированный или растерявший квалификацию за чтением газет рядом с мониторами, может неадекватно среагировать в критических обстоятельствах.

Еще одна опасность автоматизации, пишет Харфорд, в том, что мы так привыкли полагаться на компьютеры, что считаем их всегда правыми; тот, кто указывает на ошибку системы, следовательно, не прав. Не всегда недопонимание между человеком и машиной приводит к таким же страшным последствиям, как в случае с самолетом, но и нестрашные последствия могут неплохо испортить жизнь. Представьте ситуацию, когда автоматическая система присылает вам штраф за неправильную парковку, хотя вы просто застряли в пробке в неположенном месте; или как алгоритм, который оценивает работу сотрудников компании, водителей Uber, учителей в школе или врачей в поликлинике, дает сбой; или как вас арестовывают, потому что компьютер счел ваше лицо похожим на физиономию разыскиваемого преступника. «Когда алгоритмы принимают решения, люди перестают самосовершенствоваться. Когда люди зависят от алгоритмов, их способности к оценке снижаются, что делает их еще более зависимыми. Это замкнутый круг», – считает психолог Гэри Кляйн, изучающий процессы принятия решений.

Опасным с точки зрения парадокса автоматизации продуктом, который вскоре, вероятно, коснется всех нас, станут самоуправляемые автомобили. Их разработка активно ведется, и следующее поколение, возможно, уже сможет пересесть на них. Эксперты предполагают, что компьютер в таких машинах будет способен самостоятельно руководить процессом большую часть времени, но нештатные ситуации, с которыми он не сможет справиться, все равно будут возникать, это неизбежно. Скорее всего, разработчики предусмотрят возможность возвращения контроля человеку в таких случаях, как это делает автопилот в самолете. Но при этом никто понятия не имеет, где ляжет граница, после которой автоматика скажет: простите, у меня не получается. Сможет ли компьютер определить грань, если даже человек не всегда способен это сделать? Кроме того, насколько быстро человек, доверившийся электронике и не следящий за дорогой, сможет перехватить управление и сориентироваться? У пилотов рейса AirFrance 447 было несколько минут, чтобы разобраться в ситуации и сохранить жизни 216 пассажиров, но им не хватило этого времени. На дороге же все решают короткие секунды.

Существует ли способ решить парадокс автоматизации? Харфорд считает, что да, но решение тоже может показаться… парадоксальным. Вместо того чтобы заставлять людей присматривать за компьютерами на случай, если что-то пойдет не так, можно изменить модель и предоставить людям работать под присмотром компьютеров – машины не устают, обладают точностью действий и могут поправить мелкие ошибки, если человек их допустит. Не отключаясь от работы, оператор, будь то пилот, водитель или полицейский, не потеряет остроты реакции и навыков.

Насколько важно постоянно держать ситуацию в фокусе, доказал в 1980-х годах голландский инженер организации дорожного движения Ганс Мондерман. Вызванный для повышения безопасности в небольшую деревню, где под колесами машин погибли двое детей, Мондерман применил совершенно новый подход. Он демонтировал все светофоры, удалил «лежачих полицейских», снял ограждения вдоль проезжей части и выбросил знаки, ограничивающие скорость. Вместо них инженер проложил дорогу, максимально похожую на простую деревенскую улочку: с цветной дорожной плиткой взамен асфальта и тротуаром, идущим вровень с проезжей частью, без бордюров. Как оказалось, как только водители перестали чувствовать себя хозяевами своей стихии – шоссе, – они сами начали сбрасывать скорость, потому что вдруг поняли, что на пути в любой момент может появиться ребенок или велосипедист. Теперь автомобилистам пришлось не гнать через деревню на автопилоте, а постоянно быть начеку на случай осложнения ситуации.

Аналогичный ход Мондерман применил на городских улицах. На месте стандартного перекрестка, где водители привыкли срываться с места, как только загорится зеленый свет, и нередко происходили аварии, он организовал площадь с круговым движением и фонтаном на зеленой лужайке посередине. Он велел убрать все привычные средства для контроля движения – светофоры, знаки, ограничения, предупреждения. Перекресток с большим потоком без единого светофора кажется опасным, но практика показала обратное: после реконструкции число ДТП сократилось вдвое. Круговое движение лишило водителей возможности быстро разгоняться на перекрестке, тому же результату послужили возвышения на месте переходных переходов и велосипедных дорожек; отсутствие ограждений заставило их больше обращать внимание на других участников движения. Пешеходы и велосипедисты, лишенные «безопасного» зеленого сигнала светофора, также стали осмотрительнее. Сейчас такие круговые перекрестки без единого светофора есть по всей Европе, потому что они работают. Вместо ясности и барьеров между участниками движения Мондерман внес путаницу и неоднозначность, но именно они сделали перекресток безопасным: когда водитель понимает, что беды можно ждать отовсюду, он перестает действовать на автомате.