По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.
Не так-то просто было переупрямить программу – чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.
И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем – или за чем – должно оставаться последнее слово в споре о власти между человеком и машиной?[45]
Борьба за власть
Этот спор начался не сегодня и не вчера. В 1954 году профессор клинической психологии Миннесотского университета Пол Мил опубликовал работу под названием “Клинический и статистический прогнозы” и, решительно заняв крайнюю позицию, взбудоражил целое поколение людей.
В этой книге Мил провел систематическое сравнение деятельности людей и машин на примерах прогнозирования всего на свете, от успеваемости учеников до психического состояния пациентов, и пришел к выводу, что математические модели, независимо от уровня их сложности, почти наверняка дадут более точный ответ, чем люди.
С тех пор, в течение полувека, открытия Мила подтвердились множеством других исследований. Если от вас требуется рассчитать неважно что – медицинский прогноз или возможные объемы продаж, количество попыток самоубийств или степень удовлетворенности карьерным ростом – или дать оценку чему угодно, от годности к военной службе до перспектив выполнения учебного плана, смело ставьте на алгоритм[46][47]. Машина тоже немного промахнется, но если позволить человеку отвергать ее решения, ошибки будут еще более грубыми.[48]
Наверное, в этом нет ничего удивительного. Мы не созданы для вычислений. Мы не предполагаем, что в супермаркете отряд кассиров примется разглядывать наши покупки, пытаясь определить их стоимость. Мы позволяем простейшей программе сосчитать все за нас. И в большинстве случаев мы только выиграем, если предоставим это машине. Как шутят летчики, лучший экипаж состоит из троих членов – пилота, компьютера и собаки. Компьютер управляет самолетом, пилот кормит собаку, а собака кусает пилота, если тот попробует прикоснуться к компьютеру.
Но отношения с машинами у нас немного странные. Мы доверчивы как дети, если ничего не понимаем, и в то же время у нас есть отвратительная привычка вмешиваться в работу машины и даже полностью игнорировать ее и полагаться на собственные неверные суждения, если нам известно, что она может ошибиться. Специалисты называют это неприятием алгоритмов. К ошибкам машин люди относятся менее снисходительно, чем к своим, даже если их собственные ошибки гораздо страшнее.
Это явление не раз воспроизводилось в разных экспериментах[49], да вы и сами заметите у себя такое же свойство. Когда приложение в телефоне утверждает, что дорога займет больше времени, чем мне кажется, я уверена, что знаю лучше – хотя, скорее всего, рискую опоздать. Все мы хоть раз да обозвали своего голосового помощника идиотом, почему-то забывая в этот момент, что устройство, которое мы держим в руке, создано благодаря фантастическому развитию современных технологий. И поначалу, маясь в пробках под руководством пока еще нового для меня навигационного приложения