Секрет фокуса прост. Он работает только в одном случае из двадцати, и, скорее всего, я ваше число не угадал. Девятнадцать читателей из двадцати не будут впечатлены, но, возможно, именно с вами мне повезло, и вы на секунду удивились. Если повторять этот фокус много раз, каждый раз с новой девушкой (или читателем), с кем-нибудь он неизбежно сработает. Вероятность угадать в одном испытании равна 5 %, но вероятность угадать хотя бы раз, имея двадцать попыток, уже превышает 64 %. При ста испытаниях трюк удастся хотя бы раз с вероятностью 99,4 %!

Проблема “множественных сравнений” (или множественных испытаний) возникает в статистике, когда мы проверяем не одну гипотезу, а множество похожих. Для ее иллюстрации используется простая формула Y = (1,00–0,95^>N)×100 %, где N обозначает число сравнений, а Y – вероятность того, что по случайным причинам хотя бы в одном из них будет обнаружено статистически достоверное отличие при пороге значимости 0,05.

В 2012 году доктор Крейг Беннет получил Шнобелевскую премию за удивительную статью. Он искал у лосося участок мозга, отвечающий за распознавание человеческих эмоций. Для этого он показывал рыбе серию фотографий, на которых были изображены люди в разных социальных ситуациях, с разным эмоциональным оттенком, и анализировал активность мозга рыбы с помощью томографа. Оказалось, что мозг рыбы по-разному реагирует на разные фотографии людей! Этот результат особенно удивителен, если учесть, что лосось в исследовании был дохлым^>142.

На самом деле Беннет пытался привлечь внимание к важной проблеме. Стандартные приборы, измеряющие активность мозга, имеют погрешности в измерениях, шум. Если измерить активность мозга одновременно в огромном количестве независимых участков, в некоторых из них по случайным причинам может обнаружиться статистически достоверный сигнал, который можно ошибочно интерпретировать как признак мозговой активности (реакцию на изображения). Так Беннет продемонстрировал, что проблема множественных сравнений порой приводит к неожиданным биологическим результатам.

Самый простой способ учесть множественные сравнения – ввести поправку, названную в честь итальянского математика Карло Эмилио Бонферрони^>143. Поправка гласит, что если экспериментатор проверяет не одну, а сразу n гипотез, ему следует проверять каждую гипотезу не против уровня значимости α, а против уровня значимости α/n. Есть и другие способы учесть множественные сравнения, но этот проще объяснить, а выводы, которые будут сделаны в этой главе, справедливы и при использовании других распространенных поправок.

Предположим, что пять девушек независимо загадали натуральное число от одного до сорока. И я, назвавшись экстрасенсом, угадал число одной из них. Можно ли отвергнуть нулевую гипотезу, что я не умею читать мысли, используя самый мягкий порог статистической значимости, α = 0,05? Без поправки Бонферрони мы получаем, что в случае с одной из девушек случилось событие, вероятность которого 1/40, – я угадал ее число. Эта вероятность меньше, чем α = 0,05, а значит, есть основания полагать, что я умею читать мысли. Но свои экстрасенсорные способности я опробовал на пяти девушках. Следовательно, мы имеем дело с пятью множественными сравнениями. Поэтому порог α = 0,05 мы делим на пять и получаем новый порог α = 0,01, что уже меньше, чем 1/40. Теперь мы приходим к выводу, что даже при самом мягком пороге статистической значимости нельзя исключить гипотезу, что мне просто повезло.

Поправка Бонферрони достаточно консервативна, то есть значительно снижает риск обнаружения ложноположительных результатов, но одновременно увеличивает количество ложноотрицательных. Мы рискуем пропустить какую-то важную закономерность, поэтому использовать ее нужно осторожно. Однако в примерах работ, которые я буду разбирать ниже, эта поправка оправдана по нескольким причинам