Синоптик по телевизору говорит: завтра семьдесят процентов вероятности дождя. Вы берёте зонт. Дождь не идёт. Синоптика обманули? Синоптик ошибся? На самом деле ни то, ни другое. Утверждение "семьдесят процентов" не про завтрашний день конкретно, оно про сто похожих завтрашних дней, из которых семьдесят будут дождливыми, а тридцать сухими, и никто заранее не скажет, в какую из двух групп попадёт именно ваше завтра. Уже здесь, на уровне бытового прогноза погоды, прячется целый ворох философских споров, которые математики и статистики не разрешили за три с половиной века. Разберёмся, откуда взялась эта наука, почему у слова "вероятность" нет одного согласованного смысла даже среди специалистов, и почему мозг человека упорно обманывает сам себя, стоит только заговорить о шансах.

В тысяча шестьсот пятьдесят четвёртом году французский аристократ и любитель азартных игр по имени Шевалье де Мере обратился с вопросом к математику Блезу Паскалю. Вопрос был сугубо практический, из разряда "как не продуть в казино": если бросить кость четыре раза, шанс выпадения хотя бы одной шестёрки чуть выше половины, а если бросить пару костей двадцать четыре раза, шанс выпадения хотя бы одной пары шестёрок почему-то ниже половины, хотя интуиция подсказывает обратное. Паскаль переписывался по этому поводу с Пьером Ферма, и из этой переписки родилась математическая теория вероятностей как самостоятельная дисциплина. Показательная деталь: наука, которая сегодня лежит в основе медицинской диагностики, страхования жизни, ядерной физики и алгоритмов, которые решают, показывать вам в ленте котиков или рекламу, выросла из спора о том, как правильно делить ставки в игре в кости.

Столетием позже английский священник Томас Байес сформулировал правило, которое переворачивает саму логику рассуждения о шансах. Обычная логика идёт от причины к следствию: если монета без изъянов, вероятность выпадения орла пятьдесят процентов. Байесовская логика идёт в обратную сторону: у вас есть наблюдение, орёл выпал семь раз подряд, и вы хотите понять, насколько вероятно, что монета нормальная. Работу Байеса опубликовали уже после его смерти, а довёл её до стройного вида французский математик Пьер-Симон Лаплас, который в начале девятнадцатого века применял этот метод для оценки массы Сатурна по астрономическим наблюдениям с ошибками измерения. С тех пор байесовский подход то уходил в тень, то возвращался, и сегодня он снова на подъёме благодаря компьютерам, которые способны считать то, что вручную посчитать было практически нереально.

Вот тут начинается настоящая путаница, которую редко объясняют в школе, а зря, потому что без неё многие споры вокруг статистики выглядят как склока специалистов на пустом месте, хотя склока эта имеет глубокие философские корни.

Первый смысл, классический, идёт от Лапласа: вероятность события равна отношению числа благоприятных исходов к числу всех равновозможных исходов. У монеты два исхода, оба равновозможны по соображениям симметрии, значит вероятность орла одна вторая. Подход элегантный, но работает только там, где можно заранее пересчитать все исходы и обосновать их равноправность, а с реальным миром, где кости неидеальны, монеты имеют смещенный центр тяжести, а событий бесконечно много, он справляется плохо.

Второй смысл, частотный, разработан в основном в начале двадцатого века Ричардом фон Мизесом и другими: вероятность события есть предел частоты, с которой это событие происходит при очень большом числе повторений одного и того же испытания. Подбросьте монету миллион раз, посчитайте долю орлов, эта доля и есть вероятность. Подход строгий и прекрасно подходит для игральных костей, генетики популяций, контроля качества на заводе, где испытание действительно можно повторять сколько угодно раз в одинаковых условиях. Проблема начинается там, где повторить испытание нельзя в принципе. Какова вероятность, что кандидат победит на завтрашних выборах? Какова вероятность, что определённая компания обанкротится в течение года? Выборы завтра случатся один раз, компания обанкротится или нет один раз, никакой серии одинаковых повторений тут нет и быть не может, а частотное определение без такой серии повисает в воздухе.

Третий смысл, субъективный или байесовский, говорит: вероятность есть мера уверенности конкретного рассуждающего человека или системы в истинности утверждения, основанная на всей доступной информации, и эта мера обновляется по мере поступления новых данных по правилу Байеса. С этой точки зрения фраза "вероятность победы кандидата на завтрашних выборах семьдесят процентов" вполне осмысленна, она означает степень уверенности эксперта, построенную на опросах, истории прошлых выборов и текущей политической обстановке. Подход гибкий и применим почти везде, но критики указывают на очевидную слабость: у разных экспертов будет разная степень уверенности, основанная на разных исходных предположениях, и споры превращаются в перетягивание каната вокруг того, чья интуиция лучше откалибрована.

Важно понимать: это не три конкурирующие теории, из которых одна правильная, а две ошибочные. Это три разных ответа на вопрос "что вообще означает слово вероятность", и профессиональное статистическое сообщество не пришло к согласию по этому вопросу и, судя по всему, не придёт в обозримом будущем. В университетской практике вы встретите отделения статистики, где студентов учат почти исключительно частотным методам, и отделения, где доминирует байесовский подход, и преподаватели этих отделений порой годами спорят на конференциях, кто из них ближе к сути дела.

Одна из немногих вещей, с которыми согласны все стороны спора, называется законом больших чисел: при увеличении числа независимых повторений одного и того же случайного процесса среднее наблюдаемое значение стремится к теоретическому ожидаемому значению. Казино зарабатывает деньги не потому, что обманывает игроков в каждой отдельной партии, а потому, что на миллионах партий закон больших чисел работает в его пользу с математической неотвратимостью, даже если отдельный вечер выдался убыточным для заведения.

С этим законом соседствует другое явление, которое статистики называют регрессией к среднему, а обыватели чаще принимают за мистику или проклятие. Английский учёный Фрэнсис Гальтон в конце девятнадцатого века изучал рост отцов и сыновей и заметил закономерность: у очень высоких отцов сыновья в среднем чуть ниже отцов, а у очень низких отцов сыновья в среднем чуть выше. Дело не в том, что природа стремится всех уравнять по злому умыслу. Дело в том, что рост складывается из наследственности и случайных факторов, и человек, попавший в крайнюю группу по росту, скорее всего попал туда отчасти благодаря удачному стечению случайных факторов, которое вряд ли повторится у потомка в той же степени. Этот же эффект объясняет, почему спортсмен, показавший рекордный результат, в следующий раз чаще выступает слабее, почему студент, получивший экстремально низкую оценку, в следующий раз чаще получает оценку получше, и почему многие суеверия про "проклятие обложки журнала" или "эффект второго сезона" на самом деле статистическая иллюзия, а не мистика.

Даже понимая теорию, человеческое мышление систематически спотыкается о вероятность, и это не признак глупости, а особенность работы интуиции, эволюционно заточенной под другие задачи. Психологи Даниэль Канеман и Амос Тверски описали десятки таких систематических искажений, и несколько из них стоит знать каждому, кто хочет рассуждать о шансах трезво.

Ошибка игрока состоит в убеждении, что после серии орлов следующий бросок монеты "должен" выпасть решкой, потому что вероятность как будто накопилась и требует разрядки. Монета не помнит предыдущих бросков, каждый бросок независим, и после десяти орлов подряд вероятность одиннадцатого орла остаётся ровно той же самой, пятьдесят на пятьдесят, сколько бы игроков в казино ни ставили на решку из суеверия.

Пренебрежение базовой частотой проявляется, когда человек оценивает вероятность события, полностью игнорируя то, насколько редким это событие является само по себе в общей популяции. Классический пример из медицины: тест на редкую болезнь даёт положительный результат, чувствительность теста девяносто девять процентов, специфичность тоже девяносто девять процентов, казалось бы, почти наверняка болезнь есть. Но если болезнь встречается у одного человека из десяти тысяч, то среди десяти тысяч обследованных положительный результат покажет примерно сто здоровых людей из-за ложных срабатываний, и только один человек будет действительно болен, а значит при положительном результате теста реальная вероятность болезни составляет около одного процента, а не девяноста девяти. Врачи, которым в исследованиях предлагали именно такую задачу, регулярно называли неверный ответ, потому что мозг цепляется за впечатляющую цифру точности теста и упускает из виду редкость самой болезни.

Родственная ошибка получила название ошибки прокурора и регулярно всплывает в судебных заседаниях: если вероятность случайного совпадения ДНК подозреваемого с образцом с места преступления составляет один к миллиону, прокурор порой заявляет, что вероятность невиновности подозреваемого один к миллиону, что логически неверно и способно отправить невиновного человека за решётку. Вероятность совпадения ДНК при условии невиновности не равна вероятности невиновности при условии совпадения ДНК, это два разных вопроса, которые звучат похоже, но математически различны, и путаница между ними стоила свободы не одному реальному человеку в реальных судебных процессах.

Ещё одна иллюзия, конъюнкции, показана Канеманом и Тверски на знаменитом примере с вымышленной женщиной по имени Линда, описанной как активистка и человек прогрессивных взглядов. Испытуемым предлагали оценить, что вероятнее: Линда работает кассиром в банке, или Линда работает кассиром в банке и одновременно участвует в феминистском движении. Большинство отвечало, что второй вариант вероятнее, хотя по законам логики любое сочетание двух условий не может быть вероятнее одного из этих условий по отдельности: множество "кассиры-феминистки" целиком лежит внутри множества "кассиры", а значит не может быть больше него. Мозг подменяет вопрос о вероятности вопросом о правдоподобии истории, а хорошо складывающаяся история кажется убедительнее сухой статистики, даже если статистически она менее вероятна.

Отдельного упоминания заслуживает задача, которая в своё время расколола читателей популярного американского журнала на два лагеря, включая профессиональных математиков, часть которых отправляла в редакцию гневные письма. Условие простое: перед участником телешоу три двери, за одной автомобиль, за двумя другими козы. Участник выбирает дверь, ведущий, знающий, где спрятан приз, открывает одну из оставшихся дверей с козой и предлагает участнику сменить первоначальный выбор на оставшуюся закрытую дверь. Стоит ли соглашаться на обмен?

Интуиция большинства людей подсказывает, что после открытия одной двери шансы распределились поровну между оставшимися двумя дверями, пятьдесят на пятьдесят, и менять выбор бессмысленно. На деле смена выбора удваивает шансы выиграть автомобиль, с одной третьей до двух третьих. Причина в том, что ведущий не выбирает дверь наугад, он всегда открывает дверь с козой, и это действие несёт в себе информацию, которую интуиция не учитывает автоматически. Задача названа в честь ведущего одного из шоу и до сих пор остаётся хорошим тестом на то, насколько интуитивные суждения о вероятности расходятся с формально верными.

В научной практике статистику чаще всего используют для проверки гипотез: помогает ли новое лекарство лучше плацебо, влияет ли определённый ген на продолжительность жизни, отличаются ли две группы испытуемых значимо друг от друга. Стандартный инструмент для такой проверки, p-значение, был предложен статистиком Рональдом Фишером в двадцатых годах прошлого века и с тех пор стал почти религиозным ритуалом во многих областях науки: если p-значение меньше принятого порога, обычно пяти сотых, результат объявляется статистически значимым и попадает в публикацию, если больше порога, результат обычно в публикацию не попадает вовсе.

Проблема в том, что p-значение отвечает на узкий и не самый интуитивный вопрос: какова вероятность получить наблюдаемые или ещё более экстремальные данные при условии, что на самом деле никакого эффекта нет. Это не вероятность того, что эффект реален, и не вероятность того, что гипотеза верна, хотя именно так это число интерпретируют очень многие исследователи, включая тех, кто публикует статьи в солидных журналах. К десятым годам двадцать первого века накопилось достаточно случаев, когда результаты, объявленные статистически значимыми, не удавалось повторить в независимых лабораториях: масштабный проект по воспроизведению психологических исследований, опубликованный в двух тысячи пятнадцатом году, показал, что заметная доля классических результатов психологии не подтверждается при повторных экспериментах, проведённых по тем же протоколам. Явление получило название кризиса воспроизводимости, и оно затронуло не только психологию, но и медицину, экономику и другие эмпирические дисциплины.

В две тысячи шестнадцатом году Американская статистическая ассоциация впервые за свою историю выпустила официальное заявление по конкретному методологическому вопросу, предупреждая научное сообщество об опасностях слепого использования порога значимости и о повсеместных неверных истолкованиях p-значения. Заявление само стало предметом спора: часть статистиков сочла его слишком осторожным и обтекаемым, недостаточно решительно осуждающим саму практику порогового мышления, другая часть возражала, что отмена порогов значимости приведёт не к оздоровлению науки, а к ещё большему произволу при отборе результатов для публикации. Разброс предложений по решению проблемы огромен: одни статистики предлагают ужесточить порог значимости на порядок, другие настаивают на полном отказе от p-значений в пользу байесовских методов оценки правдоподобия гипотез, третьи делают ставку не на статистику как таковую, а на организационные меры вроде обязательной предварительной регистрации протокола исследования до сбора данных и независимого повторения экспериментов другими лабораториями прежде публикации. Единого рецепта нет, и десять лет споров пока не привели статистическое сообщество к согласию.

Вероятность и статистика не дают человеку хрустального шара, который снимает неопределённость будущего. Они дают язык, на котором можно описывать степень этой неопределённости, не притворяясь, что её нет, и не впадая в панику от того, что она есть.

Практическое следствие для повседневной жизни простое. Столкнувшись с цифрой вероятности, будь то прогноз погоды, результат медицинского теста или обещание банка про доходность вклада, стоит задать себе два вопроса. Первый: относительно какой группы похожих случаев эта цифра посчитана, и подхожу ли я под эту группу. Второй: насколько редким было бы это событие само по себе, ещё до того, как появилось новое наблюдение, потому что редкость исходного события часто важнее, чем точность отдельного измерения или теста. Эти два вопроса не требуют высшего образования по статистике. Они требуют привычки останавливаться на секунду перед тем, как поверить первому впечатлению, которое подсовывает интуиция, потому что интуиция, как показали десятилетия исследований, склонна путать редкие события с частыми, случайные совпадения с закономерностями, а хорошо рассказанную историю с математически обоснованным выводом.

Продолжение следует.