Меню Главная Случайная статья Настройки Парадокс Линдли Материал из https://ru.wikipedia.org Парадокс Линдли — это контринтуитивная ситуация в статистике, при которой байесовский и частотный[англ.] подходы к задаче проверки гипотез дают различные результаты при определённом выборе априорного распределения. Проблема разногласия между двумя подходами обсуждалась в книге Гарольда Джеффриса 1939 года[1]. Проблема стала известна как парадокс Линдли после того, как Деннис Линдли высказал несогласие с парадоксом в статье 1957 года[2]. Хотя ситуация описывается как парадокс, различие байесовского и частотного подходов можно объяснить использованием их для ответа на фундаментально различные вопросы, а не действительного разногласия между двумя методами. Как бы то ни было, для большого класса априорные разности между частотным и байесовским подходами вызваны сохранением уровня значимости. Как Линдли понял: «теория не может обосновать практику сохранения уровня значимости» и даже «некоторые вычисления, сделанные профессором Пирсоном в обсуждении этой статьи, подчёркивают, насколько уровень значимости может меняться с изменением размера выборки, если потери и априорные вероятности остаются неизменными»[2]. Если критичное (?) значение растёт с ростом размера выборки достаточно быстро, рассогласование между частотным и байесовским подходами становится ничтожным[3][4]. Содержание 1 Описание парадокса 2 Численный пример 2.1 Частотный подход 2.2 Байесовский подход 2.3 Примирение байесовского и частотного подходов 2.4 Отсутствие действительного парадокса 3 Современное обсуждение 4 См. также 5 Примечания 6 Литература Описание парадокса Рассмотрим результат ${\displaystyle x}$ некоторого эксперимента с двумя возможными объяснениями, гипотезами ${\displaystyle H_{0}}$ и ${\displaystyle H_{1}}$, и некоторым априорным распределением ${\displaystyle \pi }$, представляющим неопределённость, какая гипотеза более точна перед рассмотрением ${\displaystyle x}$. Парадокс Линдли обнаруживается в случае: Результат ${\displaystyle x}$ оказывается «значимым» для частотного теста гипотезы ${\displaystyle H_{0}}$, показывающим значимое свидетельство к отбрасыванию гипотезы ${\displaystyle H_{0}}$, скажем, на уровне 5 %. Апостериорная вероятность гипотезы ${\displaystyle H_{0}}$, задаваемая результатом ${\displaystyle x}$ высока, что убедительно свидетельствует о том, что гипотеза ${\displaystyle H_{0}}$ больше согласуется с ${\displaystyle x}$, чем гипотеза ${\displaystyle H_{1}}$. Эти результаты могут случиться в одно и то же время, если ${\displaystyle H_{0}}$ очень специфично, ${\displaystyle H_{1}}$ более размыто, а априорное распределение не даёт предпочтения ни одному из них, как показано ниже. Численный пример Мы можем проиллюстрировать парадокс Линдли численным примером. Представим себе город, в котором родились 49581 мальчиков и 48870 девочек за определённый период времени. Наблюдаемая доля ${\displaystyle x}$ мальчиков составляет 49581/98451 0,5036. Мы предполагаем, что число рождений мальчиков является биномиальной переменной с параметром ${\displaystyle \theta }$. Мы хотим проверить, равно ли ${\displaystyle \theta }$ 0,5 или другому значению. То есть наша нулевая гипотеза гласит: ${\displaystyle H_{0}:\theta =0,5}$, а альтернативной гипотезой будет ${\displaystyle H_{1}:\theta \neq 0,5}$. Частотный подход Частотный подход проверки ${\displaystyle H_{0}}$ заключается в вычислении p-значения, вероятности наблюдения доли мальчиков не менее ${\displaystyle x}$ в предположении, что гипотеза ${\displaystyle H_{0}}$ верна. Поскольку число рождений большое, мы можем использовать нормальную аппроксимацию для доли рождения мальчиков ${\displaystyle X\sim N(\mu ,\sigma ^{2})}$, с ${\displaystyle \mu =np=n\theta =98451\times 0,5=49225,5}$ и ${\displaystyle \sigma ^{2}=n\theta (1-\theta )=98451\times 0,5\times 0,5=24612,75}$ для вычисления ${\displaystyle {\begin{aligned}P(X\geq x\mid \mu =49225,5)=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-({\frac {u-\mu }{\sigma }})^{2}/2}du\\=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi (24612,75)}}}e^{-{\frac {(u-49225,5)^{2}}{24612,75}}/2}du\approx 0,0117.\end{aligned}}}$ Мы также будем удивлены, если рассмотрим рождение 48870 девочек, то есть ${\displaystyle x\approx 0,4964}$, так что частотный тест обычно осуществаляет двухстороннюю проверку, для которой p-значение было бы ${\displaystyle p\approx 2\times 0,0117=0,0235}$. В обоих случаях p-значение меньше уровня значимости ${\displaystyle \alpha }$ в 5%, так что частотный подход отвергает гипотезу ${\displaystyle H_{0}}$ как несогласующуюся с наблюдаемыми данными. Байесовский подход Предполагая, что нет причин для предпочтения одной гипотезы другой, байесовский подход заключается в назначении априорных вероятностей ${\displaystyle \pi (H_{0})=\pi (H_{1})=0,5}$, однородного распределения для ${\displaystyle \theta }$ для гипотезы ${\displaystyle H_{1}}$ и, затем, вычисления апостериорной вероятности для ${\displaystyle H_{0}}$ с помощью теоремы Байеса, ${\displaystyle P(H_{0}\mid k)={\frac {P(k\mid H_{0})\pi (H_{0})}{P(k\mid H_{0})\pi (H_{0})+P(k\mid H_{1})\pi (H_{1})}}.}$ После наблюдения рождения ${\displaystyle k=49581}$ мальчиков из ${\displaystyle n=98451}$ новорождённых мы можем вычислить апостериорную вероятность каждой гипотезы с помощью функции распределения масс для биномиальной переменной, ${\displaystyle {\begin{aligned}P(k\mid H_{0})&={n \choose k}(0,5)^{k}(1-0,5)^{n-k}\approx 1,95\times 10^{-4}\\P(k\mid H_{1})&=\int _{0}^{1}{n \choose k}\theta ^{k}(1-\theta )^{n-k}d\theta ={n \choose k}\mathrm {\mathrm {B} } (k+1,n-k+1)=1/(n+1)\approx 1,02\times 10^{-5}\end{aligned}}}$ где ${\displaystyle \mathrm {\mathrm {B} } (a,b)}$ является бета-функцией. Из этих значений мы находим апостериорную вероятность ${\displaystyle P(H_{0}\mid k)\approx 0,95}$, которая строго предпочитает ${\displaystyle H_{0}}$ перед ${\displaystyle H_{1}}$. Два подхода, частотный и байесовский, оказываются в конфликте, а это и есть «парадокс». Примирение байесовского и частотного подходов Однако, по меньшей мере, в примере Линдли, если мы возьмём последовательность уровней значимости ${\displaystyle \alpha _{n}}$, таких, что ${\displaystyle \alpha _{n}=n^{-k}}$ с ${\displaystyle k>{\tfrac {1}{2}}}$, то апостериорная вероятность нулевой гипотезы стремится к 0, что согласуется с отказом от нулевой гипотезы[3]. В нашем числовом примере, если принять ${\displaystyle k>{\tfrac {1}{2}}}$, в результате получим уровень значимости 0,00318, так что частотный подход не будет отбрасывать нулевую гипотезу, которая в общих чертах согласуется с байесовским подходом. Если используется информативное априорное распределение и проверка гипотезы, более похожей на гипотезу в частотном подходе, парадокс исчезает. Например, если мы вычисляем апостериорное распределение ${\displaystyle P(\theta \mid x,n)}$, используя однородное априорное распределение с ${\displaystyle \theta }$ (то есть ${\displaystyle \pi (\theta \in [0,1])=1}$), мы получим ${\displaystyle P(\theta \mid k,n)=\mathrm {\mathrm {B} } (k+1,n-k+1).}$ Если мы используем это для проверки вероятности, что новорождённый более вероятно будет мальчиком, чем девочкой, то есть ${\displaystyle P(\theta >0,5\mid k,n)}$, мы получим: ${\displaystyle \int _{0,5}^{1}\mathrm {\mathrm {B} } (49582,48871)\approx 0,983.}$ Другими словами, очень похоже, что пропорция рождения мальчиков выше 0,5. Ни один из анализов не даёт оценку величины эффекта[англ.] прямо, но оба могут быть использованы для определения, например, является ли доля рождений мальчиков выше некоторого определённого порога. Отсутствие действительного парадокса Явное расхождение между двумя подходами вызвано комбинацией факторов. Во-первых, частотный подход проверяет ${\displaystyle H_{0}}$ выше без учёта ${\displaystyle H_{1}}$. Байесовский подход вычисляет ${\displaystyle H_{0}}$ как альтернативу к ${\displaystyle H_{1}}$ и находит, что первая гипотеза больше согласуется с наблюдениями. Это потому, что последняя гипотеза существенно более размыта, так как значение ${\displaystyle \theta }$ может быть любым в интервале ${\displaystyle [0,1]}$, что приводит к очень низкой апостериорной вероятности. Чтобы понять, почему, полезно рассмотреть две гипотезы как генераторы наблюдений: В гипотезе ${\displaystyle H_{0}}$ мы выбираем ${\displaystyle \theta \approx 0,500}$ и задаём вопрос, насколько правдоподобно видеть 49581 мальчика при 98451 новорождённом. В гипотезе ${\displaystyle H_{1}}$ мы выбираем ${\displaystyle \theta }$ случайно между 0 и 1 и задаём тот же вопрос. Большинство возможных значений для ${\displaystyle \theta }$ при гипотезе ${\displaystyle H_{1}}$ очень плохо поддерживаются наблюдениями. По существу, явное несогласие между методами вообще не является несогласием, а являются двумя различными утверждениями относительно данных: Частотный подход находит, что ${\displaystyle H_{0}}$ плохо объясняется наблюдениями. Байесовский подход находит, что гипотеза ${\displaystyle H_{0}}$ существенно лучше объясняется наблюдениями, чем гипотеза ${\displaystyle H_{1}}$. Отношение пола новорождённых в 50/50 (мальчиков/девочек) согласно частотному тесту неправдоподобно. Всё же отношение 50/50 является лучшим приближением, чем большинство, но не все другие отношения. Гипотеза ${\displaystyle \theta \approx 0,504}$ подходила бы наблюдениям много лучше, чем все другие отношения, включая ${\displaystyle \theta \approx 0,500}$. Например[5], из этого выбора гипотезы и априорной вероятности следует утверждение: «Если ${\displaystyle \theta }$ > 0,49 и ${\displaystyle \theta }$ < 0,51, то априорная вероятность ${\displaystyle \theta }$ быть ровно 0,5 равна 0,50/0,51 ${\displaystyle \approx }$ 98 %». Если дано такое сильное предпочтение для ${\displaystyle \theta =0,5}$, легко видеть, что байесовский подход высказывается в пользу ${\displaystyle H_{0}}$, учитывая, что ${\displaystyle x\approx 0,5036}$, даже когда наблюдаемое значение ${\displaystyle x}$ лежит в ${\displaystyle 2,28\sigma }$ от 0,5. Отклонение более ${\displaystyle 2\sigma }$ от ${\displaystyle H_{0}}$ считается значимым в частотном подходе, но значимость отклоняется априорной вероятностью в байесовском подходе. Если смотреть в другую сторону, мы можем видеть, что априорное распределение существенно плоским с дельта-функцией в точке ${\displaystyle \theta =0,5}$. Ясно, что является сомнительным. Фактически, если вы попробуете нарисовать вещественные числа как непрерывные, будет логично предположить, что невозможно для заданного параметра ${\displaystyle P(\theta =0,5)=0}$. Более реалистичное распределение для ${\displaystyle \theta }$ на альтернативной гипотезе даёт менее удивительные результаты для апостериорной вероятности гипотезы ${\displaystyle H_{0}}$. Например, если мы заменим ${\displaystyle H_{1}}$ на ${\displaystyle H_{2}:\theta =x}$, то есть оценку максимального правдоподобия для ${\displaystyle \theta }$, апостериорная вероятность гипотезы ${\displaystyle H_{0}}$ будет только 0,07 по сравнению с 0,93 для гипотезы ${\displaystyle H_{2}}$ (конечно, нельзя использовать в действительности оценку максимального правдоподобия как часть априорного распределения). Современное обсуждение Парадокс продолжает активно обсуждаться[3][6][7]. См. также Коэффициент Байеса Примечания Jeffreys, 1939. 1 2 Lindley, 1957, с. 187–192. 1 2 3 Spanos, 2013, с. 73–93. Naaman, 2016, с. 1526–1550. Данный раздел в английской версии подвергается критике как требующий полной переработки. Sprenger, 2013, с. 733–744. Robert, 2014. Литература Glenn Shafer. Lindley's paradox // Journal of the American Statistical Association. — 1982. — Т. 77, вып. 378. — С. 325–334. — doi:10.2307/2287244. — . Harold Jeffreys. Theory of Probability. — Oxford University Press, 1939. Lindley D.V. A Statistical Paradox // Biometrika. — 1957. — Т. 44, вып. 1–2. — doi:10.1093/biomet/44.1-2.187. — . Michael Naaman. Almost sure hypothesis testing and a resolution of the Jeffreys-Lindley paradox // Electronic Journal of Statistics. — 2016. — Т. 10, вып. 1. — ISSN 1935-7524. — doi:10.1214/16-EJS1146. Aris Spanos. Who should be afraid of the Jeffreys-Lindley paradox? // Philosophy of Science. — 2013. — Т. 80.1. — doi:10.1086/668875. Jan Sprenger. Testing a Precise Null Hypothesis: The Case of Lindley's Paradox // Philosophy of Science. — 2013. — Т. 80. — doi:10.1086/673730. Christian P. Robert. On the Jeffreys-Lindley Paradox // Philosophy of Science. — 2014. — Т. 81.2. — doi:10.1086/675729. — arXiv:1303.5973.