p値と基準率の誤り

p値は解釈しにくい。

統計的に有意でない結果が得られたとしても，２つのグループに違いがないことになるわけではないのだ。

では，有意な結果が得られた場合はどうだろうか。

ガンを治す見こみがある薬を100種類試験するとしよう。

これらの薬のうち，実際には10種類しか効かないのだが，どれが効くのかは分からない。

よって，効く薬を見つけるために実験をしなくてはならない。

実験においては，薬に有意な利益があることを示すために，偽薬に対してp＜0.05となる薬を探すことになる。

実際には， 10種類の薬しか効かない。

ただし，ほとんどの試験では有効な薬をすべて発見できるわけではない。

このため，検定力が0.8であると仮定する（なお，ほとんどの研究はこれより検定力がずっと低い）。

よって，10種類の有効な薬のうち，およそ８種類の薬を正しく検出することになる。

p値の閾値が0.05になっているため，効果のない薬が効くという誤った結論に至る可能性が5％ある。

そして，試験した薬のうち90種類が効果がないのだから，そのうちおよそ５種類が有意な効果のある薬だという結論に至ることになるだろう。

実験をしたところ，「効く」薬が13種類あると結論するに至った。そのうち，８種類が真に有効な薬で，５種類が偽陽性となった薬だ。

つまり，「効く」薬が本当に有効である可能性は13個中８個だ。

なんと，たったの62％だ！　

統計的に有意な結果が実は偽陽性である割合，つまり統計学の用語で言えば，偽発見率(false discovery rate) は38％だということになる。

有効なガン治療薬の基準率がたったの10％ととても低いために、偽陽性に遭遇する機会が多くなってしまっている。

極端な話、完全に効果がない薬がトラック１台分あるという不幸な状態におちいれば，基準率が０％なので，本当に有意な結果が得られる可能性はまったくない。

それにもかかわらず，卜ラックの中の薬のうち5％について、P＜0.05という結果が得られてしまう。