基準率の誤り

p値が小さいことを引き合いに出して，誤差がありえないことを示すしるしだとするニュース記事はしばしば見られる。

こうした記事では，「p = 0.0001だから統計的な偶然としてこの結果が出てくるのは１万回に１度しかない」と書かれたりする。

だが,これは正しくない。

ガン治療薬の例では, p ＜0.05という閾値を用いているが，統計的に有意な結果のうち単なる偶然に過ぎないものは38％だという結果になっている。

このような誤解は基準率の誤り(base rate fallacy)と呼ばれる。

p値がどのように定義されるか，思い出してみよう。

p値とは，真の効果がないか，真の差異がないという仮定のもとで，実際に観測したものと同じか，それよりも極端な差があるデータが収集される確率のことだ。

p値は薬が有効でないという仮定のもとで計算され，自分のデータと同じか，それよりも極端なデータが得られる確率について教えてくれる。

薬が有効である確率については教えてくれないのだ。

p値が小さければ証拠としてはより強力なものになる。

しかし，薬が有効である確率を計算するには，基準率を考慮に入れなくてはならないだろう。

長らく理論上の存在でしかなかったヒッグス粒子という素粒子が存在する証拠を，物理学者が大型ハドロン衝突型加速器を用いて発見したということがあった。

このとき，どのニュース記事も「この結果が単なる偶然である確率は，174万分の１しかない」といったような形で，確率を挙げようとしていた。

だが，挙げられた数値は情報源ごとに異なっていた。

基準率を無視したり，p値を誤って解釈したりした上に，基準率もp値も正確に計算できなかったのだ。

だから，誰かがp値が小さいことを挙げて，自分の研究は多分正しいだろうと述べていたとしたら，実際には誤りである確率がほとんど間違いなく高いことを思い出すようにしよう。

開発初期段階の薬の試験（初期段階の薬のほとんどが試験を切り抜けられない）のように，ほとんどの検定された仮説が偽となるような分野においては，p＜0.05となる統計的に有意な結果のほとんどが実際にはまぐれあたりである可能性が高い。

ちよつとしたクイズ

2002年のある研究で，統計を学ぶ学生の圧倒的大多数が，そして講師もがp値に関する簡単なクイズに答えられなかったという結果が出ている。

p値の本当の意味を理解しているかを確かめるために，このクイズを解いてみよう。

フィクシトルとソルヴィクスという２つの薬の試験をしているとしよう。

処置群は２つあり，一方はフィクシトルを服用し，もう一方はソルヴィクスを服用する。

そして，その後で何らかの標準的な課題（例えば，体力テスト）のできを測定する。

そして，単純な有意性検定で各群の平均得点を比較し，p＝0.01という結果を得た。

このことは平均の間に統計的有意差があることを示唆する。

この前提のもとで，以下の各項目の正誤を判定してみよう。

１．帰無仮説（「平均に差がない」）が誤りであることを完全に示した。

２．帰無仮説が真である確率が1％ある。

３．対立仮説（「平均に差がある」）が正しいことを完全に示した。

４．対立仮説が正しい確率を導き出すことは可能である。

５．帰無仮説の棄却を決めた場合，その判断が間違っている確率が分かる。

６．もし何度も実験を繰り返した場合，繰り返された実験の99％で有意な結果が得られるという意味で，信頼のおける実験結果が得られた。

最初の５つの項目は基準率を無視している。

そして、最後の項目は実験のp値でなく，検定力について問うているものだ。