超能力を持つ統計

ｐ値に関して何とも言いようのない問題が，ｐ値の限界のかげに隠されている。

ｐ値が薬や処置ではなく運が実験における唯一の要因であるという仮定のもとで計算されることと，ｐ値が観測されたものと同じぐらいかより極端な結果を得る確率として定義されることを思い出そう。

このことはｐ値を用いることで，実際には決して起こらなかった結果，つまり，観測されたものより極端な結果についての推論を強制されることを意味する。

こうした結果を得る確率は実験計画によって決まってくる。そして，実験計画がｐ値を「超能力者」にする。

２つの実験で，計画が異なれば、同一のデータなのに異なったｐ値を生み出すことがある。

観測されなかったデータが異なるためだ。

統計的推論に関するマルバツ問題が12問出され，そのうち９問に正解したとしよう。

ここで，あてずっぽうで答えたという仮説を検定したいとする。

この検定をするためには，単純に各問であてずっぽうでマルかバツかを選んだときに，少なくとも９問に正解する確率を計算する必要がある。

マルとバツを同じ確率で選んでいたとしたら, ｐ= 0.073と計算される。

そして, ｐ＞0.05だから，あてずっぽうだったということはありえそうだ。

もしあてずっぽうで答えたとしたら，９問以上に正解する確率が7.3%なのだ。

だが，12問だけ問うというのは本来の計画でなかったかもしれない。

無限に問題を生み出すコンピューターがあって，単に３問間違えるまで出題を続けるというものだったかもしれないのだ。

こうなると，15問，20問，あるいは47問出題されてから，３問不正解になる確率を計算しなくてはならない。

しかも，３問間違えるまでに17万5231問が出題されるというわずかな可能性についても含めなくてはならない。

計算すると，ｐ= 0.033が得られる。

ｐ＜0.05なので，あてずっぽうで答えていればこの結果が生じることはありえそうにないと結論づけることになる。

これは困った話だ。

２つの実験で同一のデータを集めたのに，異なった結論に終わるということがありえるのだ。

どういうわけか，ｐ値は意図を読み取ることができている。