ネイマン＝ピアソン流の検定

ｐ値の問題をさらにしっかり理解するには，統計学の歴史を少し学ぶ必要がある。

統計的有意性検定に関する考えには主に２つの学派がある。

１つ目は，Ｒ・Ａ・フィッシャーが1920年代に広めたものだ。

フィッシャーは，ｐ値を仮説検定のための厳密で形式的な手続きの一部と見なすよりは，ひとそろいのデータがどれだけ驚くべきものだろうかということを知るための手軽で形式ばらない方法であると見なした。

ｐ値は，実験者の事前の経験や特定分野の知識と合わせることで，新しいデータをどのように解釈するかについて決めるときに有用なものとなりえる。

フィッシャーの業績が世に出た後，イェジ・ネイマンとエゴン・ピアソンがいくつかの答えられていない問題に取り組んだ。

例えば，かぜ薬の検定では，比較のためのｐ値が得られるかぎり，平均や中央値のほかに，式をでっちあげられそうなものだったら何を使っても，２つのグループを比較できる。

しかし、どうすればどれが最善だと知ることができるのだろうか。

仮説検定において，そもそも「最善」とは何を意味するのだろうか。

科学においては，以下の２種類の誤りを抑えることが重要だ。

それは，効果がないのにあるという結論を出してしまう偽陽性(false positive)と，真の効果に気づくことに失敗してしまう偽陰性(false negative)だ。

ある意味で，偽陽性と偽陰性はコインの裏表の関係にある。

効果についての結論を急ぐ傾向にあれば，偽陽性を得やすくなる。

逆に，あまりに保守的ならば，偽陰性の側で過ちを犯すことになるだろう。

ネイマンとピアソンは，完全に偽陽性と偽陰性を消し去ることは不可能だとしても，偽陽性をあらかじめ定めた割合でしか起こらないように保証する形式的な意思決定手段を開発することは可能だと考えた。

２人は，このあらかじめ定めた割合をαと呼んだ。

そして，２人の考えでは，実験者が経験と期待をもとにαを設定することになっていた。

だから，例えば，偽陽性の割合を10％に抑えたければ，α= 0.1と設定することになる。

しかし，判断をもっと保守的にする必要があれば，αを0.01やそれより小さい値に設定することもありえるかもしれない。

最善な検定手続きを決めるには，選ばれたαに対して偽陰性率が最も低くなるのはどの検定手続きなのかを確かめることになる。

これは実際にはどう働くのだろうか。

ネイマン＝ピアソンの方法論においては，帰無仮説(null hypothesis. 効果が存在しないという仮説）と対立仮説(alternative hypothesis. 「効果が０より大きい」のような仮説）を定義する。

そして，２つの仮説を比較する検定を組み立てた上で，帰無仮説が真だとしたらどんな結果が得られると期待されるかを確かめる。

ネイマン＝ピアソンの検定手続きの実施に当たって，ｐ値は，ｐ＜αであれば帰無仮説を棄却するという点において使用される。

フィッシャーの手続きと異なり，この手法は特定の実験における証拠の強さについてあえて触れない。

今，興味を持っているのは，棄却するかどうかの決定を下すことだけなのだ。

ｐ値の大小は，実験を比較するためには用いられない。

また，「帰無仮説が棄却される可能性がある」ということ以外の結論を出すために用いられるものでもない。

ネイマンとピアソンは以下のように書いている。

「私たちは，特定の仮説に関心が向けられているかぎり，確率理論に基づく検定で，仮説の真偽について価値ある証拠を提供することができるものはないと思っている。しかし，検定の目的を他の視点から見てもよいだろう。個々の仮説の真偽を知ることを望まなければ，検定に関する行動を規定する法則を探すことがあってもよい。以下で保証するように，長期にわたる経験において，あまり頻繁に間違うことはないだろう。」

ネイマンとピアソンの手法はフィッシャーのものと概念的に異なっているが，現役の科学者はしばしば双方を一緒くたにしている。

ネイマン＝ピアソンの手法では、あらかじめ選ばれたｐ値の閾値を用いて、「統計的有意性」を得る。

この閾値は，長期的に見たときの偽陽性率を保証してくれる。

ところで，実験を１つ実施して, p = 0.032が得られたとしよう。

閾値がｐ＜0.05という慣習的に用いられているものならば，これは統計的に有意になる。

だが，閾値がｐ＜0.033だったとしても統計的に有意になる。

こう述べることはよくある誤解なのだが，この結果から「偽陽性率は3.2%だ」と述べる誘惑に駆られることだろう。

しかし，これでは意味が通じない。

単一の実験には偽陽性率というものが存在しない。

偽陽性率は自分の手続きによって決めるもので，単一の実験の結果で決めるものではない。

長期的に見たときの偽陽性率αを得る手続きを用いているのであれば，どんなことが分かったとしても，個々の実験がちょうどｐの偽陽性率を持つとは主張できない。