仮説検定における証明と反証

一般に，証明というのは大変難しいです。

ある命題を証明することは難しいです。

例えば，「彼は人格者だ」ということを証明するのは，彼を知っている友人すべてに聞いて回る必要があります。

簡単にはできません。

肯定する回答を１個ずつ集めれば，その分だけこの命題が補強され，信頼性は高まってきます。

ただし，補強度は低下していきます。

完ぺきに証明することは難しいです。

しかし「彼は他人の失敗を言い触らしていた」との一言で，「彼は人格者だ」という命題を覆すことができます。

つまり，この命題に反する証拠をたった１つ挙げるだけで，命題はもろくも崩されます。

「否定の力は肯定の力よりも強い」のです。

帰無仮説

あることを主張したい，例えば「αとβは異なる」といいたいときは，直接そういうのではなく，それを否定する主張「αとβは同じ」（帰無仮説という. Null hypothesis, H0と書く）をまず立てて，これが成立する確率がどの程度かを計算します。

この確率が小さいほど，「αとβは同じ」という帰無仮説を棄却することになります。

帰無仮説が無に帰して(nullified),初めて，最初に実は言いたかった「αとβは異なる」（対立仮説という. alternative hypothesis, H1と書く）がいえたことになります。

これで帰無仮説という名前のゆえんがわかるでしょう。

いわば，言いたいことの反対を検定にかけてこれを否定して，結局言いたいことを言おうというわけです。

死んだ振りをして反対に生き返ろうという粗筋です。

高等な説得法です。

統計的な仮説検定

命題のシロクロをはっきりとつけることは不可能ではないかもしれないが，そのためには莫大な時間とコストとデータが不可欠です。

そこで，ある一定の限られた時間，コストおよびデータから，厳密性を多少は犠牲にしても，何らかのことを言おうとする立場が当然出てきます。

その代わりに断言はできません。

何パーセントの確率でその命題が成立するかどうかを述べることで満足する立場です。

たとえ曖昧さを残しても，何とかある主張をしたいのです。

いま，北海道産のトウモロコシがあり，その90％は良品で残り10％が不良品と主張する売り手がいます。

そこで，買い手は20本入りのトウモロコシの箱を開けて調べたところ，15本が良品でした。

良品率90％という売り手の言い分を聞くべきかどうか。

買い手はもっと良品率が小さいだろうと薄々感じているでしょう。

ただし，箱に入ったトウモロコシの品質は互いに独立であるとします。

　　　　　　　　　　H0:p = 0. 90　vs.　H1 : p＜0. 90

仮に，この箱の中の良品のトウモロコシが１本もなければ，帰無仮説の下で良品ゼロ本が起こる確率P(０)は，０です。

実際, 良品が90％あるというのに，全く箱の中に良品がないのはおかしいです。

帰無仮説を棄却します。

良品率90％は大うそつきです。

威勢の良かった売り手は沈黙するしかありません。

仮に，隣の箱を開けると 13本が良品だったらどうでしょうか。

13本良品であっても売り手を信用できないならば，12本以下ならもっと信用できません。

買い手は常に良品率はもっと小さいと思っています。

p = 0.90を前提に計算すると，ｐ= 0. 0024

確率は小さすぎます。

帰無仮説を棄却します。

やはり良品率90％は高すぎます。

また，別の箱を開けて, 15本が良品があった場合はどうでしょうか。

買い手は良品率90％なら20本中に18本前後の良品を予想していました。

ところが，結果は少な目の良品15本でした。

元々買い手は良品率を低く見積もっています。

実は低いと言いたいのです。

それをあえて売り手の言う通りの90％として確率を計算しているのです。

こんな事情だから良品か15本であっても，売り手の主張を信用できないなら，14本以下ならもっと信用できません。

だから，15本の確率だけを計算してはいけません。

15本以下の確率をすべて計算しなければいけません。

良品率90％のもとで, 4.32%という確率で起こります。

ここで，判断に迷いが出てきます。

この確率は「小さい」のか，あるいは「大きい」のか。

これで，ｐ= 0.90を認めるかどうかか決まります。

判断する立場に次の２通りあります。

第一の立場は，買い手の立場に沿うもので，「良品率90％という仮説を一応正しいとして計算した確率が4％と小さいということは，そもそもこの良品率90％が成立している可能性が小さいことです。

これは，この良品率が実態より高く設定されているからであり，この高い良品率仮説を棄却します。

第二の立場は，売り手の立場に沿うもので，「生起した確率がいくら小さくとも，ゼロでない限り，前提とした仮説を非現実と見下してはいけません。

4％もあります。

たまたま開いた箱に良品か少なかったという稀なことが実際に生じただけである．「他の箱のトウモロコシは良品が詰まっているよ」。

有意水準(危険率)

伝統的な統計的仮説検定は，前節の第一の立場に依拠しています。

そして，問題となる確率が小さければ小さいほど，帰無仮説は棄却されます。

小さいか小さくないかの判断の目安となる確率の仕切値を有意水準(level of significance)または危険率といいます。

通常，ギリシャ文字のαで書く.α= 0. 05がよく使われます。

0.05よりも計算した確率0.043は小さいから，良品率90％という仮説を棄却します。

売り手の口上を信用してはいけないとなります。

対立仮説H1を採用して，もっと良品率は小さいとなります。

｢対立仮説は統計的に有意(significant)｣と言われます。

ただし，売り手の言い分も完全な誤りではありません。

良品率90％のもとで15本のトウモロコシの良品が出てくる確率は4.3%あるわけで，良品率90％を否定することは正しいのに棄却する危険は4.396あります。

だから危険率4.3%と言います。

良品が16本出てきた場合はどうでしょうか。

ｐ=0.1330

有意水準をはるかに超えています。

帰無仮説を棄却できません。

トウモロコシ20本中16本の良品ということは十分にあり得るとみます。

しかしながら，それは良品率90％を強く認めるものではありません。

ただ，帰無仮説を棄却できなかったのです。

受容しても帰無仮説を積極的に正しいとは決して言いません。

いわば，証拠不十分で容疑者を釈放するようなものです。

帰無仮説を受容するとはこの意味で用いられます。

帰無仮説を受容しても，一歩踏み込んだ言い方である｢帰無仮説は有意｣，つまり｢帰無仮説は正しい｣とは絶対に言いません。

両側検定と片側検定

両側検定か片側検定か，片側検定でも右側か左側かのいずれの検定をとるかは，数学的に決めるのでなく，問題の状況から決めます。

トウモロコシの良品率に関して，買い手に事前に品質について強い確信がなければ，通常は両側検定(two-tailed test）を用います。

新生産方法と旧生産方法の比較ならば，新方法の製品の寿命が延びているかどうかの検定であろうから，片側検定(one-tailed test)でよいでしょう。

甘納豆の両目が適正かどうかを調べるのであれば，同じく多ければ誰も文句は言わないから，量目が少ないかどうかの片側検定でよいでしょう。