仮説検定の力: 否定の力で正確な証明を【ChatGPT統計解析】
証明は一般的に困難であり、命題を証明するには十分な根拠が必要です。しかし、時間や労力がかかり、証拠の信頼性も問題です。一方、命題を覆すには一つの反証でも十分であり、「否定の力は肯定の力よりも強い」と言えます。仮説検定では、帰無仮説を立て、その確率を計算します。帰無仮説が成立する確率が低ければ棄却し、対立仮説が支持されます。両側検定と片側検定の選択は問題の文脈に依存し、検定の目的に応じて決定されます。統計的仮説検定は、不確実な状況での意思決定に有用で、客観的評価と最適な判断を可能にします。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
仮説検定における証明と反証
証明というのは、一般的に非常に難しいものです。命題を証明するには、その命題が正しいことを示す十分な根拠や証拠を提供する必要があります。
しかし、これは容易なことではありません。例えば、「彼は人格者だ」という命題を証明するには、その人を知っている友人や知人すべてに証言してもらう必要があります。
このプロセスは非常に時間と労力がかかりますし、しかも十分な証拠が得られるかどうかも保証されません。
証明を困難にする要因の一つは、命題が広範囲にわたることです。
例えば、「彼は人格者だ」という命題は、その人の性格や行動、人間関係など多岐にわたる情報を含んでいます。
そのため、すべての側面を網羅的に検証する必要があります。これは、十分な証拠を収集する上での大きな障害となります。
また、証明には信頼性の問題もあります。友人や知人からの証言は、その人たちの主観的な見解や意見に基づいています。
そのため、偏見や誤解によって証言が歪められる可能性もあります。さらに、複数の証言を総合しても、それが真実であると確信するには十分な根拠ではない場合もあります。
一方で、命題を覆すためには、その命題に反する証拠や反証を示すことが必要です。
たとえば、「彼は他人の失敗を言い触らしていた」という事実があれば、「彼は人格者だ」という命題が間違っていることを示すことができます。
このように、命題を覆すためには、反証を挙げるだけで良いのです。
このことからも分かるように、「否定の力は肯定の力よりも強い」という言葉は重要です。
命題を否定するためには、たった一つの反証でも十分であり、それが証明されれば命題は覆されます。
そのため、証明することは難しい一方で、反証することは比較的容易であると言えます。
このことは、証明の難しさと命題の脆弱性を理解する上で重要な考え方です。
帰無仮説
主張したいことを証明する際には、通常、帰無仮説(Null hypothesis, H0)を立ててから、その帰無仮説が成立する確率を計算します。
帰無仮説が成立する確率が非常に低い場合、つまり観察されたデータが帰無仮説に基づく予想よりも非常に異常である場合、帰無仮説を棄却します。
このことで、本来主張したい内容である対立仮説(Alternative hypothesis, H1)が成立する可能性が高まります。
この手法は、帰無仮説という名前の由来を理解する上で重要です。帰無仮説は、通常、主張したい内容の反対を表します。
そのため、帰無仮説が棄却されると、実際に主張したい内容が支持されることになります。
この手法は、言いたいことの反対を検定にかけて、それを否定することで、最終的に言いたいことを裏付けるというアプローチです。
言いたいことを直接主張するのではなく、その逆を検証することで、より客観的かつ科学的な結論を導くことができます。
このような検定法は、高度な説得法とも言えます。
なぜなら、主張したいことを支持するためには、徹底的な検証と統計的な根拠が必要であり、それを得るためには帰無仮説の検証が不可欠だからです。
帰無仮説の否定が、主張したい内容の裏付けとなることで、より信頼性の高い結論を得ることができます。
統計的仮説検定
状況や事象の真偽を明確に判断することは、時には容易ではありません。
特に、情報が限られている場合や、確固たる証拠が得られない場合には、その判断はさらに困難を極めます。
このような状況下では、多くの場合、何か主張したいという欲求が生じます。しかし、その主張が正しいことを断言することは難しく、その代わりにその主張が成立する確率を示すことが求められます。
例えば、ある売り手がトウモロコシの品質に関して「90%は良品で、残りの10%が不良品だ」と主張しています。
しかし、買い手は20本入りのトウモロコシの箱を開けて調べたところ、15本が良品であったとします。
このような場合、買い手は売り手の主張を受け入れるべきかどうかを判断しなければなりません。
買い手は、売り手の主張に疑問を抱いており、それが事実と異なる可能性があると感じています。
ここで、統計的仮説検定が役立ちます。買い手は、帰無仮説として「良品率が90%である」という前提のもとで、15本の中に良品が一本もない場合の確率を計算することができます。
もしもこの確率が非常に低ければ、帰無仮説を棄却し、売り手の主張を否定することが妥当であると判断されます。
さらに、別の箱を開けて同様の結果が得られた場合でも、同様の推論が適用されます。買い手は、独立した複数のサンプルからのデータをもとに、売り手の主張が真実である確率を評価します。
統計的仮説検定の結果に基づいて、買い手は売り手の主張を受け入れるか否かを判断します。もしも確率が低ければ、買い手は売り手の主張を疑い、それに基づいて行動します。
このような状況では、特に重要なのは、客観的なデータと統計的手法を用いて、主張の真偽を客観的に評価することです。また、情報を十分に収集し、検討することも重要です。
最終的には、リスクや利益を考慮し、最も適切な判断を行うことが求められます。
このような統計的手法を用いた判断は、不確実性のある状況下での意思決定において非常に有用です。
それによって、客観的な評価を行い、最適な選択をすることが可能となります。
買い手と売り手の関係においても、統計的手法は役立ちます。それによって、双方が公平な条件で情報を評価し、適切な判断を下すことができます。
有意水準(危険率)
伝統的な統計的仮説検定は、通常、有意水準(level of significance)または危険率と呼ばれる確率の仕切り値を使用します。
この仕切り値は、一般にギリシャ文字のαで表され、よく使用される値は0.05です。言い換えれば、この有意水準は、帰無仮説を棄却するための許容される誤りの確率です。
例えば、売り手がトウモロコシの良品率が90%であると主張し、買い手が20本のトウモロコシを調査して15本が良品であったとします。
この場合、帰無仮説「良品率は90%である」という前提の下で、15本の中に良品が一本もない確率を計算します。
もし計算された確率が有意水準0.05よりも小さい場合、帰無仮説は棄却され、対立仮説が採用されます。つまり、売り手の主張が真実である可能性が低くなります。
しかし、この結果は売り手の主張を完全に否定するものではありません。なぜなら、帰無仮説を棄却できなかった場合でも、その確率は誤差の範囲内にある可能性があるからです。
例えば、良品が16本出てきた場合、その確率は有意水準をはるかに超えています。しかし、それでも帰無仮説を棄却することができないのです。
このような場合、帰無仮説は受容されますが、それは帰無仮説が正しいということを意味するのではありません。
むしろ、帰無仮説が棄却されなかったことを示すに過ぎず、不十分な証拠であるということを示唆しています。
帰無仮説の受容は、容疑者を釈放する場合と同様に、証拠が不十分であることを示すものです。
つまり、統計的仮説検定において帰無仮説が受容されても、帰無仮説が正しいとは断定されません。
それは単に、現時点では十分な証拠がないことを示すものであり、新たな情報や証拠が得られるまで、保留されるべきものです。
両側検定と片側検定
両側検定と片側検定の選択は、問題の状況に応じて決定されます。数学的な決定ではなく、問題の文脈や目的に基づいて行われます。
例えば、トウモロコシの良品率に関する検定では、買い手が事前に特定の品質に対する確信を持っていない場合、通常は両側検定(two-tailed test)が適切です。
この場合、良品率が期待される値からどれだけ外れているかを調査することになります。
一方、新生産方法と旧生産方法の比較では、新方法の製品の寿命が延びているかどうかを検証する場合、片側検定(one-tailed test)が適しています。
なぜなら、新方法が寿命を延ばすことが期待されるため、寿命が短くなることについては興味がないからです。
甘納豆の量目の検定でも同様です。両目が適正であることを確認するためには、量目が期待される値からどれだけ外れているかを調べる必要があります。
しかし、量目が少ないかどうかの検定では、通常は片側検定が適しています。なぜなら、量目が多い場合には特に問題がないため、興味の対象は量目が少ないかどうかに集中するからです。
したがって、両側検定と片側検定の選択は、検定の目的や問題の文脈に応じて行われるべきです。
関連リンク