信頼性と妥当性：テストの心臓部を解明【ChatGPT統計解析】
テストの信頼性はその一貫性と安定性を指し、妥当性は正確性や真実性を示す。信頼性はテストが時間と共に一貫した結果をもたらすかを測り、妥当性はテストが実際に意図した内容を正確に評価しているかを示す。信頼性が高いテストでも、必ずしも妥当性が高いわけではない。しかし、妥当性を持つテストは必ず一貫した結果を示すため、信頼性も高い。また、妥当性係数の上限は信頼性係数の平方根に等しい。つまり、テストの妥当性はその信頼性によって制約される。これらの品質は、テストが仮説検証において信頼できる結果を提供するために不可欠である。
テストの信頼性と妥当性の関係
信頼性はテストの一貫性と安定性に関する品質のことです。
もし、テストに信頼性があるならば、別のときに何回かテストを実施しても、受検者集団の全体的なパフォーマンスは似たようなレベルとなるでしょう。
さらに、妥当性は、テストの正確性、真実性、確実性に関する品質のことです。
もし、テストに妥当性があるならば、テストが評価しようと意図しているものを評価しています。
しかし、測定道具が期待されるように働くことを保証するために、信頼性と妥当性の考え方が重要であるのと同様に、これら両者の関係もまた重要です。
信頼性はあっても、妥当性はないというテストは存在しうるのです。
しかしながら、まず信頼性がなければ、妥当性のあるテストにはなりません。
たとえば、あるテストで何度も何度も同様の測定結果を得られている（信頼性は示されている）が、それが本来期待されているものを測定できていないことがありえます。
つまり妥当性に欠けるということです。
しかし、もしそのテストが期待されているものを測定しているのであれば、つまりそれが妥当性を持つのであれば、そのテストは一貫しているはずです。
つまり信頼性を持っているといえます。
たとえば以下は、あるテストの多肢選択形式の項目です。
1776年の夏、大陸会議はどこで開催されたか。
①ワシントンDC
②フィラデルフィア
③ニューヨーク
④ボストン
もし、このような項目を50個集めて編集し、このテストを2つの時点で実施したら、おそらく再検査信頼性は十分に高いでしょう。
しかし、もしこのテストを国際関係論、あるいは、心理学入門のテストと呼んだら（あきらかにそうではないですが）、これらの目的のためには妥当性を持ちません。
したがって結果は安定している（信頼性はある）が、妥当性はないといえます。
一方、もしこのテストがアメリカ史入門のテストとして実施されたら、内容的妥当性は確立しており、信頼性を確立する道筋も明確でしょう。
もう一つ重要なポイントは、信頼性と妥当性はどちらもテストの道具にとって不可欠な品質であり、両者をそなえてはじめて、このような道具を利用して行った仮説検定の結果が信憑性を持つということです。
もしテストに信頼性がなければ、したがって妥当性もなければ、あるいは単純に妥当性がなければ、どんな仮説検定も、仮説とその仮説を導いたリサーチクエスチョンとの整合性が公正に反映されない結果をもたらすことになります。
妥当性係数の上限は信頼性係数の平方根
最後に、やや技術的な注意事項があります。
妥当性係数の上限は、信頼性係数の平方根に等しくなります。
たとえば、もし機械適正のテストの信頼性係数が0.87だったとしますと、妥当性係数は0.93（0.87の平方根）を超えないことが必要です。
このことが意味するのは、テストの妥当性は、そのテストがどれだけ信頼性を有しているかに制約を受けるということです。
そしてそのことは、テストが測ろうとしているものを正しく測れていると確信を持つ前に、テストがそれを一貫して測っていなければならないということを考えてみれば、完璧に理にかなっています。
関連リンク
