サンプルサイズの決定｜【実験計画法の統計学・統計解析】
統計的検定においては、サンプルサイズは検出力によって決定される必要があります。検定では、母平均μに関する帰無仮説を立て、検定統計量tを用います。tが一定の有意水準を超えれば、帰無仮説を棄却し、有意差を認めます。しかし、①サンプルサイズが大きい場合、微小な差でも有意差となり、実質的な意味が薄れます。②逆に、サンプルサイズが小さい場合、有意差が見出せず、実質的な差があっても誤解されることがあります。検出力やサンプルサイズの関係を考慮し、データ採取のコストとのバランスを考える必要があります。誤解を避けるためには、検出力の意味と計算方法、サンプルサイズの設計についての知識が必要です。
サンプルサイズの決定
サンプルサイズは、統計的検定における検出力に基づいて決める必要があります。
正規分布に従う母集団から、ｎ個のデータをとり、母平均μについて検定するとします。
帰無仮説をμ＝μ0とすると、検定統計量tは、平均の差をデータ１個あたりの分散の平方根で割った値に等しくなります。
この検定では、ｔがある重度のｔ分布の両側5%点より大きければ、「有意差あり」と判定して、「帰無仮説を棄却」し、「対立仮説が成り立っている」と判断します。
このとき、次の２点に注意する必要があります。
①検定統計量は、サンプルサイズｎが大きくなると大きくなります。したがって、μとμ0の差が小さくてもサンプルサイズをどんどん大きくすれば、帰無仮説を棄却することができます。つまり、サンプルサイズが大きくて、検出力が高くなり、微小な差を見出しただけなら、「有意差あり」と言ったところで実質的な意味は薄くなります。
②逆に、本当はμとμ0に実質的な意味のある差があっても、サンプルサイズｎが小さいなら、ｔの値が大きくならず、有意差を見出せないかもしれません。このとき、帰無仮説が成立している、すなわちμ＝μ0が成り立っていると誤解してしまうことが多いのです。しかし、所詮はサンプルサイズが小さく、検出力が小さかっただけのことです。
上の①の状況はそんなに深刻ではありません。
サンプルサイズが大きいなら、母平均の信頼区間を作成すれば区間幅が狭くなることからわかるように、μの点推定値として平均値をある程度信頼できるからです。
たとえ、検定で有意であったとしても、実質的に意味のある差でないことは信頼区間から考察することができます。
一方、①の裏返しとして「サンプルサイズが小さいにもかかわらず有意差が出たのなら、それは意味のある差と考えることができる」というのは一理あります。
実際、このような考え方から、検出力やサンプルサイズの大きさについての知識があまりなくても広く検定が用いられているのだと考えられます。
しかし、このような検定の使用は、出たとこ勝負的です。
有意差が見いだせればよいのですが、本来意味のある差が存在するのに、小さな検出力しかない検定を行っている可能性があります。
データをとるにはコストがかかりますから、サンプルサイズに制限がかかることが多いですが、コストだけを考慮して、結果的に検出できる可能性の低い検定を行っていることになっていないでしょうか。
検出力とサンプルサイズの関係を検討しながら、どこまでコストをかけてデータをとるべきかを考える必要があります。
②の状況は深刻です。そして、実に多くの方々がこのような誤りを犯しています。
サンプルサイズが小さくて有意でないだけなのに、帰無仮説が成り立っていると誤解して、今まで通りの品質だと判断してコストの安い方に移行したが、結果的には品質が劣化したとか、これまで通りの安全性があると判断したが、結果的には危険性が高まった、ということが起こりえます。
こういった誤解を防ぎ、統計的検定結果を適切な判断に結び付けるためには、検出力の意味と計算方法、そしてそれに基づくサンプルサイズの設計についての知識が必要です。
検定におけるサンプルサイズの設計では検出力の考え方と計算方法が密接に関係していて重要です。
また、検出力の計算方法、サンプルサイズの設計方法、およびそれぞれの方法の理論的背景を理解することも大切です。
関連記事
