検定力が足りなくなるわけ

不思議なことに，検定力が足りない研究の問題は何十年も前から知られているのだが，この問題は今でも最初に指摘されたときと同じぐらい蔓延している。

ジェイコブ・コーエンが、「ジャーナル・オブ・アブノーマル・アンド・ソーシャル・サイコロジー｣に1960年に載った研究の検定力を調べたところ，普通の研究は中ぐらいの大きさの効果を検出するための検定力が0.48しかないことが分かった。

コーエンの研究は何百回も引用され，後から同様の報告がたくさん出た。

これらの報告はみな，検定力を計算することと標本の大きさをより大きくすることの必要性を勧告するものだった。

その後, 1989年に出た報告において，コーエンの研究以降の数十年間で，普通の研究の検定力が実は減少していることが示された。

この減少は，研究者が多重比較という別の問題に注意するようになり，その問題に研究の検定力が下がるような方法で対応したために起きたものだ。

研究の検定力と多重比較の補正方法の間には不幸なトレードオフがある。

では，なぜ検定力の計算がしばしば忘れられるのだろうか。

１つの理由として，標本の大きさに関する直観と検定力の計算結果とが一致しないことが挙げられる。

たとえ検定力が非常に悪くても｢きっと十分な数の被験者がいる｣と考えやすいのだ。

例えば，心臓発作の新しい治療手順を試験しようとしていて，新手順で死亡のリスクが20％から10％に半減すると期待しているとしよう。

この場合，｢50人の患者にこの方法を試して違いが見られなかったら，利益が小さすぎて有用なものではないだろう｣と思ってしまうかもしれない。

だが，この効果を検出する検定力を80％にしたければ，実際には統制群と処置群でそれぞれ200人ずつ，つまり400人もの患者が必要になる。

臨床医にとって十分だと思える標本の数は実際にはかなり少ないということに，臨床医白身が気づいていないだけなのかもしれない。

検定力の計算があまり見られないことに関するもう１つの説明として，数学が挙げられるだろう。

検定力を解析的に計算することは，難しかったり，完全に不可能だったりすることがありえる。

しかも，検定力を計算する手法は，統計の入門授業であまり教えられない。

そして，市販の統計ソフトには，検定力計算機能が付いていないものがある。

やっかいな数学を避けるには，想定している効果量を持つ人工的データセットを何千個もシミュレーションで作り、そうしてできたデータに対して統計的検定を行うというのも可能だ。

検定力は，統計的に有意だった結果を得たデータセットの割合で容易に求まる。

ただ，この方法はプログラミングの経験が必要となるし，真実味のあるデータをシミュレーションで作るのは難しい。

たとえそうであっても，科学者は検定力の問題に気づいて修正しようとするだろうと思われるかもしれない。

有意でない結果の研究が５つか６つ出てくれば，科学者は自分が何を間違えたのかについて，考えはじめるかもしれないというわけだ。

しかし，普通の研究では。仮説検定を１つだけでなく，たくさん行うので，何かしら有意なものをうまく引き出すことができるのだ。

この有意な結果が，論文の中で取りあげるのに十分なほどおもしろいものであるかぎり，科学者は自分の研究に検定力が足りないとは感じないのだ。

検定力が不十分だという問題は，科学者がグループ間に有意な結果を発見しなかったと述べるときにウソをついていることを示すわけではない。

だが，こうした結果をもって真の違いが存在しないことを意味すると決めてかかることは，誤解を招く。

違いは存在するかもしれない。

そして，重要な違いですら存在するかもしれない。

だが，それに気づくのが幸運であるぐらいに研究の規模が小さいのだ。