統計の計算を正しいとする誤解

科学者は計算のための適切な数字を選ぶのを間違えるだけで，統計に関する計算は完全に正しくできるものだと考えがちである。

科学者は統計的検定の結果を誤って使ったり，関連する計算に失敗するかもしれないが，少なくともｐ値は計算できるのだろう。

たぶんそうではない。

医学と心理学の試験で報告された統計的に有意な結果に対して調査したところ，多くのｐ値が間違っていることが示された。

また，正しく計算したところ，統計的に有意でないとされた結果が本当は有意だったということがいくつかあった。

権威ある学術誌の｢ネイチャー｣すら完全ではなく, 38%の論文でｐ値に誤字か計算間違いがあった。

他の調査では，データが誤って分類された事例，データが誤って重複した事例，異常なデータセットをまるごと入れた事例，そしてその他の混乱の事例が示されている。

こうした事例は，誤りにすぐに気づけるように論文で分析が詳しく記述されなかったため，すべて隠されてしまっていた。

こうした誤りは当然予期されるべきだ。研究者は超人的にカフェインを含有しているかもしれないが，やはり人間なのだ。

そして研究の公刊という絶え間ない心理的圧力が存在する中，徹底的な証拠固めと繰り返しはないがしろにされている。

そして，研究者には，データと計算結果を精査できるように準備したり，他の研究者が出した結果を再現するために時間を費やしたりする動機がない。

こうした問題がより広く知られるにつれ，分析過程の記録・共有を容易にするソフトウェアツールが発達してきた。

しかし，科学者はこうしたツールをまだ広く受け入れていない。

だが，こうしたツールを使わなければ，徹底的に確認する作業は骨の折れるほど大変な過程となることがある。