報告の偏りの検出

公刊の偏りや結果報告の偏りについて調べることは可能だ。

あるテーマに対して一連の研究が行われていて，なおかつ系統的再調査が公刊されたデータから効果量を推定していれば，再調査の対象となった個別の研究の検定力は簡単に求めることができる。

例えば，効果量が何か適当な尺度で0.8だったとしよう。

ただ，再調査は，それぞれの検定力が0.2だった小規模な研究をたくさん集めて構成されたものだったとしよう。

ここから，効果を検出することができる研究は20％しかないということになるはずだ。

しかし，公刊された研究の90％以上が効果を検出できていることが発覚するかもしれない。

検出できなかった残りはくずかごに放りこまれたのだ。

この種の試験手法は，動物実験をともなう神経学研究の刊行物での気がかりな偏りを発見するために使われてきた。

動物実験は，それが科学と医学の発展の利益になるという理由があるからこそ倫理的に正当化されるものだ。

しかし，強い結果報告の偏りがあるという証拠は，公刊されないまま科学の記録として何も残さなかった研究で，多くの動物が使われたことを暗示している。

同種の試験手法が，心理学の有名な論争で使われたことがある。

ダロル・ベムの2011年の研究で，｢認知と情動に対する異常な逆行作用｣，要するに，未来を超能力で予測することに関する証拠があるという主張がなされた。

これは査読を経て評判の良い学術誌に掲載されたのだが，予想どおり，掲載されてすぐに懐疑的な科学者から否定的な反応を受けた。

その後のいくつかの論文でベムの分析の誤りが示され，より合理的な結果が得られる別の統計手法も示された。

これらの論文の中には，ここで紹介するには技術的に細かすぎるものもあるが，１つは直接的な関連性があるものだ。

グレゴリー・フランシスは，ベムが公刊の偏りによって良い結果を得たのだろうかと考えた。

ベムは，自身の発見がすぐに信じられることはないだろうということを知っていたので，１個だけでなく10個の異なった実験を同じ研究の中で実施し，それを公刊していた。そのうち９つの実験で，統計的に有意な超能力が見られた。

これは強力な証拠のように見える。

ただし，これも超能力が見られなかった研究で未報告のものがたくさんなけれぱの話だ。

フランシスは，ベムの成功率がその検定力に合っていないことを発見した。

つまり，ベムの研究は，公刊の偏りがもたらしたものであって，超能力の産物ではなかったのだ。

フランシスは，類似した論文を多数公刊し，他の心理学の有名な研究を明確な公刊の偏りによるものだと批判した。

おそらく，フランシスは心理学の文献を底引き網のように拾いあげ，公刊の偏りの証拠を見つけるまで論文を調べていたのだろう。

これは誰かがその皮肉に気づくまで続いた。

心理学の文献では，公刊の偏りに関する公刊の公刊の偏りの影響についての議論が今なお激しく交わされている。