何かできるだろうか

公刊された研究のささいな点をとらえて，誤りをたくさん載せたリストを作ることは，誰にだってできる。

こうしたことは問題となるのだろうか。

ジョン・ヨアニデイスが書いた有名な論文として「なぜほとんどの公刊された研究上の発見は間違っているのか」というものがある。

これは，さまざまな研究の結果を実証的に調べたというよりも，むしろ数理的観点に基づいて書いたものだ。

検定対象となる仮説のほとんどが実は偽であり，さらに実は真である仮説のほとんどが効果がとても小さく，そして、ほとんどの研究論文で検定力が不足しており，都合の良い結果が得られる手法を選ぶ自由があるために，非常に多くの偽陽性の結果が得られることが，ヨアニデイスの論文で数理的に確かめられている。

実証的な研究としては，ジョナサン・ジェーンフェルトとジョン・ヨアニデイスによる研究がある。

この研究では「私たちが食べるものは何でもガンと関係するのか」という問題が扱われた。

2人は料理本からありふれた食材を50種類選ぶと，これらの食材とガン罹患率とを結びつけている研究を探しはじめた。

すると，40種類の食材で合わせて216個の研究を発見した。

当然のことではあるが，研究はほとんど互いに一致していなかった。

ほとんどの食品について，その食品がガンになるリスクを増加させると主張する研究と減少させると主張する研究の両方があった（悲しいことに，ベーコンは，ガンのリスクを増加させるということが一貫して見られた数少ない食材だった）。

こうした研究の統計的な証拠はほとんどが弱いもので，メタ分析をすればたいてい元の研究よりずっと小さな効果しかないことが示された。

ありふれたものがガンを引き起こすというニュースを無視できるようになっていれば，これは深刻な問題にならないかもしれない。

ただ，もしそう考えたなら，医学研究において最も権威ある学術誌の１つである「ニュー・イングランド・ジャーナル・オブ・メディシン」に2001年から2010年までに掲載された研究論文をすべて調べた再調査のことを考慮に入れてみよう。

この再調査によれば，現在の標準的医療行為について検証した363本の論文のうち, 146本，すなわちおよそ40％が現在の標準的医療行為をやめて前の治療法に戻すべきだと結論づけていた。

現在の標準的医療行為の効果を再確認した研究は138本に過ぎなかった。

鋭い読者ならば，これらの数字が公刊の偏りに影響されているか考えるだろう。

「ニュー・イングランド・ジャーナル・オブ・メディシン」は，現在の標準を否定する論文の方がおもしろいという理由で，否定的なものを掲載する方向に偏っているのかもしれない。

しかし，治療に関する現在の標準への検証は実に珍しいものであり，編集者の目を惹きつけそうなものだ。

たとえ偏りが存在していたとしても，医療行為においてこうした逆戻りが大量にあることは，やっかいなはずだ。

別のある再調査では，メタ分析とその後行われた大規模なランダム化比較試験との比較がなされた。

このうち３分の１以上の事例で，ランダム化試験の結果がメタ分析とうまく合わなかった。

これは，メタ分析において多くの小規模な研究を慎重にまとめたとしても，信頼のおける証拠となりえないことを示唆する。

メタ分析について比較した別の研究によれば，メタ分析の結果のほとんどが誇張されたものであり，データが付け加わって情報が更新されるたびに効果量が減っていくことが分かった。

そして，メタ分析の結論の５分の１が偽陽性であるかもしれない。

当然のことながら，追跡研究やメタ分析で矛盾が起きていたとしても，論文が正しいもののように用いられることが妨げられることはない。

疑う余地がない結果を見せた膨大な追跡試験と矛盾する効果であったとしても，５年後や10年後にたびたび引用されることがある。

そして，その結果が誤っていると科学者が気づいていないように思われることもある。

もちろん，新しい発見というものは広く報道されるものだが，矛盾や修正というものはほとんど言及されない。

だから，科学者が知らなかったとしても，非難しにくい。

単に偏りがあるに過ぎない結果のことを忘れないようにしよう。

医学誌における報告の基準が低劣なものだったとしたら，統合失調症の新しい治療法を試す研究で，症状を評価するのに使った尺度を報告しないで済ませられるといったことが起きる。

偏りはここから簡単に生まれる。

自己流の未公開の尺度を用いた試験は，過去に有効だと検証された試験を用いるよりも良い結果を生み出しがちだからだ。

別の医学に関する研究では，不都合であったりつまらなかったりする特定の結果を単純に除外している。

このことにより，その後のメタ分析では前向きな結果しか含まれなくなるという偏りが生まれてしまう。

そして，メタ分析の３分の１がこの問題によって悪影響を受けていると推定されている。

生命科学以外の自然科学の論文でも，多くが信頼区間を誤用している。

査読を受けた心理学の論文の中には、探索的研究における統制のない多重比較を通じて，超能力の証拠を示したとされるものがある。

当然，検定力を計算しなかったようにしか見えない科学者によって作られたこの結果は，再現されなかった。

それでは，私たちに何ができるだろうか。

どうすれば後々まで残る印刷物からのこうした誤りを防ぐことができるだろうか。