▼▼▼▼▼▼▼▼
チャンネル登録はこちら

何かできるだろうか

公刊された研究のささいな点をとらえて，誤りをたくさん載せたリストを作ることは，誰にだってできる。

こうしたことは問題となるのだろうか。

ジョン・ヨアニデイスが書いた有名な論文として「なぜほとんどの公刊された研究上の発見は間違っているのか」というものがある。

これは，さまざまな研究の結果を実証的に調べたというよりも，むしろ数理的観点に基づいて書いたものだ。

検定対象となる仮説のほとんどが実は偽であり，さらに実は真である仮説のほとんどが効果がとても小さく，そして、ほとんどの研究論文で検定力が不足しており，都合の良い結果が得られる手法を選ぶ自由があるために，非常に多くの偽陽性の結果が得られることが，ヨアニデイスの論文で数理的に確かめられている。

実証的な研究としては，ジョナサン・ジェーンフェルトとジョン・ヨアニデイスによる研究がある。

この研究では「私たちが食べるものは何でもガンと関係するのか」という問題が扱われた。

2人は料理本からありふれた食材を50種類選ぶと，これらの食材とガン罹患率とを結びつけている研究を探しはじめた。

すると，40種類の食材で合わせて216個の研究を発見した。

当然のことではあるが，研究はほとんど互いに一致していなかった。

ほとんどの食品について，その食品がガンになるリスクを増加させると主張する研究と減少させると主張する研究の両方があった（悲しいことに，ベーコンは，ガンのリスクを増加させるということが一貫して見られた数少ない食材だった）。

こうした研究の統計的な証拠はほとんどが弱いもので，メタ分析をすればたいてい元の研究よりずっと小さな効果しかないことが示された。

ありふれたものがガンを引き起こすというニュースを無視できるようになっていれば，これは深刻な問題にならないかもしれない。

ただ，もしそう考えたなら，医学研究において最も権威ある学術誌の１つである「ニュー・イングランド・ジャーナル・オブ・メディシン」に2001年から2010年までに掲載された研究論文をすべて調べた再調査のことを考慮に入れてみよう。

この再調査によれば，現在の標準的医療行為について検証した363本の論文のうち, 146本，すなわちおよそ40％が現在の標準的医療行為をやめて前の治療法に戻すべきだと結論づけていた。

現在の標準的医療行為の効果を再確認した研究は138本に過ぎなかった。

鋭い読者ならば，これらの数字が公刊の偏りに影響されているか考えるだろう。

「ニュー・イングランド・ジャーナル・オブ・メディシン」は，現在の標準を否定する論文の方がおもしろいという理由で，否定的なものを掲載する方向に偏っているのかもしれない。

しかし，治療に関する現在の標準への検証は実に珍しいものであり，編集者の目を惹きつけそうなものだ。

たとえ偏りが存在していたとしても，医療行為においてこうした逆戻りが大量にあることは，やっかいなはずだ。

別のある再調査では，メタ分析とその後行われた大規模なランダム化比較試験との比較がなされた。

このうち３分の１以上の事例で，ランダム化試験の結果がメタ分析とうまく合わなかった。

これは，メタ分析において多くの小規模な研究を慎重にまとめたとしても，信頼のおける証拠となりえないことを示唆する。

メタ分析について比較した別の研究によれば，メタ分析の結果のほとんどが誇張されたものであり，データが付け加わって情報が更新されるたびに効果量が減っていくことが分かった。

そして，メタ分析の結論の５分の１が偽陽性であるかもしれない。

当然のことながら，追跡研究やメタ分析で矛盾が起きていたとしても，論文が正しいもののように用いられることが妨げられることはない。

疑う余地がない結果を見せた膨大な追跡試験と矛盾する効果であったとしても，５年後や10年後にたびたび引用されることがある。

そして，その結果が誤っていると科学者が気づいていないように思われることもある。

もちろん，新しい発見というものは広く報道されるものだが，矛盾や修正というものはほとんど言及されない。

だから，科学者が知らなかったとしても，非難しにくい。

単に偏りがあるに過ぎない結果のことを忘れないようにしよう。

医学誌における報告の基準が低劣なものだったとしたら，統合失調症の新しい治療法を試す研究で，症状を評価するのに使った尺度を報告しないで済ませられるといったことが起きる。

偏りはここから簡単に生まれる。

自己流の未公開の尺度を用いた試験は，過去に有効だと検証された試験を用いるよりも良い結果を生み出しがちだからだ。

別の医学に関する研究では，不都合であったりつまらなかったりする特定の結果を単純に除外している。

このことにより，その後のメタ分析では前向きな結果しか含まれなくなるという偏りが生まれてしまう。

そして，メタ分析の３分の１がこの問題によって悪影響を受けていると推定されている。

生命科学以外の自然科学の論文でも，多くが信頼区間を誤用している。

査読を受けた心理学の論文の中には、探索的研究における統制のない多重比較を通じて，超能力の証拠を示したとされるものがある。

当然，検定力を計算しなかったようにしか見えない科学者によって作られたこの結果は，再現されなかった。

それでは，私たちに何ができるだろうか。

どうすれば後々まで残る印刷物からのこうした誤りを防ぐことができるだろうか。

公刊された研究における誤りを探し出し、それを列挙することは決して難しいことではなく、実際に多くの人がそうしたリストを作成することができる。しかし、それが本当に問題であるかどうかを考える必要がある。ジョン・ヨアニデイスが著した有名な論文「なぜほとんどの公刊された研究上の発見は間違っているのか」は、この問題を深く掘り下げている。この論文は、実証的な分析ではなく数理的観点から書かれており、多くの研究の結果が誤っている理由を数理モデルを用いて説明している。彼は、検定対象となる仮説の大半が実際には偽であり、実際に真である仮説もその多くが効果が非常に小さいことを指摘している。さらに、多くの研究論文では検定力が不足しており、研究者が自分に有利な結果を得るために手法を選ぶ自由があるため、結果的に多くの偽陽性の結果が生まれるという結論に至った。こうした数理的な証明は、研究の結果に対する疑念を生む重要な指摘である。実証的な観点からも類似した研究が行われている。ジョナサン・ジェーンフェルトとジョン・ヨアニデイスは、「私たちが食べるものは何でもガンと関係するのか」という問題を扱った研究を発表した。彼らは料理本からありふれた食材を50種類選び、それぞれの食材とガン罹患率を結びつけた研究を探した結果、40種類の食材について合計216個の研究を発見した。しかし、これらの研究はほとんど互いに一致しておらず、ある食材がガンのリスクを増加させると主張する研究と減少させると主張する研究が両立していた。特筆すべき点として、ベーコンはガンのリスクを増加させると一貫して示された数少ない食材であった。こうした研究の統計的な証拠は多くが弱く、メタ分析を行うと元の研究よりもはるかに小さな効果しか見られないことが多かった。つまり、個々の研究では重大な影響を示唆していても、それを集約したデータではその影響が大幅に減少することが判明したのである。このことは、ニュースやメディアで報じられる「ありふれた食材がガンを引き起こす」といった報道を冷静に無視できるようでなければ、大きな問題を招く可能性がある。しかし、そうした無視の姿勢が持てるとしても、2001年から2010年までの間に「ニュー・イングランド・ジャーナル・オブ・メディシン」に掲載された研究論文をすべて再調査した結果を考慮に入れるべきである。この再調査によれば、標準的な医療行為を検証した363本の論文のうち、146本、すなわち約40％が現在の標準的医療行為をやめ、前の治療法に戻すべきだと結論づけていた。さらに、現在の標準的医療行為の効果を再確認した研究は138本に過ぎなかった。これらの数字は公刊の偏りに影響されているかもしれないと鋭い読者は考えるだろう。つまり、「ニュー・イングランド・ジャーナル・オブ・メディシン」が興味深いために、否定的な結果を報告する研究を選んで掲載する傾向があるのかもしれない。しかし、標準医療行為に対する再検証は非常に珍しく、そのため編集者の目を惹くものではあるが、もし偏りが存在したとしても、医療行為において標準が見直されるケースが多いことはやっかいな問題であることに変わりはない。別の再調査では、メタ分析とその後行われた大規模なランダム化比較試験との比較が行われ、3分の1以上の事例でランダム化試験の結果がメタ分析の結果と一致しなかったことが示された。これにより、多くの小規模な研究を統合したとしても、それが信頼性のある証拠にはならない可能性があることが浮き彫りにされた。また、メタ分析については、データが更新されるたびに効果量が減少することも示されており、多くのメタ分析の結果が誇張されていると指摘されている。さらに、メタ分析の結論の5分の1は偽陽性である可能性があるという。これらの問題があるにもかかわらず、矛盾した結果であっても論文は正しいものとして用いられることが妨げられることは少ない。信頼性の高い追跡試験と矛盾する研究結果であっても、5年後や10年後にしばしば引用され、科学者たちがその結果の誤りに気づいていないように見えることもある。新しい発見が広く報じられる一方で、その矛盾や修正はほとんど報道されないため、科学者たちがその事実を知らずにいるのも無理はないかもしれない。単に結果に偏りがあることを見落とさないようにする必要がある。医学研究の報告基準が低ければ、統合失調症の新しい治療法を試す研究で、症状を評価する尺度を報告せずに研究を済ませてしまうこともあり得る。このように偏りは容易に生まれるものであり、研究者が過去に検証された尺度を使用せず独自の未公開の尺度を用いることで、有利な結果を得る傾向があるためである。さらに、医学に関する研究では、不都合な結果や面白みに欠ける特定のデータが意図的に除外されることがあり、その結果、メタ分析には前向きな結果ばかりが含まれる偏りが生じる。このような偏りは、メタ分析の約3分の1に影響を及ぼしていると推定されている。また、生命科学以外の自然科学でも多くの論文で信頼区間の誤用が見られ、心理学の論文では探索的研究における統制のない多重比較を通じて、超能力の証拠を示したものもある。これらの結果は検定力が計算されていない科学者によって生み出されたものであり、再現されなかった。こうした事例は科学研究における重要な警告であり、研究の信頼性を高めるための施策が求められる。私たちはこのような誤りを防ぎ、後世にまで残る印刷物から誤りが生じることを防ぐために、いくつかの改善を考える必要がある。例えば、研究の報告基準を厳格化し、結果を評価する際の統計的手法を改善することで、誤った結論を防ぐことができる。さらに、研究者や編集者が公刊の偏りを意識し、メタ分析や追跡研究における結果の検証を積極的に行うことが重要である。また、データ収集や分析の透明性を高めることで、研究の信頼性を確保しやすくなる。研究の質を高めるためには、研究者自身が倫理的であり続けることも必要であり、研究の偏りを防ぐための教育や指導を受けることが求められる。