多重比較と誇張:科学研究の見えない罠【ChatGPT統計解析】
多重比較や事実の誇張は、検定力が低い状態で多数の比較を行う研究で問題を引き起こし、偽陽性率が高まり、効果量の推定が誇張される。こうした問題は多くの公刊された研究で見られるが、全ての研究が公刊されるわけではない。例えば、医学分野では「この薬を試したが効かなかった」という結果は科学者が公表しようとせず、公刊されるのは一部の研究のみである。学術誌の編集者は画期的な結果を掲載して評判を維持する必要があり、査読者も否定的な結果に偏見を持つ。方法と記述が同じ論文を査読者に見せると、否定的な結果の方が厳しく評価され、方法論上の誤りが多く発見される傾向がある。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
書類棚の中の科学
先に,多重比較と事実の誇張が研究結果に及ぼす影響について見た。
こうした問題は,検定力の低い状態で多くの比較を行うような研究で発生する。
これにより,偽陽性率は高くなり,効果量の推定は誇張されたものになる。
そして,こうしたことは公刊された研究の至るところに見られる。
だが,すべての研究が公刊されるわけではない。
例えば,医学では,「この薬を試したが,効かなかったようだ」ということをわざわざ公刊しようとする科学者がほとんどいないため,医学研究のごく一部しか目にすることがない。
さらに,権威ある学術誌の編集者は自誌に画期的な結果が載るという評判を維持しなくてはならないし,査読者は否定的な結果に対して偏見を当然持っている。
手法と書きぶりが同じ論文を見せた場合,査読者は,否定的な結果が書かれている方を厳しく評価し,方法論上の誤りをより多く発見する。
多重比較や事実の誇張が研究結果に及ぼす影響は、科学研究の世界で大きな問題とされています。特に、検定力が低い状態で多数の比較を行う研究において、この問題は顕著です。検定力が低いと、本来であれば見過ごされるべき統計的な誤りが生じやすく、結果として偽陽性率が高まります。これにより、研究者は本来のデータ以上に効果的であるかのように結果を誇張しがちです。具体的には、研究で使用される比較や統計分析が多ければ多いほど、偶然の要因によって生まれる有意な結果が増加することが知られています。これがいわゆる「多重比較の問題」であり、複数の仮説検定を行うことで偽陽性の結果が高確率で含まれるという現象です。例えば、ある薬剤の効果を調べる際に、さまざまな副次的な効果や異なる条件下での結果をすべて比較していくと、真の効果以上に良い結果が得られるように見えることがあります。このような結果は実際の効果を正確に反映しているわけではなく、過大評価された効果量を示してしまうのです。このことは、特に医学や心理学などの応用科学分野で多く見られる傾向があります。これに加えて、研究者が多重比較を意図的に用いることで、研究結果をより魅力的に見せることも問題の一部です。公刊される研究論文の中で、こうした誇張された結果は少なくありません。偽陽性の結果が科学界で大きな問題となる理由は、その結果が一度公刊されると、他の研究者がその結果を基に新たな研究を展開する可能性があるからです。つまり、一つの誇張された結果が次の研究の基盤となり、誤った知見が連鎖的に広がることがあります。しかし、科学研究全体が抱える問題はこのような誇張や偽陽性の結果だけにとどまりません。多くの研究は、そもそも公刊されることなく棚上げされてしまいます。こうした現象は「出版バイアス」と呼ばれ、特に否定的な結果が得られた研究は公表されにくい傾向があります。たとえば、「この薬を試したが、効果はなかった」というような研究結果は、研究者が公表する意欲を持ちにくく、また学術誌の編集者も否定的な結果を好まない傾向にあります。学術誌は、画期的でポジティブな結果を発表することで、読者や学術界からの注目を集めることができ、権威を高めることができます。そのため、編集者は掲載する研究を選別する際に、肯定的な結果をより重視しがちです。結果として、学術誌には肯定的な結果が偏り、否定的な結果や「効果なし」とする研究は埋もれてしまいます。査読制度もまた、この問題を助長する一因です。査読者は研究論文の評価を行う際、否定的な結果を示す研究にはより厳しい視点を持つことが多く、その結果として、方法論上の欠陥を指摘される可能性が高まります。ある研究では、同じ内容の論文を査読者に提示したところ、否定的な結果を示す論文の方が方法論の欠点が多く見つかり、評価も厳しかったという報告があります。これらの要因が複合的に作用し、科学界には肯定的な結果ばかりが目立ち、否定的な結果や再現性のない研究は目立たなくなります。この現象が継続すると、科学の進展にとって重大な障害となります。なぜなら、真に有用な知識の進展は、成功例だけでなく、失敗例や否定的な結果を含む多角的な視点が必要だからです。科学の本質は、仮説を立て、それを実験や観察で検証し、得られた結果に基づいて再び仮説を改良し、再検証を重ねるプロセスです。否定的な結果もまた、このプロセスにおいて重要な役割を果たします。否定的な結果が十分に共有されなければ、他の研究者は同様の仮説を再度検証して無駄な研究を行う可能性が高まり、研究資源の浪費にもつながります。さらに、否定的な結果が学術的に認知されないと、研究者たちは肯定的な結果を得るためにプレッシャーを感じ、研究の精度を下げるリスクが高まります。これにより、科学界全体が「ポジティブな結果を得ることが優れた研究である」という誤った認識に陥る危険性が生じます。研究者が不正確な手法や恣意的なデータ分析を用いることで肯定的な結果を得ようとするケースも増加し、科学の信頼性を低下させる要因になります。このような事態を避けるために、多くの学術界ではオープンサイエンスの推進が叫ばれています。オープンサイエンスの考え方は、研究の透明性を高め、すべての結果をオープンに共有することで、研究の信頼性と再現性を向上させることを目指しています。プレプリントサーバーやデータベースにおいて、未発表の研究結果やデータを公開し、他の研究者がアクセスできるようにすることは、出版バイアスの軽減に役立ちます。また、否定的な結果を含むメタアナリシスを実施することで、個別の研究の限界を克服し、全体としての信頼性を高める取り組みも重要です。学術界全体で否定的な結果を尊重し、公刊を奨励する風潮が広がれば、研究の質と科学的知見の信頼性は向上するでしょう。
関連記事