▼▼▼▼▼▼▼▼
チャンネル登録はこちら

統計による事実の誇張

以下に紹介するfMRIでの試験もその一例だ。

この試験は，刺激や行動を，脳の特定領野の活動と関連づけることを目的としている。

ＭＲＩの機器は，脳のさまざまな部位の血流の変化を検出し，どの領野が刺激処理のために活発に動いているかを示す。

現代のＭＲＩの機器はとても解像度の高い像を出すので，あらかじめ脳の中で着目する領域を選ぶことが重要になる。

あらかじめ選ばなければ，脳内の何万もの場所を比較しなくてはならないことになってしまう。

そして，多重比較の補正を大量にしなくてはならない上，研究の検定力を大幅に引き下げてしまう。

着目する領域は，生物学上の根拠や先に得られた結果をもとに選ばれる可能性もあるが，選ぶべき領域がないということもしばしばある。

例えば，被験者にセイウチの画像とペンギンの画像という２つの異なった刺激を見せるとしよう。

これらの刺激を処理する脳の部位が分からないので，セイウチによって引き起こされる活動と被験者が何も刺激を見ていないときの活動との間に違いがあるかを調べる単純な検定をする。

ここで統計的に有意な結果が得られた領域に着目し，こうした領域に対して完全な分析をして，２つの刺激の間に活動パターンの違いがあるかを検定する。

セイウチとペンギンが脳のある領域で同等の活性化を引き起こすとしたら，上記のふるい分けで，その領域をさらなる分析のために選択することになるだろう。

しかし，ふるい分けのための検定は，偶然変動と雑音によってセイウチに対するかなり明確な活性化が引き起こされた領域も抽出してしまう。

だから，完全な分析のときには，セイウチに対する活性化の方がペンギンに対するものよりも，平均して高めになる。

そして，検定で想定している偽陽性率よりも何倍も多く，こうした存在しない差を検出することになるだろう。

幸運な領域でしか検定していないから，そうなるのだ。

セイウチには本当の効果があるので，誤った相関を作り出したというわけではない。

しかし，その効果をふくらませてしまったのだ。

もちろん，これは実際にはありえないようなわざわざ作られた事例だ。

もし，着目する領域を両方の刺激を使って選んだとしたらどうなるだろうか。

その場合，セイウチに対する活性化がペンギンに対するものより高めになると誤って信じることはないだろう。

そのかわり，両方の効果が誤って誇張されてしまう。

皮肉なことに，着目する領域を選択するために，厳格な多重比較の補正を使用するほど，この問題はひどくなってしまう。

これは繰り返しになるが，事実の誇張という現象だ。

平均かそれ以下の反応を見せた領域は，十分に有意でないために，最終分析には含まれなくなる。

ランダム雑音が強かった領域だけが，さらなる分析に残ってしまうのだ。

この問題を緩和する方法がいくつかある。

１つの方法としては，データセットを半々に分けて，着目する領域を片方を使って選び，もう片方でさらに詳細な分析を実施するというものだ。

だが，この方法は検定力を低下させるので，埋め合わせとしてデータをより多く集めなくてはならない。

他の方法としては，着目する領域をセイウチやペンギンの刺激に対する反応以外の基準，例えば事前に知られている解剖学的知識を使って選ぶことが挙げられる。

こうした決まりごとは神経イメージングの文献ではしばしば破られていて，40％程度の文献においてそうなっている可能性がある。

そして，このことによって，相関が誇張されたり偽陽性が生み出されたりしてしまっている。

こうした誤りを犯している研究は，刺激と神経活動の間に，ランダム雑音と脳イメージングに内在する誤差を踏まえてありえそうな相関より強い相関を検出する傾向がある。

同様の問題は，遺伝学者が何千もの遺伝子のデータを集めてその一部を分析のために選んだり，疫学者が人口動態に関するデータを拾いあげて病気と関連するリスク因子が何かを探したりするときにも起きる。

fMRI試験は脳の特定の領域の活動を刺激や行動と関連づけることを目的とした試験であり、現代のMRI機器は高解像度で脳内の血流変化を検出し、どの領域が刺激に応じて活動しているかを示す。このため、研究者はあらかじめ分析において着目する領域を選ぶ必要がある。なぜなら、脳全体の何万もの場所を比較することは現実的でなく、多重比較の補正を大量に施す必要が生じ、研究の検定力が著しく低下してしまうからである。着目する領域は生物学上の根拠やこれまでの研究結果に基づいて選ばれることもあるが、選ぶべき領域が明確でない場合も少なくない。例えば、被験者にセイウチの画像とペンギンの画像という2つの異なる刺激を見せた際に、これらの刺激を処理する脳の部位が予測できないときは、セイウチによって引き起こされる活動と被験者が何も見ていないときの活動を比較する単純な検定を行う。そこで統計的に有意な結果が得られた領域があれば、その領域に着目し、2つの刺激に対する活動パターンの違いをさらに詳しく検証する。この過程でセイウチとペンギンが同じ領域で同様の活性化を引き起こした場合、その領域がさらなる分析のために選ばれる。しかし、このふるい分けの検定では偶然の変動やノイズによってセイウチに対する明確な活性化が抽出されることがある。このため、完全な分析の際にセイウチの活性化がペンギンに対するものよりも平均的に高いと見なされ、検定が想定する偽陽性率よりもはるかに高い頻度で存在しない差が検出されることになる。これは幸運な領域でのみ検定が行われた結果であり、セイウチに本当の効果があるわけではなく、誤った相関が作り出されたわけでもないが、結果的にその効果が過剰に強調されてしまうのである。もちろん、このような事例は非常に特殊で実際には意図的に作り出されたものであるが、もし着目する領域を両方の刺激を使って選んだとしたら、セイウチの活性化がペンギンに対するものより高いと誤って信じることはないだろう。しかし、その代わりに両方の刺激の効果がともに誤って誇張されることになる。皮肉なことに、着目する領域を選ぶために厳格な多重比較の補正を使用すればするほど、こうした問題はさらに深刻化する。これは事実の誇張という現象であり、平均またはそれ以下の反応を示した領域は有意でないため最終分析には含まれず、ランダムなノイズが強かった領域だけが次の分析に残される結果となる。この現象を軽減する方法はいくつか考えられる。1つの方法はデータセットを半分に分け、片方を使って着目する領域を選定し、もう片方でさらに詳細な分析を行うという手法である。しかし、この方法は検定力を低下させるため、研究者は補完としてより多くのデータを収集しなければならなくなる。他の方法としては、セイウチやペンギンの刺激に対する反応とは異なる基準、例えば事前の解剖学的知識に基づいて着目する領域を選ぶことが挙げられる。しかし、神経イメージングの文献においてはこうした厳密なルールが守られていないことが多く、全体の40%の文献でこのような状況が見られるとされている。これにより、相関が過剰に強調される、あるいは偽陽性が発生するリスクが生まれる。こうした誤りを犯した研究は、刺激と神経活動の間に、ランダムなノイズや脳イメージング自体に内在する誤差を考慮した場合にありえないほど強い相関を検出しやすい傾向にある。これらの問題は神経イメージングだけに留まらず、遺伝学や疫学といった他の研究分野にも共通する。例えば、遺伝学者が何千もの遺伝子のデータを収集してその一部を分析対象として選んだ場合や、疫学者が人口動態に関するデータを収集して特定の病気と関連するリスク因子を探索する際にも同様の誤りが発生しうる。これらの研究では大量のデータから特定の結果を抽出する際に、無意識のうちに統計的誇張が生じ、仮想的な効果が過剰に示されてしまうことがある。こうした統計的誇張を防ぐためには、データの選択方法や分析過程の透明性を高めることが必要不可欠であり、具体的には事前の統計的な計画、包括的なデータの共有、さらに検証の再現性を確保するためのオープンサイエンスの取り組みが重要である。加えて、研究者自身が分析の過程で発生する潜在的なバイアスに対して注意を払うことが求められる。多重比較の補正やデータのふるい分けにおいて適切な手法を用いることで、誇張された効果や誤った結論を回避することが可能であるが、そのためには科学コミュニティ全体の協力が必要となる。結局のところ、統計による誇張は、科学的な発見の真実性を損なうリスクがあり、研究者は結果を慎重に解釈し、過度な一般化を避けるべきである。統計的な方法論を適切に扱い、ノイズを低減し、検証力を高めるための新しい手法の開発や、現在利用されている技術の改善が引き続き求められている。