▼▼▼▼▼▼▼▼
チャンネル登録はこちら

偏りを避ける

物理学では，無自覚な偏りが長らく問題として認識されつづけてきた。

光速だとか亜原子粒子の性質といった物理定数の測定は，最終的に受け入れられた｢真実｣でなく，むしろ以前の測定結果の周りに集中する傾向がある。

実験者は，先行研究に合致しない結果を得ると，｢こうした誤差について１つあるいは複数の原因を追究し，一般に認められた値に近い結果を得るまで探索しつづけ，そこで探索をやめる｣ようなのだ。

こうした偏りを除去すべく，量子物理学者は盲検分析(blind analysis)を実施しはじめている。

この手法では，データを分析する科学者は，分析手続きが最終的に決定されるまで関心のある値を計算することを避ける。

これを実施するのが簡単なときもある。

1930年代初頭に電子の比電荷を測定したフランク・ダニントンは，機械工に実験装置を作らせた。

その実験装置は、検出器を最適な角度に近くするものの，ぴったり最適な角度にはならないように作らせてあった。

このしくみによって，厳密に角度を測定しなければ，ダニントンは最終的な答えを計算することができなくなった。

そして，分析手続きを工夫した一方，無意識のうちに結果を偏らせることを不可能にした。

準備が済めば，角度を測定して最終的な比を計算するのだ。

もちろん盲検分析はいつもこんなに簡単であるとは限らないが，量子物理学者は主要な実験で盲検分析を取り入れはじめている。

他の盲検の技法としては，すべての測定に定数を加えた上でその定数を分析が最終的なものになるまで分析者に隠しておくこと，分析を分割した上で独立したグループに部分ごとに分析を行わせてから結果を合わせること，シミュレーションで偽のデータを挿入して後から取り除くことなどがある。

結果が隠されなくなるのは，分析が不備なく適切なものだと研究グループが確信したときになってからだ。

医学研究の中には，盲検分析の一形態として三重盲検が行われることがある。

分析が終わるまで，患者・医者・統計分析者の三者とも，どのグループが統制群かを知らされない。

これで偏りの原因がすべて消えるわけではない。

例えば，統計分析者は無意識のうちに処置群に有利になるようにすることはできないが、グループ間の差を大きくするように偏らせることはあるかもしれない。

そして，徹底的な盲検手法はあまり頻繁に使われていない。

また，分析を非現実的なものにせずに，一般的な統計手法をどれだけ盲検化できるかということを決めるにはかなり大規模な方法論研究が必要になる。

三重盲検のかわりに統計分析者の選択の自由を取り除く方法が１つある。

この方法の限定された形式は，分析そのものに関わるというより，実験の計画と実施だけに関わるものだが，医学で広く使われている。

医師は，計画した標本の大きさと測定対象となる結果変数を含めて，データをどのように集めるかを説明するために臨床試験のプロトコルを立案することが求められる。

その後，患者の安全とプライバシーの十分な保護を保証するために，プロトコルは倫理委員会によって審査される。

プロトコルはデータを集める前に立案されるものだから，医師が計画をいじくり回して都合の良い結果を得ることは簡単にはできない。

ただ，残念なことに，多くの研究がプロトコルを逸脱し，研究者による偏りが入りこむようになってしまっている。

学術誌の編集者は，投稿された論文と元々のプロトコルを比較しないことがしばしばあるし，プロトコルが破られた理由について執筆者に説明を求めないこともしばしばある。

だから，プロトコルを変更しようとする意欲を押しとどめる方法が存在していないのだ。

科学の多くの分野では，プロトコル公表が要件とされない。

そして，心理学・精神医学・社会学といった学問では特定の実験に対して用いるものとして取り決められている単一の手法がないことがしばしばある。

医学的試験や物理学の実験のための適切な計画というのは死ぬほど分析されてきたのだが，それに比べて複雑な行動科学でどうするかはっきりしないことはしばしばある。

その結果，研究計画が非常に多様になる。

新しい論文ごとに，手法の組み合わせが変わるのだ。

米国で通常存在するように，新規の結果を作らせようとする強い心理的圧力が存在していれば，こうした分野の研究者は実験計画とデータ分析において自由があるため，偏った極端な結果をより多く生み出す方向に向かいがちになる。

この事態に対して，確認的研究のためにプロトコル登録ができるようにし，続く結果をより信頼できるものにできるよう提案している人もいる。

もちろん，ヘルムート・フォン・モルトケの言葉を言い換えれば，データに接触して生き残る分析計画は存在しない。

思いがけない障害や問題が存在するかもしれない。

測定されたものの分布，変数間の相関，外れ値の原因としてありえそうなものといったこと−これらはいずれも分析手法を選ぶときに欠くことのできないものだ−についての想定が完全に間違っているかもしれない。

データを集める前にはどんな想定を立てるか分からないかもしれない。

そうしたときには，当初計画された明らかに間違っている分析を続けるのではなく，分析手法を改めた方が良いだろう。

データを見ずに前もって分析手法を特定できないことすらあるかもしれない。

長年使ってきた通常のデータセットを使って新しい仮説を試すかを決めるかもしれない。

データを見るまではどんな仮説が関連するのかはっきりしないかもしれない。

あるいは，データを集める前は考えもしなかった興味深い仮説をデータが示唆するかもしれない。

分野によっては，研究成果を公刊する前に繰り返しを行うことでこの問題を解決できる。

つまり，新しく独立したデータセットを集め，まったく同じ手法で分析するのだ。

もしこれで効果が残るようだったら，結果に自信を持ってよい（新しい標本に十分な検定力があることを確実にしておこう）。

だが，市場の暴落を研究している経済学者は，暴落をもう１回作り出すことができない（少なくともそれは倫理的でない）。

医者がガンの治療を研究していても，患者は繰り返しを待っていられないかもしれない。

統計の手法が増えることは，さまざまな道具立てをもたらしてくれる。

だが，これらの道具立ては，データが白状するまでたたくための鈍器として用いられているようにも見える。

分析手法の事前登録，盲検，そして実験手法のさらなる研究によって，データをより人道的に扱いはじめることが可能になる。

データを集める前に，多重比較を説明できるように，また，探究したい効果をすべて入れるように，データ分析の計画を立てよう。

もしできるとしたら，臨床実験のプロトコルを登録するようにしよう。

計画していたプロトコルから外れる場合は，論文でそのことに触れ，説明を加えよう。

データが白状するまで拷問にかけるのはやめよう。

分析開始前に具体的な統計的仮説を決めておこう。

物理学では長い間、無自覚な偏りが測定結果に影響を与えていることが問題として認識されてきた。光速や亜原子粒子の性質などの物理定数の測定は、理論上の「真実」にたどり着くというよりも、過去の測定結果に近い値を取る傾向がある。実験者が先行研究と一致しない結果を得た際、その原因を探り、その結果が一般的に認められた値に近づくまで試行錯誤を繰り返し、そこに至ると探究をやめる傾向があることは、長年観察されてきた。このような無意識の偏りを排除するために、近年、量子物理学者たちは「盲検分析（blind analysis）」という手法を取り入れ始めた。盲検分析では、データ分析を行う科学者が、分析手続きが完全に決定されるまで、関心のある数値を計算しないようにしている。これにより、分析者が無意識に結果を偏らせることを防ぐのだ。盲検分析の導入は、データ収集と解析の過程で偏りを取り除くための効果的な手段とされている。この手法はときには容易に実施できる。例えば、1930年代に電子の比電荷を測定したフランク・ダニントンは、実験装置を作る際に機械工に依頼して、装置が検出器を最適な角度に近づけるが、完全には一致しないように設計させた。この工夫により、ダニントンは厳密に角度を測定しないと最終的な答えを計算できなくなり、無意識に結果を偏らせることを避けた。ダニントンは、角度を測定してから最終的な比を計算するという方法を取り入れたことで、分析手続きの精密さを保ちながらも結果に偏りを持ち込むことができなかった。しかし、盲検分析がいつもこのように簡単に適用できるわけではない。複雑な実験やデータ解析においては、分析手続きが厳密であればあるほど、実際に取り組むことは困難になることもある。現在、量子物理学者たちは主要な実験で盲検分析を採用し始めている。ほかにも盲検の技法として、測定値に事前に一定の定数を加えた上で、分析が最終的になるまでその定数を分析者に隠す方法、分析を複数のグループに分けて独立して実施させ、その後に結果を統合する方法、シミュレーションで偽のデータを挿入し後から除去する方法などが存在する。これらの方法に共通しているのは、研究者がデータ分析の過程で無意識の偏りを排除することである。分析の結果が最終的に明らかになるのは、研究グループ全体が分析の適正さを確信した時点になってからだ。医学研究においては、盲検分析の一形態として三重盲検が行われることがある。この手法では、分析が終了するまで患者、医者、統計分析者の三者がどのグループが実際に治療を受けているのか、または統制群なのかを知らされない。これにより、無意識の偏りを排除し、研究の客観性を高めることが可能になる。ただし、こうした手法を用いても偏りをすべて取り除けるわけではない。例えば、統計分析者は、無意識のうちに処置群が有利な結果になるようにすることは避けられるものの、分析結果がより大きな差を見せるようにバイアスをかけることは依然として可能である。徹底的な盲検手法はあまり頻繁に用いられないうえ、実験や解析を現実的に維持しながら一般的な統計手法をどの程度まで盲検化できるかを決定するためには、大規模な方法論的研究が必要となる。三重盲検に代わる方法として、統計分析者の選択の自由を取り除く手法も存在する。限定された形式のこの方法は、分析そのものよりも、実験の計画と実施に関わるもので、医学分野では広く利用されている。医師は、計画した標本サイズや測定対象の結果変数を含むデータ収集方法を記載した臨床試験のプロトコルを作成し、患者の安全とプライバシーの保護を保証するために倫理委員会の審査を受ける必要がある。プロトコルはデータ収集の前に立案されるため、医師が都合の良い結果を得るために計画を改ざんすることは難しい。しかし残念ながら、多くの研究ではプロトコルが遵守されず、研究者の偏りが入り込むことがある。学術誌の編集者は論文と元々のプロトコルを比較しないことが多く、プロトコルが変更された理由を執筆者に求めないことも少なくないため、プロトコル改ざんを防ぐ手段が不十分だとされる。科学分野の多くでは、プロトコルの公表は必須条件ではない。心理学、精神医学、社会学の分野では、特定の実験に対して決まった手法がなく、研究ごとに方法が異なることがある。医学や物理学の実験は計画が緻密に行われているのに対し、行動科学の複雑な実験では標準化が難しく、研究計画が多様化することが多い。新しい論文ではしばしば異なる手法が用いられるため、研究者が実験計画やデータ分析に自由を持ち、偏った結果を生むリスクが高まる。こうした事態への対応として、研究計画の透明性を高めるために、確認的研究のプロトコル登録が提案されている。プロトコルの登録により、その後の結果をより信頼できるものとする意図がある。しかし、ヘルムート・フォン・モルトケの「どんな戦略も戦闘に触れると変わる」という言葉を借りれば、どんな分析計画もデータに接触すれば修正が必要になる可能性がある。研究者は測定されたデータの分布や変数間の相関、外れ値の影響を考慮しなければならず、これらが当初の想定と異なる場合は分析方法を変更する必要が生じることがある。データを集める前に完全な分析手法を決めることは難しく、場合によっては事前に決定した方法が明らかに間違っていることもある。このような場合、初期の計画に固執せず、分析手法を適宜見直すことが必要だ。長年使用してきた通常のデータセットを利用して新しい仮説を試すこともあり、データを見るまではどの仮説が適切か判断できないこともある。さらに、データ収集前には考慮していなかった仮説をデータが示唆することもある。分野によっては、研究成果の信頼性を確保するために、新しいデータセットを使用した再現実験が行われることもある。この方法では、独立したデータを新たに集め、同じ分析手法を適用し、一貫した結果が得られる場合に研究結果に信頼性が増す。ただし、経済学の市場暴落の研究のように、新しいデータを集めることが困難なケースもあり、実験の再現ができないことがある。また、ガン治療の研究などで患者が結果を待てない場合、再現を行う余裕がないこともある。