偏りを避ける

物理学では，無自覚な偏りが長らく問題として認識されつづけてきた。

光速だとか亜原子粒子の性質といった物理定数の測定は，最終的に受け入れられた｢真実｣でなく，むしろ以前の測定結果の周りに集中する傾向がある。

実験者は，先行研究に合致しない結果を得ると，｢こうした誤差について１つあるいは複数の原因を追究し，一般に認められた値に近い結果を得るまで探索しつづけ，そこで探索をやめる｣ようなのだ。

こうした偏りを除去すべく，量子物理学者は盲検分析(blind analysis)を実施しはじめている。

この手法では，データを分析する科学者は，分析手続きが最終的に決定されるまで関心のある値を計算することを避ける。

これを実施するのが簡単なときもある。

1930年代初頭に電子の比電荷を測定したフランク・ダニントンは，機械工に実験装置を作らせた。

その実験装置は、検出器を最適な角度に近くするものの，ぴったり最適な角度にはならないように作らせてあった。

このしくみによって，厳密に角度を測定しなければ，ダニントンは最終的な答えを計算することができなくなった。

そして，分析手続きを工夫した一方，無意識のうちに結果を偏らせることを不可能にした。

準備が済めば，角度を測定して最終的な比を計算するのだ。

もちろん盲検分析はいつもこんなに簡単であるとは限らないが，量子物理学者は主要な実験で盲検分析を取り入れはじめている。

他の盲検の技法としては，すべての測定に定数を加えた上でその定数を分析が最終的なものになるまで分析者に隠しておくこと，分析を分割した上で独立したグループに部分ごとに分析を行わせてから結果を合わせること，シミュレーションで偽のデータを挿入して後から取り除くことなどがある。

結果が隠されなくなるのは，分析が不備なく適切なものだと研究グループが確信したときになってからだ。

医学研究の中には，盲検分析の一形態として三重盲検が行われることがある。

分析が終わるまで，患者・医者・統計分析者の三者とも，どのグループが統制群かを知らされない。

これで偏りの原因がすべて消えるわけではない。

例えば，統計分析者は無意識のうちに処置群に有利になるようにすることはできないが、グループ間の差を大きくするように偏らせることはあるかもしれない。

そして，徹底的な盲検手法はあまり頻繁に使われていない。

また，分析を非現実的なものにせずに，一般的な統計手法をどれだけ盲検化できるかということを決めるにはかなり大規模な方法論研究が必要になる。

三重盲検のかわりに統計分析者の選択の自由を取り除く方法が１つある。

この方法の限定された形式は，分析そのものに関わるというより，実験の計画と実施だけに関わるものだが，医学で広く使われている。

医師は，計画した標本の大きさと測定対象となる結果変数を含めて，データをどのように集めるかを説明するために臨床試験のプロトコルを立案することが求められる。

その後，患者の安全とプライバシーの十分な保護を保証するために，プロトコルは倫理委員会によって審査される。

プロトコルはデータを集める前に立案されるものだから，医師が計画をいじくり回して都合の良い結果を得ることは簡単にはできない。

ただ，残念なことに，多くの研究がプロトコルを逸脱し，研究者による偏りが入りこむようになってしまっている。

学術誌の編集者は，投稿された論文と元々のプロトコルを比較しないことがしばしばあるし，プロトコルが破られた理由について執筆者に説明を求めないこともしばしばある。

だから，プロトコルを変更しようとする意欲を押しとどめる方法が存在していないのだ。

科学の多くの分野では，プロトコル公表が要件とされない。

そして，心理学・精神医学・社会学といった学問では特定の実験に対して用いるものとして取り決められている単一の手法がないことがしばしばある。

医学的試験や物理学の実験のための適切な計画というのは死ぬほど分析されてきたのだが，それに比べて複雑な行動科学でどうするかはっきりしないことはしばしばある。

その結果，研究計画が非常に多様になる。

新しい論文ごとに，手法の組み合わせが変わるのだ。

米国で通常存在するように，新規の結果を作らせようとする強い心理的圧力が存在していれば，こうした分野の研究者は実験計画とデータ分析において自由があるため，偏った極端な結果をより多く生み出す方向に向かいがちになる。

この事態に対して，確認的研究のためにプロトコル登録ができるようにし，続く結果をより信頼できるものにできるよう提案している人もいる。

もちろん，ヘルムート・フォン・モルトケの言葉を言い換えれば，データに接触して生き残る分析計画は存在しない。

思いがけない障害や問題が存在するかもしれない。

測定されたものの分布，変数間の相関，外れ値の原因としてありえそうなものといったこと−これらはいずれも分析手法を選ぶときに欠くことのできないものだ−についての想定が完全に間違っているかもしれない。

データを集める前にはどんな想定を立てるか分からないかもしれない。

そうしたときには，当初計画された明らかに間違っている分析を続けるのではなく，分析手法を改めた方が良いだろう。

データを見ずに前もって分析手法を特定できないことすらあるかもしれない。

長年使ってきた通常のデータセットを使って新しい仮説を試すかを決めるかもしれない。

データを見るまではどんな仮説が関連するのかはっきりしないかもしれない。

あるいは，データを集める前は考えもしなかった興味深い仮説をデータが示唆するかもしれない。

分野によっては，研究成果を公刊する前に繰り返しを行うことでこの問題を解決できる。

つまり，新しく独立したデータセットを集め，まったく同じ手法で分析するのだ。

もしこれで効果が残るようだったら，結果に自信を持ってよい（新しい標本に十分な検定力があることを確実にしておこう）。

だが，市場の暴落を研究している経済学者は，暴落をもう１回作り出すことができない（少なくともそれは倫理的でない）。

医者がガンの治療を研究していても，患者は繰り返しを待っていられないかもしれない。

統計の手法が増えることは，さまざまな道具立てをもたらしてくれる。

だが，これらの道具立ては，データが白状するまでたたくための鈍器として用いられているようにも見える。

分析手法の事前登録，盲検，そして実験手法のさらなる研究によって，データをより人道的に扱いはじめることが可能になる。

データを集める前に，多重比較を説明できるように，また，探究したい効果をすべて入れるように，データ分析の計画を立てよう。

もしできるとしたら，臨床実験のプロトコルを登録するようにしよう。

計画していたプロトコルから外れる場合は，論文でそのことに触れ，説明を加えよう。

データが白状するまで拷問にかけるのはやめよう。

分析開始前に具体的な統計的仮説を決めておこう。