統計に関する誤り

統計に関する知性が欠如しているとほとんどの科学者を非難するのは不公平かもしれない。

ほとんどの学術分野は、ｐ値の誤った解釈以上のものにのっとって成立しているからだ。

だが、こうした誤りは、現実世界に非常に大きな影響を及ぼしている。

医学における臨床試験は、私達の健康管理を左右するし、強力な新しい処方薬の安全性を決定する。

犯罪学者は犯罪を減らすためのさまざまな方法を評価するし、疫学研究者は新しい疾病の速度をゆるめようとする。

マーケティング担当者やビジネスマネージャーは商品を売る最善の方法を見つけようとする。

こうしたことは、つまるところ、統計に行き着く。

何が良いか悪いかについて医者が決定しないということに不満を述べたことがある人は、誰でもこの問題の範囲を理解するだろう。

私たちは、今や、何らかの食品や食事や運動が有害かもしれないと主張するニュース記事を拒否するような態度になっている。

数か月後の必然的な第二の研究を待つだけの話だ。

その研究は正反対の結果を示しているだろう。

ある著名な疫学研究者は、「私たちは急速に社会の厄介者になっている。人々は、もはや私たちのことを真剣に取り合ってくれない。

そして、人々が真剣に受け取ってくれるときは、私たちは、意図せず、有益なことより有害なことを多くなしているのかもしれない」と述べている。

私たちの勘は正しい。

多くの分野で、最初に出てきた結果は後から出てきた結果と矛盾する。

刺激的な結果を早く頻繁に公刊しようとする圧力の方が、追加の証拠で支持され、慎重に確かめられた結果を公刊しようとする責任よりも強いようなのだ。

ただ、そんなに急いで判断しないようにしよう。

いくつかの統計に関する誤りは、単に資金や資源が不足したことによって起こっている。

1970年代半ばに、ガソリンと時間を節約するために、米国で運転手に赤信号の右折を許すようにした運動について考えてみよう。

このようにしても変更前に比べて衝突事故が増えることはないという証拠は、統計的におかしいものだった。

そして、この後すぐに見るように、赤信号での右折を許すようになった結果、多くの人命が失われた。

交通安全の研究者を妨げた唯一の要因は、データの不足だった。

もし、より多くのデータを集め、より多くの研究を実施するための資金があれば、そしてさまざまな州の独立した研究者の結果を比較対照する時間があれば、真実は明らかになっていただろう。

製薬企業は、薬に効果がないことを示す研究を公刊しないことで証拠を歪ませる誘惑に特に駆られているように見える。

後から文献を評価する人は、薬に効果がないことを示す公刊されなかった８個の研究を知らないままに、薬に効果があることを示す他の公刊された１２個の研究を見つけて満足するだろう。

もちろん，薬に効果がないとする研究はたとえ投稿されたとしても，査読付きの学術誌で公刊されることはないかもしれない。

つまらない結果に対する強い偏見があるために，効果がなかったと述べる研究は決して公にならず，他の研究者がそれを見ることができない状況がもたらされるのだ。

データが欠けていることと公刊の偏りは，重要な問題に関する認識を歪め，科学への災いとなっている。

正しく行われた統計ですら信じることができない。

統計の手法や分析で使用可能なものが多すぎるため，研究者がかなり自由にデータを分析できるようになっている。

そして、「データが吐くまで拷問する」ことはとても簡単だ。

統計ソフトが提供しているさまざまな分析をどれかが興味深い結果を出すまで試し，そうした結果を出した分析こそが最初からやろうとしていた分析だったといつわるのだ。

超能力なしに，ある公刊された結果が，データへの拷問で得られたものかどうかを判断することはほとんど不可能だ。

理論があまり数量に基づくものでなく，実験の計画が難しく，手法があまり標準化されていないような柔らかい分野では，このような自由が付け加わることが顕著な偏りを引き起こす。

米国にいる研究者は，キャリアを進めるために，興味深い結果を生み出して公刊しなくてはならない。

大学などの研究職で空いているものはわずかで，このわずかな数の職を求める競争は激しいものになっている。

こうした競争があるために，科学者は統計的に有意でない結果を生み出すだけのデータを数か月あるいは数年かけて収集したり分析したりすることはできないのだ。

こうした科学者は，悪意がなくても，データから許されるところより自分の仮説に都合が良い方向に誇張された結果を生み出す傾向がある。

誤りの多くは，公刊された大量の文献の中にはびこっている。

何千もの論文について，その報告に疑いの目が向けられているのだ。

近年，多くの大が統計の改革を呼びかけている。

そして，当然，そうした人の中でも，問題対処の方法として何が一番良いかということについて，意見の相違がある。

p値については，まぎらわしく混乱を招くことがしばしばあると説明する予定だが，これの使用を完全にやめるべきだと主張している人がいる。

他には，信頼区間に基づく「新しい統計学」を提唱している人もいる。さらには，より解釈がしやすい結果を出す新しいベイズ的手法に切り替えるべきだと提案している人もいる。

また，今教えられている統計で大丈夫だが，用いられ方が良くないと信じている人もいる。

こうした立場はどれも見るべきところがある。

私としてはどれか１つの立場を選び取って，推奨するつもりはない。むしろ，私は，現役の科学者によって現在用いられている統計に着目している。