研究者の自由：好ましい雰囲気？

統計は退屈で単調なものだという広く知られた誤解が存在する。

データをたくさん集めて，数をExcelとかSPSSとかＲとかにつめこんで，そしてソフトがカラフルな図を出力するまで棒でたたく。

おしまい！　

統計分析者がしなくてはならないことは，何かコマンドを入力して，結果を読みあげるだけだ。

だが，どのコマンドを使うかについては選ばなくてはならない。

２人の研究者が同じ問題に答えようとして，まったく違った統計分析をすることはありえるし，実際に違った分析になることはしばしばある。

決定を下すべきことは，たくさんあるのだ。

何を測定するか

これは言うほど自明なことではない。

精神科薬物療法について試験しようとする場合，症状を測定する尺度としてさまざまな尺度が候補となる可能性がある。

例えば，各種の脳機能の試験，医師からの報告，その他さまざまなものが候補となるだろう。

その中で，どれが最も役に立つのだろうか。

どんな変数を調整するか

医学的試験ならば，患者の年齢，性別，体重、BMI、以前の病歴，喫煙の有無，薬の使用の有無，あるいは研究前に行われた医療検査の結果を統制することになるかもしれない。

これらの要因のうち，どれが重要なのだろうか。

どれが無視できるのだろうか。

どうやって測定するのだろうか。

どんな事例を除外するか

食事の計画を試験しているとしたとき，下痢で倒れてしまった被験者が出てきた場合は結果が異常なものになるから，その被験者を除外したいと考えるかもしれない。

あるいは下痢はその食事の副作用であって，その被験者を含めなくてはならないかもしれない。

理由が分かるものにせよ分からないものにせよ，普通のものから外れてしまっている結果というものは常に存在していて，そうしたものを除外したり，特別に分析したりしたくなるかもしれない。

どんな事例を外れ値(outlier)と見なすべきだろうか。

そして，外れ値にどう対処すべきなのだろうか。

グループをどう定義するか

例えば，患者を「過体重」・「正常」・「低体重」というグループに分けたいとする。

どこに境界を設定すべきだろうか。

BMIが「過体重」の範囲に入ってしまっている筋骨たくましいボディビルダーについてはどうすれば良いだろうか。

欠測データはどうすべきか

新しい薬を投与したときのガンの寛解率について調査することがあるかもしれない。

５年に及ぶ調査を実施するとしても，６年後あるいは８年後に腫瘍が再び現れる患者がいるかもしれない。

データの中にはこうした病気の再発が含まれない。

薬の有効性について測定する際に，このことについてどう説明すべきだろうか。

データをどれだけ集めるべきか

決定的な結果が出たらデータ収集をやめるべきだろうか。

それとも，すべてのデータが集まるまで計画したどおりのデータ収集を続けるべきだろうか。

もし希望した数の患者を集めるのに困難があったとしたら，どうすべきだろうか。

統計分析上の決定

どの手続きが最も適切かを探ることに何時間もかかることはありえる。

論文では，実施された統計分析についてはたいてい説明がある。

だが，なぜ研究者がある方法を選んで他の方法を選ばなかったかということについての説明はいつもあるわけではないし，他の方法を選択したとしたらどんな結果が得られたかについての説明があるわけでもない。

研究者は自身が適切だと感じるものを何でも選ぶ自由がある。

研究者は正しい選択をするかもしれない。

だが，もしデータに対して異なった分析をしたとしたら，何か起きるだろうか。

こうした統計の自由は，たとえ分析者が誠意を持っていたとしても，知らず知らずのうちに分析に偏りがもぐりこむことを許してしまう。

分析に関して下したわずかな数の決定が，結果を大幅に変えることはありえる。

このことからは，分析者がデータを見る前に決定を下すべきだということが示唆される。