信頼区間と権限強化

実験の結果が統計的に有意でないと述べることよりも有用なのが，見こまれる効果の大きさを与えてくれる信頼区間だ。

たとえ信頼区間がゼロを含んだとしても，その幅からさまざまなことが分かる。

ゼロを含む幅の狭い信頼区間は，効果が小さい可能性が強い（小さな効果が実務上有用でなければ，このことが知るべきことのすべてかもしれない）。

これに対して，幅の広い区間は，結論を導くには測定が十分に正確でないことを明確に示す。

物理学者は，ゼロと有意な差がない量に限界を設定するために，しばしば信頼区間を用いる。

例えば，新しい基本粒子を探索するときに，「信号は統計的に有意でなかった」と述べるのは有用ではない。

かわりに，物理学者は，研究中の粒子の衝突で生成された粒子の比率の上限を設定するために，信頼区間を用いることができる。

そして，物理学者は，そのふるまいを予測する対抗理論と結果を比較することができる（さらに，将来の実験者に対して，検出するためにより大きな器具を作るようにさせることができる)。

信頼区間という観点から結果を考えることは，実験計画に取り組むための新たな方法をもたらしてくれる。

有意性検定での検定力に注目するかわりに，｢意図している精度で効果を測定するためにはどれだけのデータを集めなくてはならないのか｣と問うのだ。

検定力が強い実験だったとしても，非常に幅の広い信頼区間を持つ有意な結果を生み出すことがある。これでは結果を解釈しにくい。

もちろん，データは実験ごとに違うものになるから，信頼区間の大きさも実験ごとに違うものになる。

このため，ある水準の検定力が得られるような標本の大きさを選択するかわりに, 99%の状況で目的に合う程度に狭い信頼区間が得られるような標本の大きさを選ぶ(99%のかわりに，あるいは95％を用いる。

この数をいくつにするかについての標準はまだ存在していない。

なお，この数は確信度[assurance]と呼ばれるもので，どれほどの割合で目標とする幅に信頼区間が当てはまるかを左右する)。

確信度に基づいて標本の大きさを選ぶ手法は，一般的な統計的検定の多くで開発されてきた。

ただし，すべての検定に対してこうした手法があるわけではない。

これは新しい領域の話で，統計学者はまだ解明しきっていないのだ。

こうした手法は，パラメータ推定での確信度[accuracy in parameter estimation]あるいはAIPEと通称されている。

検定力は確信度よりずっとよく使われている。

これに対して，確信度はどの分野の科学者もまだあまり用いていない。

だが，こうした手法は非常に有用だ。

統計的有意性は，多くの場合，松葉杖だ。

つまり，受けは良さそうなのだが，良い信頼区間に比べれば,情報量の少ない代替物に過ぎない。