▼▼▼▼▼▼▼▼
チャンネル登録はこちら

統計的に小さな極端なもの

事実の誇張は，小規模で検定力の足りない研究において，結果が非常に幅広くなることから引き起こされる。

時に幸運を引き当てて，統計的に有意だがかなり過大に評価された結果を得る可能性が高い。

こうした幅の広さは，有意性検定をしなくても問題を引き起こしうる。

ここで，公立学校の改革を担当しているとしよう。

最も良い教授方法を調査する一環として，学校の大きさが標準化テストの得点に与える影響を見る。

小さな学校の方が大きな学校より成績が良いのだろうか。

小さな学校をたくさん建てるべきだろうか。

それとも大きな学校を少しだけ建てるべきだろうか。

この問題に答えるため，成績が最高レベルの学校をリストにまとめる。

平均的な学校の生徒数は1000人程度だが，成績上位の10校はほとんどすべて生徒数がそれより少ない。

このことからは，小さな学校が最も良くやっているように見える。

教員が生徒を知ることができて，個別に助けることができるからかもしれない。

そして，成績が最低レベルの学校は何千人もの生徒と働き過ぎの教員がいる都会の大きな学校だろうと予測しつつ，成績が最低レベルの学校を見る。

なんと！　成績が最低レベルの学校は。みんな小さな学校だった。

何が起きているのだろうか。

学校の中でも規模が小さいものほど，テストの平均得点が大きくばらついている。

こうなっているのは,こうした学校に生徒が少ないからだ。

生徒が少なければ，教師の真の能力を証明するために必要なデータ点が少ないということになる。

だから，普通とは違った得点が少しあるだけで，学校の平均は大きく揺らぐのだ。

学校が大きなものになるほど,テスト得点のばらつきは少なくなる。そして，実は，学校の規模が大きくなるほど，テスト得点は平均して増加しているのだ。

他の例を挙げよう。

米国では，腎臓ガン罹患率が最低レベルである郡は，中西部・南部・西部の田舎の郡である傾向がある。

どうしてこうなるのだろうか。

田舎の人は，運動量が多く，汚染の少ない空気を吸っているのかもしれない。

あるいは，ストレスの少ない生活をしているのかもしれない。

しかし，腎臓ガン罹患率が最高レベルである郡も，中西部・南部・西部の田舎の郡である傾向がある。

無論，田舎の郡の人口がとても少ないことに問題のカギがある。

住民が10人しかいない郡に腎臓ガン患者が１人いるだけで，その郡が国内で腎臓ガンの罹患率が最も高い郡になってしまう。

つまり，小さな郡は，単に住民が非常に少ないという理由により，腎臓ガン罹患率が非常にばらついてしまうのだ。

ガン罹患率の信頼区間もそれに応じて広くなる。

この問題に対処するためによく使われる戦略として，縮小(shrinkage)というものがある。

住民が少ない郡について，その郡のガン罹患率と全国平均との重み付け平均を取ることで，ガン罹患率の推定を全国平均に向かって縮めるのだ。

住民が少ない郡なら，全国平均への重み付けを大きくする。

大きな郡なら，郡の重み付けを大きくする。

現在，縮小は，ガン罹患率の地図作成など，さまざまな用途でよく使われる手法となっている。

残念なことに,この方法は逆方向に結果を偏らせるものとなる。

本当に異常な罹患率を示している小さな郡は，実際よりも全国平均にずっと近い罹患率だと推定されてしまうのだ。

この問題に対処する単一の方法は存在しない。

他の最善の方法として，問題を完全に回避してしまうことが挙げられる。

例えば，郡ごとに罹患率を推定するかわりに，下院の選挙区を使うことがありえる。

米国では下院の選挙区はほぼ同じ人口になるように設計されている。ただ,選挙区は郡よりだいぶ大きいし，ゲリマンダーによって変な形をしていることがしばしばある。

選挙区に基づく地図は，統計に関して誤解を招くものにはならないだろうが，解釈するのは難しいままだ。

もちろん，標本の大きさをむりやり等しくすることは，いつも使える手段ではない。

例えば，オンラインストアでは，顧客の評価に基づいて商品を並び替える必要があるが，どの商品に対しても同じ数の顧客に評価させるようなことはできない。

他の例として, redditのように，ユーザーの評価によってコメントが並び替えられる討論ウェブサイトがある。

コメントは，時期や場所や投稿者によって，受ける評価の数がかなり変わってくる。

こうした状況には，縮小が役に立つ。

オンラインストアでは，商品の評価と何かしらの全体の平均との間の重み付け平均を使うことができる。

ほとんど評価がない商品については，全体的な平均をもって取り扱われるだろうし，何千もの評価を受けている商品については，それ自身の真の評価によって並び替えられる。

星を付ける評価でなく，単純に肯定か否定かの２択の評価を用いるredditのようなウェブサイトでは，肯定の評価をした人の割合の信頼区間を求めることが代替手段として挙げられる。

まずコメントに対して少ししか評価がないという状況で，信頼区間が広いというところから始まる。

その後，コメントが集まっていき，決定的な値（「70％の評価者がこのコメントにいいねしました」といったもの）にたどり着くまで区間の幅が狭まっていく。

そして，コメントは，信頼区間の下限に基づいて並び替えられる。

新しいコメントは最も下から始まるが、そうしたコメントの中で非常に良かったものは，評価を集めて信頼区間が狭まるにつれてページをはい上かっていく。

そして,コメントは肯定的な評価の総数ではなく，比率で並び替えられるので，新しいコメントでも，何千もの評価をすでに集めたコメントに対抗できるのだ。

適切な標本の大きさを決めるために、研究を計画するときに検定力を計算しよう。

いいかげんにしてはならない。

コーエンの古典的名著「行動科学のための検定力分析」に当たるか,統計コンサルタントに話をしよう。

もし，標本の大きさが現実的なものでなければ，研究の限界に注意しよう。

正確に効果を測る必要があるのならば，単に有意性の検定をするのではなく，検定力のかわりに確信度を用いよう。

仮定した効果を意図した精度まで測定できるように実験を計画しよう。

「統計的に有意でない」ことは「ゼロ」を意味しないことを思い出そう。

たとえ結果が有意でなくても，その結果は，収集したデータから分かる推定のうち最も良いものを表している。

「有意でない」ことは「存在しない」ことを意味しない。

明らかに検定力の足りない研究の結果は懐疑的に見よう。

そうした研究は事実の誇張によって大げさになっているかもしれない。

統計的有意性に関係なく，データと一貫する答えの範囲を決定するために，信頼区間を用いよう。

大きさの異なる集団を比較するときは，信頼区間を計算しよう。

信頼区間は大きな集団で得られる付加的な確実性を反映する。

小規模な研究では検定力が不足することにより、得られる結果が広範にばらつきやすく、統計的有意性が誇張されるリスクが高いことが知られています。これを具体的に考えると、学校の成績分析を例に挙げることができます。たとえば、全国の学校の平均成績を比較する場合、小規模校では生徒数が少ないため、成績がばらつきやすく、偶然による極端な値が観測される確率が高まります。一方で、生徒数の多い大規模校では成績の分布が安定しやすく、全国平均に近い値を示すことが一般的です。このため、小規模校のデータに基づいて大規模な結論を導くことは慎重を要します。同様の問題は医学研究においても顕著です。たとえば、腎臓ガン罹患率を地域ごとに分析する場合、人口の少ない小規模な地域では罹患率が極端に高いまたは低い値を示す傾向がありますが、これが必ずしもその地域の健康状態や環境要因の特異性を反映しているとは限りません。このような場合、ベイズ統計やエンピリカルベイズ法を用いて縮小推定を行うことで、データを全国平均に引き寄せ、より現実的な推定値を得ることができます。縮小推定のメリットは、極端な値が抑制され、誤った結論を導くリスクが低減する点にありますが、一方で真に異常な値が過小評価される可能性があるという欠点も持ち合わせています。このため、縮小推定を用いる際にはその限界を十分に理解し、慎重に解釈する必要があります。研究計画の段階では、適切な標本サイズを設定し、検定力を事前に計算することが重要です。これにより、過剰なばらつきや統計的有意性の誇張を防ぎ、より信頼性の高い結果を得ることが可能となります。標本が小さい場合には、得られた結果の限界を認識し、適切な統計手法を組み合わせることで解釈の精度を高めることが求められます。また、「統計的有意ではない」という結果は、効果が全く存在しないことを意味するのではなく、信頼区間を用いてデータの範囲やばらつきを明確にすることが重要です。信頼区間は、効果の方向性や大きさを把握するための有用な手段であり、小規模な研究や大きさの異なる集団を比較する際にも非常に有効です。特に、信頼区間の範囲が広い場合には、得られた推定値が真の値を反映していない可能性を示唆しているため、解釈には慎重さが求められます。さらに、小規模な研究の結果を解釈する際には、結果が偶然の影響を受けている可能性を常に考慮し、他の研究との比較やメタアナリシスなどを通じて妥当性を確認する努力が必要です。このように、小規模な研究における統計的有意性や推定値の解釈には、多くの注意点と課題が存在しますが、適切な設計と分析手法を用いることで、信頼性の高い結果を得ることが可能となります。研究者はこれらの統計的な考慮を念頭に置き、データの収集から解釈に至るまで、一貫して慎重かつ論理的なアプローチを取ることが求められます。