サンプルサイズで解明！有意差の秘密【ChatGPT統計解析】
有意差の検出には適切なサンプルサイズが必要であり、その設計にはα水準（第一種の過誤の確率）、β水準（第二種の過誤の確率）、そしてエフェクトサイズが重要な役割を果たします。α水準は通常0.05と設定され、これは帰無仮説が真であるにもかかわらず、誤って対立仮説を採択してしまうリスクを表します。β水準は、対立仮説が真であるにも関わらず、誤って帰無仮説を採用してしまうリスクで、通常0.2と設定されます。これに対応する検出力は1-βで、差がある場合にそれを正しく検出する能力を意味し、0.8に設定されることが多いです。エフェクトサイズは、二群間の効果の大きさを量的に表したもので、大きいほど効果が顕著であると解釈されます。これらの値を基にサンプルサイズが計算され、適切なサンプルサイズに基づいた実験設計は、誤った結論を導くリスクを最小化し、研究の信頼性を高めます。
差があることを言うのにはサンプルサイズ（Ｎ）が必要
実験計画法のなかで、標本の大きさ（サンプルサイズ）を設定することはとても大切です。
例えば、動物（ラット）にあるガンマグロブリン製剤を投与したときに、血中ヘモグロビン量が変化するかどうか、を検討するために実験を行い、以下の結果が得られたとします（単位：mg/mL）。
対照群158151151150148157
投薬群143133147144151158
さて、これら２群について（独立２群、不等分散を仮定した）t-検定を実施したところ、
p=0.1298
という値が得られ、有意差がないので、ガンマグロブリン製剤の投与はヘモグロビン量に影響を及ぼさないと考えられる、と結論しました。
この結論は正しいでしょうか。
確かにt-検定の方法自体は正しいし、検定結果が有意差なし、というのも正しいです。
問題はその次です。
「製剤の投与はヘモグロビン量に影響を及ぼさない」
果たしてここまで言っても良いでしょうか。
ここで帰無仮説と対立仮説を整理します。
帰無仮説：製剤投与群と対照群の間でヘモグロビン量に差がない
対立仮説：製剤投与群と対照群の間でヘモグロビン量に差がある
仮説検定の考え方を復習すると、差がないという帰無仮説を否定して、対立仮説を受け入れます。
対立仮説が本当に正しければ、帰無仮説を棄却し対立仮説を採択するのは正しい判断になります。
しかしながら、対立仮説が正しいにも関わらず、この例のように、帰無仮説が棄却できないので対立仮説を採択できない場合があります。
ここは重要ですが、あくまで「対立仮説を採択できない」というだけのことであって、「対立仮説を否定」することはできないのです。
つまり、有意差がつかなかったからといって差がないとまで言うのは言いすぎということになります。
実際このグロブリン製剤は、血中ヘモグロビン量を下げることで有名な製剤で、下げるのは自明（正しい）のこととなっています。
おそらく、サンプルサイズが不足しているので有意差がつかなかたったのではないかと考えられます。
さて、ではどのようにして適切なサンプルサイズを決めたらよいのでしょうか。
サンプルサイズの設計：α水準・β水準・エフェクトサイズ
先ずは、誤った判断をしてしまう確率（α水準・β水準）をはじめから設定することです。
手順は以下の通り。
①帰無仮説が正しいのに対立仮説を採択する（差があるとしてしまう）確率（第１種の過誤の確率：α水準）を設定する。通常はα＝０．０５
②差がある（対立仮説が正しい）にもかかわらず差がないとみなしてしまう確率（第２種の過誤の確率：β水準）を設定する。通常はβ＝０．２。逆に１－βは差があるのを正しく差があると検出する確率で、検出力といいます。通常０．８に設定します。
③実施した予備実験のエフェクトサイズ（Effect Size：ES）を計算する。ESは効果量ともいい、２群の差を２群の共通の標準偏差で割った値です。ESが大きいほど効果が大きいという意味です。
④これらの値をもとに、サンプルサイズを計算します。
計算式で示すと以下です。
詳細は割愛しますが、要はα＝０．０５、β＝０．２、ＥＳ＝δ／σが決まれば、ｎが決まるということです。
先の動物実験の例に戻りますが、
結局、この実験を検証のための最終実験ではなく、サンプルサイズ決定のための予備実験とみなす、というのが正しいわけです。
以下計算例ですが、α＝０．０５、β＝０．２、エフェクトサイズが予備実験の結果０．９８７と計算されましたので、必要なサンプルサイズは一群あたり１８と見積もることができました。
特別なソフトを使わなくても、マイクロソフトエクセルで簡単に計算することができます。
統計ソフトがなくても、こちらのExcelテンプレートでサンプルサイズを簡単に計算できます。
こちらのExcelテンプレートが欲しい方は以下お問い合わせフォームからリクエスト頂けれは差し上げます。
サンプルサイズの設計は実験計画上重要です。
α水準（第一種の過誤の確率）、β水準（第二種の過誤の確率）を設定し、エフェクトサイズを予備実験から計算することで、最適サンプルサイズを推定することができます。
ChatGPTに聞いてみた
プロンプト
あなたは最高のデータサイエンティストです。
サンプルサイズの決め方について解説してください。
#制約条件：
サルでもわかる平易な日本語で
文字数は300字程度
ChatGPTの回答
サンプルサイズを決めるのは、実験や調査をするときに超大事なステップです。サンプルサイズっていうのは、調べたい集団から選ぶ、調査や実験に使う人やものの数のこと。この数を決めるには、いくつか大事なポイントがあるよ。先ずは明確な目的：何を調べたいかしっかり決めよう。次いでバリエーション：集団がどれくらいバラバラかも重要。バラバラさが大きいと、もっと多くのサンプルが必要。次いで精度：結果の正確さも大切。もっと正確さが欲しいなら、サンプルサイズを大きくしよう。計算式：統計学の計算式を使って、これらの要素を考慮してサンプルサイズを出すことができる。簡単に言うと、何を知りたいかによって、必要なサンプルの数が変わってくるんだ。そして、その数を決めることで、信頼できる結果を手に入れることができるよ。
