標本調査法における誤差・結果の正確性への影響

調査で得られた数字はどのようにして、誤差や結果の正確性に対する影響の可能性を含むことになるのでしょうか。

例えば、「人々の意識を把握するための調査」を行う場合には、まず、調査対象者を選びます。

たいていは「標本調査法」を採用して、対象者全部を調査する代わりに、対象者の一部を選んで調査し、全部を調査した場合の結果を推計します。

次に、対象者の意識を把握するために質問項目を用意します。

聞きたいことを列記するのではなく、回答を得るための質問文を検討し、場合によっては、各質問項目に対する回答区分を用意して、どの区分に該当するかをきく形で回答を求めます。

これらの調査のどの段階についても、得られた結果の正確性に影響をもたらす可能性があり、結果として得られる数字は、さまざまな誤差（調査誤差）をもつ数字になります。

ここでは、調査後の分析・利用も含めて4つの場面に分け、それぞれの場面で誤差を減らすために考えるべきチェックポイントを提示します。

対象者のランダムサンプリング

ランダムに選べといっても簡単ではありません。

標本調査法を採用すると、「サンプルについての調査結果」で「対象者全体についての調査結果を推定できる」とされていますが、これは、「対象全体からサンプリングする」手順（ランダムサンプリング）を採用した場合に「確率論の数理」を使って説明されることです。

要は、サンプリングの誤差の発生の仕方を「バイアスのない状態（不偏）に制御できる」、そうして、「誤差を許容範囲に収め得る」という意味です。

誤差がなくなるという意味ではありません。

また、サンプリングの手順をどのように定めても、選ばれた人に面接できないなどの理由で、結果的には「不偏性の保証が欠けた結果」あるいは「許容範囲をこえた誤差」をもつ結果になってしまいます。

対象者に面接しにくい状況から、ランダムに番号を選んで電話するRDD法などの代替法が採用されるようになったが、適正な手順を適用しないと、結局は「答えてくれる人を探す」ことになり、「誰を選んで調査したか」ということすらあいまいになります。

回答を求める段階での調査誤差

個人差と誤反応を識別できるか、回答を求める段階でおきる調査誤差を減らすことは、さらに難しいといえます。

調査に応じてくれない人（NA）や、わからないという人（DK）もあり、答えてくれた人について求められた結果は、対象者全体でみたときの結果と違ってきます。

答の得られた場合でも、ある意図を含んだ答や、事実を脚色した答になっていることもあり得ます。

本来は対象者の意識を聞きたいのですが、例えば「マスコミの論調」の影響を受けて「受け売りした答」になったりします。

Yes、Noをきく質問の場合、「どちらともいえないという回答」が日本の調査では多くなることがよく知られています。

言い換えると、「調査したいことについて答えてもらう」ためには、質問の意図が回答者にはっきり伝わる質問文にしておけばよいのですが、そうしたとしても、回答者がその意図を読みとってくれるとは限りません。

結果分析の段階に問題が移ることになります。

調査結果の分析

数値で表現するための手順が必要です。

利用者が自分の問題意識で調査結果を読むための分析と、調査結果として得られた事実の分析とを区別しなければなりません。

ここでいう分析は、後者です。

扱うデータは、いわば、刺激（調査項目）に対する反応（調査結果）です。

したがって、調査結果はその数値だけみて多い・少ないとか、増えた・減ったと即断できるものではなく、数値として読むための手順が必要です。

まず、「どんな刺激に対する反応か」を考慮に入れて、「刺激の与え方」と「観察された反応」の両面を組み合わせて結果を読むための集計表を用意します。

そうして、それを読むための探索的データ解析、例えば「数量化の方法」とよばれる手法を採用して、「先見にひかれない形で、データから知見を引き出す」方針を適用します。

また、対象（サンプル）をランダムに分割したサブサンプルを使って、「刺激の与え方をかえて調査して、刺激の与え方の影響を把握できるようにする方法」いわば実験計画の考え方をとり入れた方法を採用することも考えられます。

調査方法の評価・調査誤差の検討

情報価値のある調査か否かを見分けること、適正な情報を得るためには、調査誤差に関してさまざま配慮を加えた調査を行うことが必要です。

当然、経費と時間を要するおおきい仕事になります。

このような配慮に欠けた調査もままみられるので、ユーザーが「価値ある情報を見分ける」ことが必要で、その情報を利用する前に、まず調査の実施手順などをチェックしなければなりません。

調査実施者は、調査結果そのものの説明資料だけでなく、調査方法の説明や調査誤差の検討などを含めた技術資料を用意しておかねばなりません。
また、結果利用者は、それに目を通すことが必要です。

よくあることですが、「こういう主張をしたい、それをサポートする数字はないか・・・と探す」、これでは、論証になりません。

関連する問題を取り上げた調査のうち、「調査方法がある水準を満たしているか否かを評価するステップ」をへて、証拠価値のある情報を選ぶことが必要です。

ChatGPTに聞いてみた

プロンプト

あなたは最高のデータサイエンティストです。
標本調査法における誤差の評価について解説してください。
#制約条件：
サルでもわかる平易な日本語で
文字数は300字程度

ChatGPTの回答

標本調査法では、全体から一部を選んで調査します。このとき、標本から得られる結果が全体をどれくらい正確に表しているかを知るために、誤差の評価が必要です。誤差には主に「標本誤差」と「非標本誤差」の2種類があります。
標本誤差:これは、たまたま選んだ標本が全体の特性と少し違ってしまうことによる誤差です。標本の大きさを大きくすると、標本誤差は小さくなります。標本誤差は統計学的に計算することができ、信頼区間や標準誤差で表されます。例えば、「平均値は100±3」という表現は、標本誤差を含んでいます。
非標本誤差:これは、調査方法の問題やデータの収集・処理の間違いなど、標本の選び方以外の理由で生じる誤差です。例えば、質問の仕方が偏っていたり、データ入力ミスがあったりすると、非標本誤差が生じます。
正確な標本調査を行うには、これらの誤差をできるだけ小さくする必要があります。標本誤差は標本の大きさを調整することで管理できますが、非標本誤差については、調査の設計や実施方法の改善が必要です。誤差の評価をしっかり行うことで、調査結果の信頼性を高めることができます。