▼▼▼▼▼▼▼▼
チャンネル登録はこちら

欠損データ

欠損（missing）データは、データ分析でよくある問題です。

しかし、欠損データがありふれているにも関わらず、この問題を扱う簡単な解があるとは限りません。

むしろ、様々な手続きややり方があり、分析者は、どの方式を採用し、どれだけの資源をこの欠損データの問題専用に割けるかを決定しなければなりません。
データの欠損には多くの理由があり、データ集合の中にその理由が記録されていると役に立ちます。

プログラムによっては、問題の変数には真の値として用いることができない負数を使ってなど、欠損データの種類を区別するために特別なデータを符号として用いることが許されていることがあります。

調査に応じた個人によっては、特定の質問への回答を拒否したり、要求された情報を持っていなかったり、質問が単に該当しないといったことがあります。

この３種類の反応に異なる符号（例えば−7、−8、−9）を割り当て、それぞれの意味をコードブックに記録することができます。

システムによっては、値ラベルを使って、符号の意味を記録できます。

欠損の種類の間に相違を設ける理由は、その情報を用いて分析をさらに進めるためです。

特定の質問に答えるのを拒否した人は、その質問への回答を知らない人と比べて性別や年齢で違いがあるかどうか調べたいと思うかもしれないからです。

欠損データには２つの大きな問題があります。

分析に使えるケースの個数を減らすので、統計能力（データにおける真の相違を探す能力）を減じるだけでなく、データにバイアスを導入する危険があります。

最初の点は、すべてが等しいなら、ケースの個数が増えるとともに統計能力が増えるという事実に基づいて、ケースの損失が能力損失に結びつきます。

第二の点の説明には、欠損データ理論を見ていく必要があります。

欠損データは伝統的に、次の３種類に分類されてきました。

完全ランダム欠損（MCAR）、ランダム欠損（MAR）、無視不可、の３種類です。

MCARは、データの一部が欠損しているという事実が、その値自身やデータ集合中の他の値に関係しないということを意味します。

これは、完全なケースがデータ集合全体からの無作為抽出と考えられるので、最も扱いやすい欠損データの部類となります。

残念ながら、実際にはMCARデータは滅多に生じません。

MARデータは、データの欠損部分が自分自身の値には関係しませんが、分析の他の変数の値に関係するものです。

家計収入に関する調査項目が完全になっていないのは、個人の教育レベルに関係する可能性があります。

無視不可は、欠損そのものがその値に関係するデータを指します。

例えば、太りすぎの人は、体重についてのデータ提供を断るかもしれず、世間から蔑まれる職業の人は、職業調査に答えない可能性があります。

この議論は実際的ではないかもしれませんが、欠損という定義からそもそも、欠損しているデータの値を知らずに、欠損データの種類がどうやってわかるでしょうか。

答えは、調査した対象についての知識とこの分野における経験から判断するしかないということです。

なぜなら、普通の統計分析手法は、完全でバイアスのないデータがあるものと仮定しているので、データ集合に多数の欠損データがある場合、自分（あるいは責任者）は、どうするかを決定しなければならないのです。

場合によっては、統計コンサルタントに相談したり、欠損データを扱うように特別に設計されたソフトウェアを使う必要があったりするかもしれません。

そのような専門家やソフトウェアがあるかどうか、また、そのための予算が確保できるかどうかが決定に絡むこともあるでしょう。

最も望ましいのは、情報源をさらに当たって欠損データを集めるように努力して、欠損データをなくすことにより問題を解決することです。

しかし、これはいつも可能とは限らず、試してみても成功するとは限りません。

第二の手段としては、SPSS MVAモジュールにあるような最大尤度法を用いて欠損データを補うことです。

あるいは、SAS PROC MIのようなプログラムの多重配分機能を用いて欠損データのための分布を生成することです。

配分プロセスは、データ中に存在する値を用いて、欠損データのための代わりの値を生成し、完全なデータ集合を作る、もしくは欠損データを置き換える配分値だけでなく、データが欠損していることを示すダミー変数を分析に含める方法もあります。

古典的な繰り返し測定モデルではなくマルチレベルを用いるなど、別の分析設計を考えることもあります。

また、分析から多量の欠損値を含むケースや変数を除くこともあります。

これは、問題が分析の中心ではない少数のケースに限られており、データがMCARでなければバイアスを導入しかねない場合にのみ妥当とされます。

利用可能な値を使って欠損値を配分する条件付き配分を用いることもあります。ただし偏差の過小評価につながるのでおすすめはできません。

最後に、欠損値に人口平均を使うような、単純配分を使って値を置き換えることもあります。ただしほとんど常に偏差の極端な過小評価につながるのでおすすめはできません。

欠損データは、データ分析において頻繁に遭遇する問題の一つです。データセットを取得して分析しようとしたとき、しばしばその中には欠損値が含まれていることがあります。この欠損値が分析の結果に影響を与える可能性があるため、欠損データを適切に扱うことは極めて重要です。しかし、欠損データが広く見られるにもかかわらず、それに対する簡単な解決策が存在するとは限りません。実際には、欠損データに対処するためのさまざまな手法やアプローチがあり、分析者はどの方法を選択し、どの程度のリソースをこの問題に費やすかを慎重に決定する必要があります。

欠損データが発生する理由は多岐にわたり、データセット内でその理由が明確に記録されている場合、問題解決に役立つことがあります。例えば、調査対象者が特定の質問に答えなかった理由を記録しておくことができれば、その欠損データがどのような性質を持っているかを判断する手がかりになります。一部のプログラムやシステムでは、欠損データを区別するために特定の符号（例えば負数など）を使用することが許可されています。この符号を利用して、どのデータが欠損しているのか、あるいは欠損の種類を識別することができます。

調査において、欠損データが生じる典型的なケースには、調査対象者が特定の質問に回答を拒否したり、求められた情報を持っていなかったり、質問がその人にとって該当しなかったりすることがあります。これらの異なる反応に対して、異なる符号を割り当て、例えば「−7」が質問への回答拒否を、「−8」が情報を持っていないことを、「−9」が該当しないことを意味するように設定し、それぞれの意味をコードブックに記録することが可能です。さらに、システムによっては、値ラベルを使用してこれらの符号の意味を明確に記録する機能も提供されています。

なぜ欠損の種類に違いを設ける必要があるのかというと、その情報を利用してさらなる分析を行うためです。例えば、特定の質問に対する回答を拒否した人が、質問に答えた人と比較して、性別や年齢などに違いがあるかどうかを調べることができるためです。これにより、欠損データがどのように発生し、それがデータの全体的な傾向や結果にどのような影響を与えるのかをより深く理解することが可能になります。

欠損データには2つの大きな問題があります。第一に、欠損データは分析に使用できるケースの数を減少させるため、データの統計的なパワー、つまりデータにおける真の差異を検出する能力を低下させる可能性があります。統計パワーは、データセット内のケース数が多いほど高くなるため、欠損データによってケースが減少すると、その分パワーも低下します。第二に、欠損データがバイアスを引き起こすリスクがあるという点です。欠損データが偏りなくランダムに発生していない場合、その欠損によってデータ全体にバイアスがかかり、分析結果が歪められる可能性があります。この2つの点を考慮して、欠損データに対処するための適切な戦略を採用することが重要です。

欠損データに関する理論を詳しく見ていくと、伝統的に欠損データは3つのカテゴリーに分類されてきました。これらは「完全ランダム欠損（MCAR: Missing Completely at Random）」、「ランダム欠損（MAR: Missing at Random）」、「無視不可欠損」の3つです。MCARは、データの一部が欠損しているという事実が、その値自体や他のデータに一切関係しない場合を指します。つまり、欠損データが発生するかどうかがランダムであり、欠損が他の値や変数に影響されないという状態です。MCARデータは、データセット全体からの無作為抽出と見なせるため、最も扱いやすい欠損データのタイプとされています。しかし、現実世界でMCARデータが生じることは稀です。

次にMARですが、これは欠損データが自分自身の値には関係しないものの、他の変数の値に関連して欠損が発生する場合を指します。例えば、家計収入に関するデータが欠損しているのが、個人の教育レベルに関連している可能性があるという場合です。このような状況では、欠損データが完全にランダムではないため、欠損部分の扱い方によっては分析結果にバイアスが生じるリスクがあります。

最後に無視不可欠損ですが、これは欠損そのものが欠損している値に関連している場合を指します。例えば、太りすぎの人が体重に関する質問に回答しない、あるいは社会的に不名誉とされる職業に従事している人が職業に関する質問に答えないというケースが該当します。このような状況では、欠損データそのものがデータの性質と強く関連しているため、これを無視して分析を進めると大きなバイアスが生じるリスクがあります。

この欠損データの問題に取り組むためには、まずどの種類の欠損が発生しているのかを理解することが重要です。欠損データの種類を特定するためには、単にデータを見るだけではなく、調査対象やその背景に関する知識や経験が必要となります。欠損データの問題を適切に扱わなければ、通常の統計分析手法は完全かつバイアスのないデータが前提となっているため、分析結果が信頼できないものとなる可能性があります。

欠損データに対処する方法にはいくつかのアプローチがあります。最も望ましいのは、欠損データを可能な限り集める努力をすることです。情報源に再度アプローチして欠損データを補完することで、データセットをより完全なものにし、欠損による問題を最小限に抑えることができます。しかし、これは常に可能なわけではなく、情報源にアクセスできない場合や、調査対象が協力を拒否する場合もあります。したがって、現実的には他のアプローチが必要となることが多いです。

欠損データを補完するための方法として、最大尤度法（Maximum Likelihood Estimation: MLE）や多重代入法（Multiple Imputation: MI）などがあります。最大尤度法は、SPSS MVAモジュールなどで利用できる手法で、欠損データを推定し、その推定値を使用してデータセットを補完します。多重代入法は、SASのPROC MIなどのプログラムで実装されており、データの分布を基に欠損値を補完するための代替値を生成します。この方法では、欠損部分に対して複数の代入値を生成し、それらをもとに完全なデータセットを作成することが可能です。