直感で解析ミスを見抜く!現代データサイエンスの極意【ChatGPT統計解析】
パソコンや統計ソフトを使う現代のデータ解析では、計算が迅速にできる反面、間違った計算をしていることに気づきにくい問題がある。特に多変量解析などの計算量が多い分析では、誤った入力や多重共線性などの問題が発生しやすい。このような誤りを防ぐためには、計算結果に対する直感を働かせ、数値が妥当かどうかを確認する必要がある。例えば、回帰分析後の回帰直線を散布図上で確認することで、不適切な計算がなされていないかをチェックすることができる。このような直感的なチェックは、コンピュータの普及に伴い、ますます重要になっている。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
出てきた数値に直感を働かせる
現実の実務におけるデータ解析では、パソコンと統計ソフトウェアを使って計算するのが普通です。
とくに、多変量解析は計算量が非常に多いため、多変量解析がほんとうに実用になってきたのは、パソコンや統計ソフトウェアが安い値段で使えるようになった、ごく近年のことです。
しかし、パソコンを使っていると、データを入力すればすぐに答えが出てしまうので、いまとり扱っている問題に対して不適切な計算をしていても、気づかないことがあります。
たとえば、説明変数の間に多重共線性が生じているのに気づかすにデータを入力すると、無意味な回帰方程式が求められているのにもかかわらず、それに気づかないことがあるので、十分に注意する必要があるのです。
これは、そのような失敗の典型的な例です。
こういう失敗をできるだけ防ぐには、計算をしたときに、出てきた数値がおかしな値でないか、すこし「直感」を働かせてみる必要があります。
不適切な計算をしていないかチェック
たとえば回帰分析で回帰直線を求めたら、散布図上にその直線を目分量でいいので引いてみるだけで、おかしな数値が出ていないかをチェックすることができます。
何年か前、ある大学で、入試の点数の集計が何年にもわたって間違っていた、という事件がありました。
この事件が発覚したきっかけは、自分の点数の開示を求めた人が、「ある科目の点数が2倍されて集計されているはずなのに、その点数が奇数である」ことに気づいたことでした。
こういう「直感」は、コンピューターが普及すればするほど、かえって重要になってくると思います。
関連リンク