データの魔法！表・図・統計で解析の極意【東京情報大学・嵜山陽二郎博士のAIﾃﾞｰﾀｻｲｴﾝｽ講座】
データをまとめることは、その情報を効果的に要約・縮約する行為です。これには主に表作成、図示、要約統計量の計算が含まれます。表はデータの一覧性を強調し、図は直感的な理解を促進し、統計量はデータの重要な特徴を数値で示します。統計学では、これらの方法を組み合わせてデータを分析し、最終的には文章化して報告します。文章化は、統計的な分析結果を論理的に表現する能力を要求し、戦略的なプレゼンテーションやディベートにも重要です。現代のソフトウェアは統計量の計算を容易にし、データ分析をよりアクセスしやすくしていますが、データの誤解を招かないよう注意が必要です。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
データのまとめ方
データをまとめるとは、データに含まれる情報を要約することをいいます。
ときおり「縮約」ともいわれます。
もっともデータは「まとめる」以外の意義のあるものもあります。
たとえば「人口動態統計」はその基礎である住民票や出生届、個人届を集計したものですが、それらは各個人情報として住民サービスに利用できさえすればよく、統計分析するために収集されたのではありません（これらを第二義統計といいます）。
データをまとめる場合、大まかに３通りの方法があります。
①表にすること 例：度数分布表、クロス集計表
③要約統計量の計算 例：平均値、分散、標準偏差、相関係数、回帰方程式
ほとんどの場合、①、②、③の方法は併用されます。
つまり、表にされ、図に表現され、重要な統計量が計算されたのち、総合されて文章化され、「○○データの分析」（たとえば）として報告、発表されます。
「表」は一目でわかる点（一覧性）ですぐれ、「図」は視覚に訴える点ですぐれています。「要約統計量」は正確な議論の展開に必要です。
ここで意外と見落とされるのは「文章化」です。
統計的分析のほかに論理的作文力、表現力も要求されるため「データをまとめる」ことは相当に知的な高度の作業となります。
そして、これが戦略的なプレゼンテーション能力、ディベート能力の重要要素となっているのが今日的状況です。
上の３つの方法の基礎はいうまでもなくデータで、「原データ」「生データ」といわれます。
原データから一足とびに結論を出すことはまずありません。
それは不可能であったり、また原データからプライバシー保護のために、そのままの形でアクセスすることは許可されなかったりすることが多いからです。
ほとんどの場合、表か図か統計量の形で、データを利用することになります。
いわば、これらは原データの縮図といえます。
このコンピューター時代に、表、図をイラストかアクセサリーのように、それにカラフルな美しい表現を与えたり、巧みなデザインを添えたりすることが行われますが、原データにはもともとない強い印象を見る者に与える行き過ぎた面もあります。
そのような場合、思わぬ誤解や反発を引き起こすでしょう。
統計量の計算
統計量を計算することは今日エクセルのような計算ソフトで容易になっています。
標準偏差や相関係数のような進んだ統計量は、今までにとらえることのできなかったデータのかくれた重要な情報を与えてくれます。
統計量の正しい理解と用い方さえわかれば、データのまとめ方は一段と近いものになり、統計分析の能力は飛躍的に向上します。
実際、統計分析の中心は、数多くのこれらの統計量の計算によって行われます。
例として、ある大学の統計学の学期試験のデータをとりあげます。
ここのどのような事実が読み込めるでしょうか。
表、図、統計量を用いてまとめてみましょう。
平均は54.14点で試験としては難しくもやさしくもないごく普通の難易度です。
ヒストグラムから、この成績分布は平均を中心としてほぼ左右対称です（さらにいえば、いわゆる「正規分布」の形をしています）。
標準偏差はほぼ20点です。
34～74点が平均値を中心とした標準偏差の１倍範囲です。14～94点が２倍範囲です（なお、正規分布の理論によれば１倍範囲の確率は68%ですが、このデータでも65.5%程度でほぼ合っています）。
通常試験では、80点以上に優（またはA）が与えられますが、本試験では5.1%であり、しばしば設定されている「A３割」の基準からは相当きびしいといえます。
また及第点50点に達しない、いわゆる不可点が与えられたのは41.6%で、合格不合格という基準からも本試験はきびしいといえます。
ChatGPTに聞いてみた
プロンプト
あなたは最高のデータサイエンティストです。
データに含まれる情報を要約する方法について解説してください。
#制約条件：
サルでもわかる平易な日本語で
文字数は300字程度
ChatGPTの回答
データに含まれる情報を要約するって、大海の水をコップ一杯にまとめるようなもの。たくさんの情報を、パッと見て理解できる少ない言葉や数字にする方法です。主なやり方はこんな感じです。
平均：全部の数を足して、数の個数で割る。これで、「平均的にはこんなもんだよ」というのがわかります。
中央値：数を小さい順に並べて、真ん中に来る数。これで、「真ん中の値はこれだよ」と教えてくれます。外れ値（とても大きい数や小さい数）の影響を受けにくい。
最頻値：一番たくさん出てくる数。これで、「これが一番ポピュラーだよ」と分かります。
範囲：一番大きい数と小さい数の差。これで、「データはこのくらい広がってるよ」というのが見えます。
分散・標準偏差：数が平均からどれくらい離れているか。これで、「データのばらつきはこんな感じだよ」と教えてくれます。
これらの方法で、データを要約すれば、何が言いたいのかすっきりと伝えることができます。大切なのは、何を伝えたいかによって、使い分けることです。
関連リンク
