相互情報量と相関係数の違いは？特徴や関係性も解説！（線形・非線形：独立性の指標：情報理論など）

相互情報量と相関係数は、どちらも二つの変数の関係を調べるために使われる指標です。

ただし、測定できる関係の種類や数値の意味、実務での使い分けには大きな違いがあります。

相関係数だけでは見逃してしまう非線形の関係もあるため、データ分析、機械学習、統計解析では指標の前提を理解して選ぶことが重要です。

この記事では、相互情報量と相関係数の基本から、独立性、線形性、非線形性との関係、具体例までをわかりやすく整理します。

相互情報量と相関係数の違い

それではまず相互情報量と相関係数の違いについて解説していきます。

測定対象となる関係の範囲

相関係数は、主に二つの数値データの線形的な関係の強さと向きを表す指標です。

一方で相互情報量は、一方の変数を知ることで、もう一方の変数についてどれだけ不確実性が減るかを測ります。

そのため相互情報量では、直線的な関係だけでなく、曲線状の関係、周期的な関係、複雑な分類上の結び付きも捉えられます。

たとえば気温とアイスクリームの売上は、気温が上がるほど売上が増える傾向があり、相関係数でも把握しやすい代表例です。

これに対して、角度と円周上の位置のように周期性を持つデータでは、単純な相関係数が小さくても明確な関係が存在する場合があります。

数値の意味と値の範囲

一般的なピアソンの相関係数は、マイナス一から一までの範囲で表されます。

一に近いほど強い正の線形関係、マイナス一に近いほど強い負の線形関係、ゼロに近いほど線形関係が弱いことを意味します。

符号を持つため、片方が増えるともう片方も増えるのか、反対に減るのかを読み取れる点が特徴です。

相互情報量はゼロ以上の値を取り、通常は大きいほど変数間に共有される情報が多いと解釈します。

ただし、相互情報量には相関係数のような固定された上限がないため、異なるデータセット間で数値をそのまま比較する際には注意が必要です。

分析目的によっては、正規化相互情報量を用いて、値を比較しやすい尺度に整えることもあります。

比較項目	相関係数	相互情報量
主な対象	線形関係	線形と非線形の依存関係
値の範囲	マイナス一から一	ゼロ以上
関係の向き	正負で判断可能	方向は判断できない
独立性との関係	ゼロでも独立とは限らない	ゼロなら独立
代表的な用途	傾向把握、回帰前の確認	特徴量選択、複雑な依存関係の探索

実務での選択基準

散布図がほぼ直線状であり、増減の方向も知りたい場合には、相関係数が扱いやすいでしょう。

説明変数と目的変数の関係を短時間で確認したいときや、線形回帰を前提にした初期分析にも向いています。

反対に、関係の形が不明な場合、カテゴリデータを含む場合、機械学習の特徴量候補を比較したい場合には、相互情報量が役立ちます。

相関係数が小さいから関係がないと即断しないことが、データ分析では特に大切です。

まず相関係数と散布図で全体像をつかみ、必要に応じて相互情報量も併用する流れが実践的です。

相関係数の仕組みと線形関係

続いては相関係数の仕組みと線形関係を確認していきます。

ピアソンの相関係数の考え方

相関係数として最も広く使われるのは、ピアソンの積率相関係数です。

各データが平均値からどの方向へ、どの程度離れているかを基にして、二つの変数の動きがそろう度合いを数値化します。

二つの変数が平均より高い、または平均より低い状態を同時に取りやすければ、正の相関が強くなります。

一方が平均より高いときに、もう一方が平均より低くなりやすければ、負の相関が現れます。

この式では、値の大きさそのものではなく、平均からの変動パターンに注目します。

単位の影響を受けにくい点は便利ですが、外れ値の影響を受けやすいという性質もあります。

正の相関と負の相関

正の相関は、片方の値が大きくなるほど、もう片方の値も大きくなる傾向です。

勉強時間とテスト得点、広告費と認知度などは、正の相関として観察されることがあります。

負の相関は、片方が大きくなるほど、もう片方が小さくなる傾向を示します。

価格と需要量、残り在庫と販売済み数などは、条件によって負の相関を示す例です。

ただし相関係数は因果関係を証明しません。

二つの変数が連動して見えても、季節、年齢、景気などの第三の要因が両方に影響している可能性があります。

相関係数がゼロとなるケース

相関係数がゼロに近い場合、二つの変数に直線的な結び付きがほとんど見られないと判断できます。

しかし、それは二つの変数が完全に無関係であることを意味しません。

代表例は、Xをマイナス二から二まで変化させ、YをXの二乗とする関係です。

YはXによって完全に決まるにもかかわらず、左右対称なデータでは正負の動きが打ち消し合い、相関係数がゼロ近くになることがあります。

このような場合に、非線形の依存関係を検出できる相互情報量が有効になります。

相互情報量の仕組みと情報理論

続いては相互情報量の仕組みと情報理論を確認していきます。

不確実性を表すエントロピー

相互情報量を理解するには、情報理論におけるエントロピーという考え方が欠かせません。

エントロピーは、ある変数がどれほど予測しにくいか、どれほど不確実性を持つかを表す尺度です。

たとえば表と裏が同じ確率で出る硬貨は結果を予測しにくく、常に表が出る硬貨よりもエントロピーが高くなります。

データの取り得る値が多く、それぞれが均等に現れるほど、一般に不確実性は大きくなります。

相互情報量は、Xを観測した後にYのエントロピーがどの程度減ったかを表す数値です。

同時確率分布から見る依存関係

相互情報量は、二つの変数が独立である場合にゼロとなります。

独立とは、Xの値を知ってもYの確率分布が変化しない状態です。

たとえば公平な硬貨を二枚別々に投げる場合、一枚目の結果を知っても二枚目の結果の出やすさは変わりません。

このとき二つの結果の相互情報量はゼロです。

反対に、片方の値からもう片方をかなり正確に予測できる場合、両者には情報の共有があり、相互情報量は大きくなります。

相互情報量は依存関係の有無を情報量として表す点が、相関係数との本質的な違いです。

離散データと連続データの扱い

相互情報量は、性別、購入有無、商品カテゴリのような離散データに対して比較的扱いやすい指標です。

クロス集計表から同時確率を求め、変数同士の関係を評価できます。

連続データの場合は、値を区間に分けるビニング、近傍点を利用する推定、カーネル密度推定などの方法が使われます。

ただし、区間の切り方や推定手法により値が変わるため、結果の解釈には慎重さが必要です。

特にサンプル数が少ないデータでは、偶然の偏りによって相互情報量が大きく見えることもあります。

分析では、同じ条件で特徴量を比較すること、交差検証や再標本化で安定性を確認することが有効です。

線形と非線形の関係性

続いては線形と非線形の関係性を確認していきます。

線形関係での両指標の見え方

YがXにほぼ比例して増えるような線形関係では、相関係数と相互情報量の両方が関係の存在を示しやすくなります。

相関係数は正負の方向を含めてわかりやすく示せるため、線形関係を説明する場面で特に便利です。

相互情報量も値が大きくなりますが、正の関係か負の関係かは数値だけではわかりません。

したがって、売上予測や品質特性の確認などで直線的な傾向を説明したい場合は、散布図と相関係数を中心にすると伝わりやすいでしょう。

相互情報量は、直線以外の形が混ざっていないかを補助的に確認する役割を担えます。

曲線と周期性を持つ関係

YがXの二乗に近い放物線の関係、またはYがXの正弦波に近い周期的な関係では、相関係数だけで特徴をつかみにくくなります。

データ全体では上昇と下降が相殺され、相関係数が小さく見えるためです。

一方で、Xの値がわかればYの取り得る範囲が大きく絞られるなら、相互情報量は依存関係を反映します。

この性質は、センサー値と機器異常、年齢と購買傾向、時間帯とアクセス数など、単純な直線では表しにくいデータで役立ちます。

関係の例	相関係数の傾向	相互情報量の傾向
YがXに比例	絶対値が大きい	大きくなりやすい
YがマイナスXに比例	マイナス一に近い	大きくなりやすい
YがXの二乗	ゼロ近くになる場合がある	依存を反映しやすい
Yが周期関数	小さくなる場合がある	関係を反映しやすい
完全に独立	ゼロ近く	ゼロ

散布図と可視化の重要性

数値指標だけで判断せず、散布図、ヒートマップ、箱ひげ図などを使ってデータの形を確認することが重要です。

散布図を見ると、外れ値、グループごとの違い、曲線、しきい値、欠損値の偏りなどが見つかることがあります。

たとえば全体では相関が弱くても、地域別や年代別に分けると強い関係が現れるケースもあります。

このような集計単位の違いによる見え方は、シンプソンのパラドックスとして知られる現象にもつながります。

相関係数と相互情報量は可視化を置き換えるものではなく、可視化を補強するものと考えるとよいでしょう。

独立性と特徴量選択の考え方

続いては独立性と特徴量選択の考え方を確認していきます。

無相関と独立の違い

無相関とは、線形的な関係が見られない状態を指します。

独立とは、片方の変数を知っても、もう片方の変数の分布が変わらない状態です。

独立なら無相関となりますが、無相関だからといって独立とは限りません。

この違いは、相関係数がゼロでも非線形の関係が残る理由を説明します。

相互情報量では、理論上はゼロであれば独立と判断できます。

ただし実データでは推定誤差があるため、非常に小さな値をどの程度までゼロとみなすかは、サンプル数や分析目的を踏まえて判断します。

機械学習における特徴量選択

機械学習では、目的変数の予測に役立つ説明変数を選ぶ作業を特徴量選択と呼びます。

相関係数は、連続値の目的変数に対して、各特徴量がどの程度直線的に関連しているかを見る際に便利です。

相互情報量は、目的変数との非線形な依存関係も候補として拾えるため、分類問題や複雑な予測問題で利用されます。

たとえば購入有無を予測する場合、年収との関係が単純な直線ではなく、一定の範囲で高くなる形なら、相互情報量が有用な手掛かりになります。

ただし相互情報量が高い特徴量が、必ずしも学習モデルで最も重要とは限りません。

他の特徴量と情報が重複している場合や、モデルの種類によって活用しにくい場合もあるためです。

特徴量同士の重複確認

説明変数同士の関係を見ることも、特徴量設計では重要です。

相関係数が非常に高い連続特徴量が複数ある場合、線形回帰などでは多重共線性に注意が必要となります。

一方で、相関係数では見つからない非線形の重複もあり得ます。

相互情報量を用いると、特徴量同士が共有する情報の大きさを調べることができます。

目的変数との関連性だけでなく、特徴量間の重複も確認すると、より簡潔で安定したモデルにつながります。

ただし、重要な相互作用を持つ特徴量を早期に削除しないよう、モデル評価とセットで判断する姿勢が必要です。

計算方法と実務上の注意点

続いては計算方法と実務上の注意点を確認していきます。

相関係数を計算する前の確認事項

相関係数を求める前には、欠損値、入力ミス、外れ値、単位の違いを確認します。

極端に大きい値や小さい値が少数混ざるだけでも、ピアソンの相関係数は大きく変わることがあります。

外れ値に強い順位相関として、スピアマンの順位相関係数やケンドールの順位相関係数を検討する方法もあります。

順位相関は単調な関係を捉えやすく、直線ではないものの、一方向に増減する関係の確認に向いています。

どの相関係数を選ぶかは、データの尺度、分布、外れ値、確認したい関係の性質によって決まります。

相互情報量の推定方法

離散データでは、各組み合わせの出現回数を数え、確率として相互情報量を計算できます。

連続データでは、ビニングによる離散化がわかりやすい方法です。

しかし区間数が少なすぎると関係が粗くなり、多すぎるとデータ不足で不安定になりやすい特徴があります。

近傍法を使う推定は連続値に適していますが、近傍数などの設定によって結果が変わることがあります。

カテゴリ数が非常に多い変数では、偶然の一致による過大評価にも注意が必要です。

サンプル数に対して細かすぎるカテゴリ分割をしていないか、必ず確認しましょう。

統計的な有意性と再現性

相関係数や相互情報量が一定の値を示しても、それが偶然に生じた関係でないかを確かめる必要があります。

相関係数では検定や信頼区間を利用し、標本誤差を評価できます。

相互情報量では、データの並びをランダムに入れ替える置換検定を用い、観測された値が偶然より大きいかを確認する方法があります。

また、訓練用データだけで見つかった関係をそのまま信じず、別の期間や別の集団でも同じ傾向が見られるかを検証することが大切です。

再現できる関係だけが、意思決定や予測モデルで信頼できる知見になります。

まとめ

相関係数は、二つの変数にある線形関係の強さと向きを確認するための代表的な指標です。

マイナス一から一の範囲で解釈できるため、傾向を素早く共有したい場面で役立ちます。

相互情報量は、変数間で共有される情報量を表し、線形だけでなく非線形の依存関係も捉えられます。

相関係数がゼロでも関係がある場合がある一方、相互情報量がゼロであれば理論上は独立です。

実務では、散布図などでデータの形を確認したうえで、線形性を見たいときは相関係数、複雑な関係や特徴量選択を検討するときは相互情報量を活用するとよいでしょう。

二つの指標を競合するものではなく、異なる角度から関係性を見るための組み合わせとして使うことが、精度の高い分析につながります。