相互情報量とは？意味や定義をわかりやすく解説！（情報理論：エントロピー：条件付きエントロピー：独立性など）

相互情報量は、二つの確率変数にどの程度の関係があるかを、情報量という観点から数値化する考え方です。

統計学、機械学習、通信、データ分析など幅広い分野で登場しますが、エントロピーや条件付きエントロピーとのつながりが見えにくく、最初は難しく感じるかもしれません。

しかし、ある情報を知ることで別の情報についての不確実性がどれだけ減るか、と考えると理解しやすくなります。

この記事では相互情報量の意味、定義、数式、独立性との関係、実務での活用場面まで、順を追って解説していきます。

相互情報量の意味と基本的な役割

それではまず相互情報量の意味と、理解しておきたい結論から解説していきます。

二つの情報の関連性を測る指標

相互情報量とは、二つの確率変数が共有している情報の量を表す指標です。

確率変数とは、結果が確率によって決まる値のことで、たとえば天気、商品の購入有無、試験の点数、Webサイトの閲覧行動などが該当します。

変数Xを知ったときに、変数Yについてどれほど予測しやすくなるかを測るものが相互情報量です。

Xを知ってもYに関する不確実性が減らない場合、相互情報量はゼロになります。

反対に、Xを観測することでYの結果をかなり絞り込めるなら、相互情報量は大きくなります。

ここで重要なのは、単純な直線関係だけでなく、曲線的な関係や複雑な依存関係も捉えられる点です。

相関係数では見つけにくい関係を確認できるため、データ分析では有力な選択肢になります。

日常的な例で考える相互情報量

たとえば、傘を持っているかという情報と、外が雨かどうかという情報を考えてみましょう。

傘を持っている人は雨を予想している可能性があるため、傘の有無を知ることで天気についての予測材料が得られます。

もちろん、日傘や置き傘のケースもあるため、傘があるだけで雨と断定はできません。

それでも、何も情報がない状態よりは、雨かどうかを判断しやすくなるでしょう。

この予測しやすくなった程度が、相互情報量の直感的なイメージです。

一方で、好きな色と今日の気温に明確な関係がなければ、好きな色を聞いても気温の不確実性はほとんど減りません。

このような組み合わせでは、相互情報量はゼロに近い値になります。

相関係数との違い

相互情報量と相関係数は、どちらも変数間の関係を見るために使われますが、意味と得意分野は異なります。

相関係数は主に線形の関係を評価する指標で、正の関係か負の関係かも確認できます。

一方の相互情報量は、関係の向きよりも、依存関係の強さに着目する指標です。

相互情報量は非線形な関係にも反応しやすく、ゼロ以上の値しか取らない特徴があります。

たとえば、Xの値が大きくなるほどYが増える関係なら、相関係数でも相互情報量でも関連を捉えやすいでしょう。

しかし、Xの大小ではなく、特定の範囲に入ったときだけYが変わるような関係では、相関係数が小さくなっても相互情報量が関係を示す場合があります。

比較項目	相互情報量	相関係数
主な目的	依存関係の情報量を測定	線形関係の強さを測定
値の範囲	ゼロ以上	マイナス一から一
関係の向き	判定しない	正負で判定できる
非線形関係	捉えられる場合がある	捉えにくい場合がある
独立性との関係	独立ならゼロ	ゼロでも独立とは限らない

エントロピーと条件付きエントロピーの基礎

続いては、相互情報量を理解する土台となるエントロピーと条件付きエントロピーを確認していきます。

エントロピーが表す不確実性

情報理論におけるエントロピーは、ある確率変数がどれほど予測しにくいかを表す量です。

予測が難しく、結果のばらつきが大きいほどエントロピーは大きくなります。

反対に、結果がほぼ決まっている場合は、不確実性が少ないためエントロピーも小さくなります。

公平なコイン投げでは表と裏が同じ確率で出るため、結果は予測しにくい状態です。

表が必ず出るコインなら、投げる前から結果が分かるため、新しい情報はほとんど得られません。

エントロピーは、結果を知る前にどれほど迷いがあるかを数値にしたものと考えると分かりやすいでしょう。

一般に、取り得る結果が多く、その確率が均等に近いほどエントロピーは大きくなります。

条件付きエントロピーの考え方

条件付きエントロピーは、別の変数についての情報を得た後に、どれだけ不確実性が残るかを示す量です。

Yを知った後でもXがどのくらい分からないかを、H X given Y のように表します。

たとえば天気予報を見ない状態では、明日の服装選びに迷いがあるかもしれません。

気温や降水確率を確認すると、服装に関する迷いは小さくなります。

このとき、天気情報を知った後に残っている迷いが、条件付きエントロピーに対応します。

YがXを完全に決める情報であれば、Yを知った後のXの不確実性はゼロになります。

ただし現実のデータでは、説明変数を知っても例外や測定誤差が残るため、条件付きエントロピーが完全にゼロになるとは限りません。

不確実性の減少としての理解

相互情報量は、Xそのもののエントロピーから、Yを知った後のXの条件付きエントロピーを引いた量として理解できます。

つまり、YがXについてどれだけ不確実性を減らしたかを見ているわけです。

同じ内容は、XがYの不確実性をどれだけ減らしたかとしても表せます。

相互情報量は左右対称であり、XとYの順番を入れ替えても値は変わりません。

予測モデルでは説明する側と説明される側を意識しますが、相互情報量そのものは因果関係の方向を示す指標ではありません。

そのため、相互情報量が大きいからといって、XがYの原因であると断定しない姿勢が大切です。

相互情報量の定義と計算方法

続いては、相互情報量の定義と計算の考え方を確認していきます。

同時確率分布による定義

相互情報量は、XとYが同時に起こる確率と、それぞれが独立に起こると仮定した確率を比較して計算します。

実際に一緒に起こる頻度が、独立と考えた場合より多い、または少ないとき、二つの変数には何らかの依存関係がある可能性があります。

離散確率変数では、XとYの各組み合わせについて情報量を求め、それを同時確率で重み付けして合計します。

この計算に使う要素は、同時確率分布p x y、周辺確率分布p x、周辺確率分布p yです。

周辺確率分布とは、もう一方の変数を区別せずに集計した確率分布を指します。

式だけを見ると複雑ですが、実測された組み合わせの出現率と、独立なら期待される出現率との差を情報量として集計すると考えるとよいでしょう。

エントロピーを使った等価な表現

相互情報量には、エントロピーを使った分かりやすい表現があります。

I X Yは、H XからH X given Yを引いた値です。

また、H YからH Y given Xを引いた値としても表せます。

さらに、H XとH Yを足して、H X Yを引く表現もあります。

H X Yは、XとYを組み合わせた同時の不確実性を表す結合エントロピーです。

複数の表現がある理由は、どの角度から見ても同じ共有情報を測っているためです。

計算目的に応じて表現を使い分けると、数式の意味を見失いにくくなります。

記号	意味	直感的な説明
H X	Xのエントロピー	Xだけを見た不確実性
H Y	Yのエントロピー	Yだけを見た不確実性
H X given Y	条件付きエントロピー	Yを知った後に残るXの不確実性
H X Y	結合エントロピー	XとYを同時に見た不確実性
I X Y	相互情報量	XとYが共有する情報量

簡単なコインの例

二枚のコインを考えると、相互情報量の違いを理解しやすくなります。

一枚目と二枚目を完全に独立して投げる場合、一枚目の表裏を知っても二枚目の表裏は予測できません。

この場合、相互情報量はゼロです。

一方で、一枚目の結果をそのまま二枚目の結果として記録する場合を考えます。

一枚目が表なら二枚目も表であり、一枚目が裏なら二枚目も裏です。

このケースでは一枚目を知れば二枚目が完全に分かるため、相互情報量は大きくなります。

公平なコインであれば、二枚目が持つ一ビット分の不確実性がすべて解消されるため、相互情報量は一ビットです。

この例は単純ですが、相互情報量が共有された予測可能性を表すことをよく示しています。

独立性と相互情報量の関係

続いては、独立性と相互情報量の密接な関係を確認していきます。

独立であれば相互情報量はゼロ

確率変数XとYが独立であるとは、Xの結果がYの確率に影響を与えない状態です。

独立な場合、同時確率p x yは、周辺確率p xとp yの積に一致します。

相互情報量の定義式では、両者の比が一になるため、対数部分はゼロになります。

結果として、全体を足し合わせた相互情報量もゼロです。

相互情報量がゼロであることは、確率的な独立性を意味します。

これは相関係数との大きな違いです。

相関係数がゼロでも非線形な依存関係が残っていることがありますが、理論上の相互情報量がゼロなら独立と判断できます。

相互情報量が大きい場合の読み方

相互情報量が大きい場合、二つの変数には強い統計的な依存関係があると考えられます。

ただし、大きい値の意味はデータの種類やエントロピーの大きさによって変わります。

たとえば、取り得る値が多い変数はエントロピー自体が大きくなりやすいため、相互情報量も単純比較しにくい場合があります。

異なる特徴量同士を比較したいときは、正規化相互情報量を用いる方法もあります。

正規化では、相互情報量を各変数のエントロピーなどで割り、尺度の違いを小さくします。

クラスタリング結果の比較やカテゴリ分類の評価では、このような正規化指標が役立つことがあります。

ゼロ相関と非線形依存の注意点

相関係数だけで関係を判断すると、重要なパターンを見落とすことがあります。

代表的な例として、YがXの二乗に近い関係で動くデータを考えます。

Xが正負対称に分布していると、正のXと負のXが相殺され、相関係数はゼロ付近になる場合があります。

しかし、Xの絶対値が大きくなるほどYが大きくなる関係は残っています。

このような状況では、相互情報量を計算することで依存関係を検出できる可能性があります。

特徴量分析では、線形性を前提にしない相互情報量を補助的に使う価値があります。

ただし、標本数が少ないデータや連続値の扱いでは推定誤差が生じるため、可視化や検定も併用すると安心です。

相互情報量の活用場面と実務上の注意点

続いては、相互情報量が使われる主な場面と、実務で意識したい点を確認していきます。

機械学習における特徴量選択

機械学習では、予測対象に関係する特徴量を選ぶ工程が重要です。

相互情報量は、各特徴量と目的変数の間にどれほど情報的なつながりがあるかを見るために利用されます。

たとえば顧客の解約予測では、利用頻度、問い合わせ回数、契約期間、料金プランなどと解約有無の相互情報量を比較できます。

相互情報量が大きい特徴量は、目的変数の不確実性を減らす可能性があるため、候補として注目されます。

線形モデルでは効果が見えにくい特徴でも、非線形モデルに有効な情報を持つ場合があります。

相互情報量は、予測に役立つ可能性のある特徴を広く拾い上げる入口として有効です。

ただし、特徴量同士の重複や、将来情報の混入まで自動で防げるわけではありません。

自然言語処理とテキスト分析

自然言語処理では、単語と文書カテゴリの関係を測る用途で相互情報量が使われます。

たとえば、ある単語が特定のニュース分類に多く現れるなら、その単語は分類に役立つ手掛かりになるかもしれません。

迷惑メール判定でも、特定の語句と迷惑メールというラベルの結び付きが分析対象になります。

単語の出現回数だけでは、その語が多くの文書に広く出る一般語なのか、特定カテゴリに偏った重要語なのかが分かりにくい場合があります。

相互情報量を使うことで、カテゴリ識別に寄与しやすい語を選びやすくなります。

ただし、出現回数が極端に少ない語は偶然の偏りで高い値を示すこともあります。

最低出現数を設ける、学習データを増やすといった対策が必要でしょう。

連続値データの推定方法

相互情報量の基本的な定義は確率分布に基づくため、連続値のデータでは分布を推定してから計算します。

実務では、値を区間に分けるビニング、近傍点を利用する方法、カーネル密度推定などが使われます。

ビニングは理解しやすい反面、区間の数や境界の置き方によって結果が変わりやすい手法です。

区間が粗すぎると関係が失われ、細かすぎるとデータ不足の影響を受けやすくなります。

近傍点を使う推定法は柔軟ですが、パラメータ設定や実装ライブラリの仕様を確認する必要があります。

相互情報量の数値は、推定方法と前処理の影響を受けるため、絶対値だけで結論を急がないことが大切です。

欠損値の扱い、外れ値、カテゴリの統合方法なども結果に影響するため、分析手順を記録して再現性を確保しましょう。

相互情報量を理解するための実践的な見方

続いては、相互情報量の結果を読む際に役立つ実践的な視点を確認していきます。

数値を単独で判断しない姿勢

相互情報量の値が得られても、その数字だけで重要度を断定することはおすすめできません。

同じデータセット内で特徴量を順位付けする用途では便利ですが、別のデータセットとの絶対比較には慎重さが必要です。

目的変数のクラス数や偏り、サンプルサイズ、前処理が変われば、値の解釈も変わります。

相互情報量が小さくても、他の特徴量と組み合わせたときに予測性能を高める特徴があるかもしれません。

逆に、相互情報量が高くても、学習時だけ使える情報が混ざっていれば実運用では役に立ちません。

分析結果は、業務知識、散布図、モデル評価、時系列での検証と組み合わせて読むことが重要です。

因果関係と混同しないための視点

相互情報量は関連性を示しますが、原因と結果を直接示すものではありません。

たとえば、アイスクリームの売上と水難事故の件数に関連が見られたとしても、売上が事故を起こしているわけではありません。

気温や季節という共通要因が、両方に影響している可能性があります。

データ分析では、このような第三の変数を交絡要因と呼びます。

因果を検討したい場合は、実験設計、時系列の前後関係、因果推論の手法、専門知識などを追加で確認する必要があります。

相互情報量は仮説を見つけるための材料として有用ですが、因果の証明を代替するものではありません。

分析手順に組み込む方法

相互情報量は、探索的データ分析の初期段階に組み込むと扱いやすい指標です。

まず、目的変数と各特徴量の基本的な分布を確認します。

次に、欠損値や異常値への対応方針を決め、カテゴリ変数と連続変数の型を整理します。

その後、相互情報量を計算して候補となる特徴量を絞り込みます。

さらに相関行列、散布図、箱ひげ図、クロス集計表などを確認し、数値の背景を読み取ります。

最後に、複数の特徴量の組み合わせでモデルを作り、交差検証や検証用データで性能を評価する流れです。

相互情報量は最終判断の代わりではなく、良い分析の出発点をつくる指標として活用すると効果的です。

まとめ

相互情報量は、二つの確率変数がどれだけ情報を共有しているかを表す情報理論の指標です。

片方の変数を知ることで、もう片方の不確実性がどれほど減るかを数値化します。

エントロピーは情報を得る前の不確実性であり、条件付きエントロピーは情報を得た後に残る不確実性です。

両者の差が相互情報量になるため、数式の意味を直感的に理解しやすくなります。

独立な二つの変数では相互情報量がゼロとなり、非線形な依存関係を捉えられる可能性がある点は大きな特徴です。

機械学習の特徴量選択、自然言語処理、顧客行動分析などで活用できますが、因果関係を示すものではありません。

推定方法や前処理によって結果が変わることも踏まえ、可視化、業務知識、モデル評価と組み合わせて判断しましょう。

相互情報量を不確実性の減少として捉えることが、情報理論を実務へ生かす第一歩になります。