klダイバージェンスの性質は？特徴と応用も解説！（非対称性・非負性・機械学習・統計学・情報理論・距離関数との違いなど）

機械学習や統計学の論文を読んでいると、KLダイバージェンスという言葉に出会う機会が非常に多くあります。

しかし、名前は聞いたことがあっても、その性質や特徴を正確に説明できる人は意外と少ないものです。

KLダイバージェンスは二つの確率分布の隔たりを表す指標であり、情報理論の根幹をなす考え方のひとつです。

ただし、距離という言葉から連想されるような単純な感覚とは少し異なる性質を持っています。

非対称性や非負性といった独特の特徴を理解しないまま使ってしまうと、思わぬ誤解につながることもあるでしょう。

この記事では、KLダイバージェンスの性質は何か、そしてどのような特徴を持ち、どんな場面で応用されているのかを丁寧に解説していきます。

情報理論の基礎から、機械学習や統計学における実践的な活用例まで、幅広く取り上げていきます。

距離関数との違いについても具体的に比較しながら見ていきますので、ぜひ最後までご覧ください。

KLダイバージェンスの性質は非対称性と非負性に集約されます

それではまず、KLダイバージェンスの性質は何かという結論部分から解説していきます。

結論から言うと、KLダイバージェンスの最も重要な性質は非対称性と非負性の二つです。

非対称性とは、二つの分布の順番を入れ替えると値が変わってしまうという性質のこと。

非負性とは、どのような分布の組み合わせであっても値が必ずゼロ以上になるという性質です。

この二つの性質が組み合わさることで、KLダイバージェンスは独特の振る舞いを見せます。

一見すると距離のような指標に見えますが、実際には数学的な意味での距離関数の条件を満たしていません。

なぜそう言えるのでしょうか。

ここからは、それぞれの性質について詳しく掘り下げていきます。

非対称性とは何か

非対称性は、KLダイバージェンスを理解するうえで最も誤解されやすいポイントです。

二つの確率分布をPとQとした場合、PからQへのKLダイバージェンスと、QからPへのKLダイバージェンスは基本的に一致しません。

つまり、どちらの分布を基準に置くかによって、算出される値がまったく違ってくるのです。

この性質があるために、KLダイバージェンスをそのまま距離として扱うことはできません。

実務においては、基準となる分布をどちらに設定するかで意味合いが変わってくる点に注意が必要でしょう。

たとえば真の分布を基準にするのか、モデルが推定した分布を基準にするのかによって、解釈は大きく変わります。

非負性とは何か

非負性は、KLダイバージェンスがゼロ以上の値しか取らないという性質です。

二つの分布が完全に一致しているときにのみ、値はゼロになります。

逆に言えば、分布が異なっていれば必ず正の値を取るということ。

この性質は、ギブスの不等式と呼ばれる数学的な定理によって保証されています。

非負性があるおかげで、KLダイバージェンスは分布間の隔たりの大きさを一貫した尺度で表現できます。

値が大きくなるほど、二つの分布は離れていると解釈できるでしょう。

逆に値が小さいほど、分布同士は似ていると考えられます。

この直感的なわかりやすさが、機械学習の損失関数として広く採用されている理由のひとつです。

ギブスの不等式との関係

ギブスの不等式は、対数関数の凸性という性質を利用して証明されます。

凸関数の性質を使うと、期待値の対数と対数の期待値の間に一定の大小関係が成り立つことが示せます。

この関係をイェンセンの不等式と呼びますが、KLダイバージェンスの非負性の証明にも同じ考え方が使われています。

数式を厳密に追わなくても、対数関数が上に凸な形をしているというイメージさえ持てれば十分理解できるでしょう。

結果として、二つの分布がまったく同じでない限り、KLダイバージェンスは必ず正の値になります。

KLダイバージェンスの基本的な定義と数式

続いては、KLダイバージェンスの基本的な定義と数式について確認していきます。

KLダイバージェンスは、正式にはカルバックライブラーダイバージェンスと呼ばれます。

情報理論の分野で提唱された概念であり、二つの確率分布の間にある情報量の差を測るために生まれました。

KLダイバージェンスの数式表現

数式だけを見ると難しく感じるかもしれませんが、考え方自体はシンプルです。

PとQが完全に一致していれば、比の値は常に1になり、対数を取ればゼロになります。

結果として、分布が一致している場合の合計値はゼロになるという仕組みです。

逆に分布のずれが大きいほど、比の値は1から離れていき、対数の絶対値も大きくなっていきます。

この積み重ねが、最終的なKLダイバージェンスの値を大きくしていくのです。

エントロピーと相対エントロピーの関係

KLダイバージェンスは、相対エントロピーとも呼ばれています。

この名前が示す通り、エントロピーという概念と密接な関係を持っているのです。

エントロピーとは、ある確率分布が持つ不確実性の大きさを表す指標のこと。

一方でKLダイバージェンスは、二つの分布の間にある不確実性の差分を表していると考えられます。

具体的には、KLダイバージェンスはクロスエントロピーからエントロピーを引いた値として表現できます。

クロスエントロピーは、機械学習の分類問題における損失関数としても頻繁に登場する概念です。

両者の関係を理解しておくと、損失関数の設計における考え方がぐっと理解しやすくなるでしょう。

離散分布と連続分布での計算方法

KLダイバージェンスは、離散分布だけでなく連続分布に対しても定義できます。

連続分布の場合は、総和の記号が積分の記号に置き換わるだけで、基本的な考え方は変わりません。

分布の種類	計算方法	使用される代表例
離散分布	確率の比の対数を総和で計算	カテゴリ分布、多項分布
連続分布	確率密度の比の対数を積分で計算	正規分布、指数分布

正規分布同士のKLダイバージェンスは、平均と分散を使った閉じた式で表現できることが知られています。

この性質があるため、変分オートエンコーダーなど多くのモデルで正規分布が仮定されることが多いのです。

計算のしやすさという実務的な理由も、正規分布が好まれる背景にあると言えるでしょう。

KLダイバージェンスと距離関数との違い

続いては、KLダイバージェンスと距離関数との違いについて確認していきます。

KLダイバージェンスは分布間の隔たりを数値化するという点で、距離のような役割を果たしています。

しかし、数学的に厳密な意味での距離関数とは異なる性質を持っている点に注意が必要です。

距離関数に必要な公理

数学における距離関数、いわゆる距離空間の公理には、いくつかの条件が求められます。

非負性については、先ほど説明した通りKLダイバージェンスもしっかり満たしています。

同一性、つまり値がゼロになるのは分布が完全に一致しているときだけという条件も満たされています。

問題となるのは、残りの二つの条件です。

KLダイバージェンスが距離にならない理由

性質	距離関数（ユークリッド距離など）	KLダイバージェンス
非負性	満たす	満たす
同一性	満たす	満たす
対称性	満たす	満たさない
三角不等式	満たす	満たさない

この表を見ると、KLダイバージェンスがどこで距離関数の条件から外れているのかが一目瞭然でしょう。

対称性が成り立たないことはすでに説明した通りです。

三角不等式についても、KLダイバージェンスでは一般的に成立しません。

三つの分布があったとき、二点間の値の和が別の二点間の値以上になるとは限らないのです。

そのため、厳密には距離ではなく擬距離、あるいはダイバージェンスという別の枠組みで扱われています。

JSダイバージェンスという対称化の工夫

KLダイバージェンスの非対称性を解消するために考案されたのが、JSダイバージェンスです。

JSダイバージェンスは、二つの分布の平均分布を経由してKLダイバージェンスを計算し、それを組み合わせることで対称性を実現しています。

この工夫によって、JSダイバージェンスは対称性を持つ指標として扱えるようになりました。

さらに値の範囲が有界になるという利点もあり、生成モデルの評価指標として採用されることも多くあります。

敵対的生成ネットワーク、いわゆるGANの理論的な背景にも、このJSダイバージェンスが登場するのです。

情報理論におけるKLダイバージェンスの位置づけ

続いては、情報理論におけるKLダイバージェンスの位置づけについて確認していきます。

KLダイバージェンスはもともと、情報理論という分野の中で生まれた概念です。

情報理論とは、情報の量や伝達の効率を数学的に扱う学問分野のこと。

情報量とサプライズの関係

情報理論では、めったに起こらない出来事ほど多くの情報量を持つと考えます。

逆によく起こる出来事は、情報量が少ないとみなされるのです。

これを直感的に言い換えると、驚きの大きさが情報量に対応していると言えるでしょう。

KLダイバージェンスは、この驚きの大きさが真の分布とモデルの分布でどれだけ食い違っているかを表す指標とも解釈できます。

モデルが誤った確率を割り当てている場合、実際に起きた出来事に対する驚きの度合いが本来よりも大きく、あるいは小さくなってしまいます。

この差分の期待値こそが、KLダイバージェンスの本質的な意味なのです。

相互情報量との関連

相互情報量は、二つの確率変数がどれだけ互いに情報を共有しているかを表す指標です。

実は相互情報量も、KLダイバージェンスを使って定義することができます。

具体的には、二つの変数の同時分布と、それぞれの周辺分布の積との間のKLダイバージェンスとして表現されるのです。

もし二つの変数が完全に独立であれば、同時分布は周辺分布の積と一致するため、相互情報量はゼロになります。

逆に二つの変数が強く関連している場合は、相互情報量は大きな値を取るでしょう。

このように、KLダイバージェンスは情報理論の様々な指標の土台として機能しています。

符号化理論における意味

KLダイバージェンスは、データ圧縮を扱う符号化理論とも深い関わりがあります。

ある分布に最適化された符号化方式を、別の分布のデータに適用するとどうなるでしょうか。

この場合、本来の最適な符号長よりも余分な符号長が必要になってしまいます。

この余分な符号長の期待値こそが、KLダイバージェンスに対応しているのです。

つまりKLダイバージェンスは、間違った前提でデータを圧縮したときの非効率さを数値化した指標とも言えます。

圧縮効率という具体的なイメージを持つことで、抽象的な数式の意味がより理解しやすくなるでしょう。

機械学習におけるKLダイバージェンスの応用

続いては、機械学習におけるKLダイバージェンスの応用について確認していきます。

KLダイバージェンスは、様々な機械学習モデルの損失関数や正則化項として組み込まれています。

ここでは代表的な三つの応用例を取り上げていきます。

変分オートエンコーダーでの活用

変分オートエンコーダー、いわゆるVAEは、KLダイバージェンスが最も象徴的に使われるモデルのひとつです。

潜在変数の分布が正規分布に近づくことで、モデルは滑らかで扱いやすい潜在空間を学習できるようになります。

この仕組みがあるからこそ、VAEは新しいデータを生成する能力を獲得できるのでしょう。

KLダイバージェンス項の重みを調整することで、再構成の精度と潜在空間の整い方のバランスを制御できます。

生成モデルと分布の近似

生成モデル全般において、KLダイバージェンスはモデルの分布を真のデータ分布に近づけるための指標として使われます。

最尤推定という統計的な手法も、実はKLダイバージェンスの最小化と数学的に等価であることが知られています。

モデルのパラメータを調整して尤度を最大化することは、真の分布とモデルの分布の間のKLダイバージェンスを最小化することと同じ意味を持つのです。

この事実を知っておくと、なぜ多くの機械学習アルゴリズムが尤度最大化を目標にしているのか、その背景がより深く理解できるでしょう。

拡散モデルなど、近年注目されている生成モデルの理論にも、同様の考え方が応用されています。

強化学習における活用例

強化学習の分野でも、KLダイバージェンスは方策の更新を安定させるために使われています。

代表的な例が、信頼領域方策最適化と呼ばれる手法です。

この手法では、更新前の方策と更新後の方策の間のKLダイバージェンスに制約をかけることで、方策が急激に変化しすぎないよう調整しています。

方策が一度に大きく変わりすぎると、学習が不安定になったり、性能が悪化したりする恐れがあるでしょう。

KLダイバージェンスによる制約を設けることで、少しずつ安定して方策を改善していくことが可能になるのです。

近年広く使われている近接方策最適化という手法も、この考え方を発展させたものと言えます。

統計学におけるKLダイバージェンスの活用

続いては、統計学におけるKLダイバージェンスの活用について確認していきます。

統計学の世界でも、KLダイバージェンスはモデルの妥当性を評価するための重要な道具となっています。

モデル選択とAIC

統計モデルを選ぶ際に使われる赤池情報量規準、通称AICは、実はKLダイバージェンスの考え方から導かれています。

AICは、モデルの複雑さと当てはまりの良さのバランスを取るための指標です。

その理論的な背景には、真の分布と推定されたモデルの分布との間のKLダイバージェンスを最小化するという発想があります。

複数の候補モデルがある場合、AICの値が小さいモデルほど、真の分布に近いと解釈されることが多いでしょう。

この考え方は、時系列分析や回帰分析など、様々な統計解析の現場で使われています。

仮説検定との関連

仮説検定の分野においても、KLダイバージェンスは検定統計量の設計に影響を与えています。

尤度比検定と呼ばれる手法は、二つの仮説のもとでの尤度の比を利用するものです。

この尤度比の対数を取った値は、サンプル数が大きくなるにつれてKLダイバージェンスに関連した分布へと近づいていくことが知られています。

統計的な検定の背後にも、分布同士の隔たりを測るという発想が息づいているわけです。

こうしたつながりを知ると、統計学と情報理論が思いのほか近い関係にあると感じられるのではないでしょうか。

ベイズ統計における役割

ベイズ統計の分野では、事前分布と事後分布の違いを評価する際にKLダイバージェンスが用いられます。

変分ベイズ法という近似推論の手法では、複雑な事後分布を、扱いやすい分布で近似することを目指します。

このとき、真の事後分布と近似分布との間のKLダイバージェンスを最小化するという最適化問題を解くことになるのです。

直接計算が難しい事後分布であっても、この方法を使えば効率よく近似解を得ることができます。

大規模なベイズモデルを実用的な速度で扱えるようになった背景には、KLダイバージェンスを使った近似推論の発展が大きく貢献しています。

まとめ

ここまで、KLダイバージェンスの性質は何かというテーマを軸に、特徴や応用について幅広く解説してきました。

KLダイバージェンスの核となる性質は、非対称性と非負性の二つです。

この性質があるために、数学的な意味での距離関数とは異なる独自の枠組みとして扱われています。

情報理論においては、情報量の差分やデータ圧縮の非効率さを表す指標として重要な役割を果たしてきました。

機械学習の分野では、変分オートエンコーダーや生成モデル、強化学習など、幅広い場面で損失関数や制約条件として活用されています。

統計学においても、モデル選択や仮説検定、ベイズ推論といった多くの手法の理論的な土台となっているのです。

一見難解に思えるKLダイバージェンスですが、非対称性と非負性という二つの性質を押さえておけば、その本質はぐっと理解しやすくなるでしょう。

今後、機械学習や統計学の論文や実装に触れる際には、ぜひこの記事で解説した性質を思い出しながら読み解いてみてください。