最尤推定の理論は理解できても、「実際の数値を使って計算する」段階でつまずく方は少なくありません。
最尤推定値の計算は、確率分布の対数尤度を微分してゼロとおき、具体的な数値を代入して解くという手順で行いますが、分布ごとに計算の流れが異なります。
本記事では、正規分布の平均・分散・二項分布・指数分布という代表的な確率分布について、具体的な数値データを使った最尤推定値の計算を一つずつ丁寧に解説します。
抽象的な公式の導出だけでなく、実際の数値例を使って「どのように計算するか」を示すことで、最尤推定の実践的な計算力が身につく内容を目指しています。
統計の授業や資格試験・実務での分析に向けて最尤推定の計算をマスターしたい方はぜひ最後までお読みください。
計算の各ステップを丁寧に追うことで、どんな確率分布でも応用できる計算の力を養いましょう。
目次
最尤推定値の計算例の結論|分布ごとに手順を確認しよう
それではまず、最尤推定値の計算の全体的な流れと、各確率分布への適用の概要から解説していきます。
最尤推定値を計算するための共通の手順は「対数尤度を立式→微分→方程式を解く→数値代入」です。
この流れを正規分布・二項分布・指数分布の三つの代表的な分布に適用した計算例を順に確認していきます。
各分布の最尤推定値の結論一覧
| 確率分布 | 推定するパラメータ | 最尤推定量の公式 |
|---|---|---|
| 正規分布 | 平均 μ | μ̂ = x̄(標本平均) |
| 正規分布 | 分散 σ² | σ̂² = (1/n)Σ(xᵢ-x̄)² |
| 二項分布 | 成功確率 p | p̂ = x/n(標本比率) |
| 指数分布 | レート λ | λ̂ = 1/x̄(標本平均の逆数) |
| ポアソン分布 | 平均 λ | λ̂ = x̄(標本平均) |
最尤推定量がいずれも標本平均・標本比率など直感的にわかりやすい形になっていることが多いのは、最尤推定の「データが最も自然に説明できるパラメータを選ぶ」という考え方と一致しているためです。
計算に使う道具の確認
最尤推定値を計算するために必要な数学的道具を確認しておきます。
対数の性質(積の対数は対数の和、log(eˣ) = x)・微分の基本公式(xⁿの微分・対数関数の微分・指数関数の微分)・連立方程式の解法がメインの道具です。
特にd/dx [log x] = 1/x という対数の微分公式と、d/dx [xⁿ] = nxⁿ⁻¹ という冪乗の微分公式は繰り返し使うため、しっかり確認しておきましょう。
正規分布の最尤推定値の計算例
続いては、正規分布の平均μと分散σ²の最尤推定値を具体的な数値データを使って計算していきます。
具体的なデータを使った計算
【データ】
ある製品の重量(g)を5回測定した結果
x₁ = 102, x₂ = 98, x₃ = 101, x₄ = 99, x₅ = 100
(n = 5)
このデータが正規分布 N(μ, σ²) に従うと仮定して μ と σ² の最尤推定値を求める。
【Step 1:標本平均の計算】
μ̂ = x̄ = (102 + 98 + 101 + 99 + 100)/5
= 500/5 = 100(g)
【Step 2:分散の最尤推定値の計算】
σ̂² = (1/n) Σᵢ(xᵢ – x̄)²
各偏差の二乗を計算する
(102-100)² = 4
(98-100)² = 4
(101-100)² = 1
(99-100)² = 1
(100-100)² = 0
偏差の二乗和 = 4 + 4 + 1 + 1 + 0 = 10
σ̂² = 10/5 = 2.0(g²)
【結論】
平均の最尤推定値 μ̂ = 100 g
分散の最尤推定値 σ̂² = 2.0 g²
標準偏差の最尤推定値 σ̂ = √2.0 ≈ 1.414 g(不変性より)
この結果から、最尤推定では「製品の重量は平均100g・標準偏差約1.41gの正規分布に従う」と推定されたことになります。
なお、不偏分散は (1/(n-1))Σ(xᵢ-x̄)² = 10/4 = 2.5 g² であり、最尤推定値の σ̂² = 2.0 とは異なります。
この違いが「最尤推定量は不偏推定量ではない」という性質の具体的な現れです。
対数尤度の最大値の確認
【最大対数尤度の計算】
μ̂ = 100, σ̂² = 2.0 を代入した最大対数尤度
ℓ(μ̂, σ̂²) = -(n/2)log(2π) – (n/2)log(σ̂²) – n/2
= -(5/2)log(2π) – (5/2)log(2.0) – 5/2
≈ -4.58 – 1.73 – 2.50
≈ -8.81
この値はモデルの当てはまりの良さの指標であり、AIC・BIC の計算にも使われます。
二項分布の最尤推定値の計算例
続いては、成功・失敗の二値データに使われる二項分布の成功確率 p の最尤推定値を具体的な数値例で確認していきます。
二項分布の最尤推定値の導出
【データ】
あるコインを20回投げたところ、表が13回出た。
n = 20, x = 13(表の回数)
コインの表が出る確率 p の最尤推定値を求める。
【Step 1:確率モデルの設定】
X ~ Binomial(n=20, p)
確率質量関数:P(X=x|p) = C(n,x) × pˣ × (1-p)ⁿ⁻ˣ
【Step 2:対数尤度の立式】
ℓ(p) = log C(n,x) + x log p + (n-x) log(1-p)
= log C(20,13) + 13 log p + 7 log(1-p)
(定数 log C(n,x) は p に依存しないので最大化に関係しない)
【Step 3:p で微分してゼロとおく】
dℓ/dp = 13/p – 7/(1-p) = 0
13(1-p) = 7p
13 – 13p = 7p
13 = 20p
【Step 4:最尤推定値】
p̂ = 13/20 = 0.65
→ 表が出る確率の最尤推定値は 65%
二項分布における成功確率 p の最尤推定値は標本比率 x/n になります。
これは「20回中13回成功したら成功確率は13/20」という極めて直感的な推定と一致しており、最尤推定の考え方の自然さが感じられます。
二項分布の最尤推定の一般公式と応用
一般に、n回のベルヌーイ試行で x 回成功した場合の成功確率の最尤推定値は p̂ = x/n です。
この公式は以下のような場面で広く応用されます。
| 応用場面 | n(試行数) | x(成功数) | 最尤推定値 p̂ |
|---|---|---|---|
| アンケートの賛成割合推定 | 回答者数 | 賛成人数 | 賛成人数/回答者数 |
| 不良品率の推定 | 検査個数 | 不良品個数 | 不良品個数/検査個数 |
| クリック率(CTR)の推定 | 表示回数 | クリック回数 | クリック回数/表示回数 |
| 薬の治癒率の推定 | 患者数 | 治癒患者数 | 治癒患者数/患者数 |
指数分布の最尤推定値の計算例
続いては、待ち時間・故障間隔・生存時間などのモデリングに使われる指数分布のパラメータλの最尤推定値を計算していきます。
指数分布の最尤推定の計算手順
【データ】
あるシステムの故障間隔時間(時間)を5回記録した結果
x₁ = 8, x₂ = 12, x₃ = 5, x₄ = 10, x₅ = 15
(n = 5)
指数分布 Exp(λ) を仮定してレートパラメータλの最尤推定値を求める。
【Step 1:確率モデルの設定】
指数分布の確率密度関数:f(x|λ) = λ × e^(-λx) (x ≥ 0)
【Step 2:対数尤度の立式】
ℓ(λ) = Σᵢ log f(xᵢ|λ)
= Σᵢ [log λ – λxᵢ]
= n log λ – λ Σᵢxᵢ
【Step 3:λで微分してゼロとおく】
dℓ/dλ = n/λ – Σᵢxᵢ = 0
n/λ = Σᵢxᵢ
λ = n / Σᵢxᵢ
【Step 4:数値を代入して最尤推定値を計算】
Σᵢxᵢ = 8 + 12 + 5 + 10 + 15 = 50
x̄ = 50/5 = 10(時間)
λ̂ = 5/50 = 0.1(1/時間)
または λ̂ = 1/x̄ = 1/10 = 0.1
【結論】
レートパラメータの最尤推定値 λ̂ = 0.1(1/時間)
平均故障間隔(MTTF)の最尤推定値 = 1/λ̂ = 10(時間)
指数分布のレートパラメータλの最尤推定値は標本平均の逆数 1/x̄ になります。
指数分布の理論的な平均は 1/λ であるため、「観測された平均時間の逆数でλを推定する」というのは直感的にも自然な結論です。
三つの分布の最尤推定値の計算比較
三つの分布の最尤推定値の共通点と違い
正規分布 N(μ, σ²) → μ̂ = x̄(標本平均)
ポアソン分布 Po(λ) → λ̂ = x̄(標本平均)
指数分布 Exp(λ) → λ̂ = 1/x̄(標本平均の逆数)
二項分布 B(n, p) → p̂ = x/n(標本比率)
いずれも「標本統計量(標本平均・標本比率)」という直感的な形に落ち着くのが最尤推定の美しさです。これは最尤推定が「データを最もよく説明するパラメータを選ぶ」という考え方と整合しています。
最尤推定値を使ったモデル評価と応用
続いては、求めた最尤推定値を実際の分析でどのように活用するかを確認していきます。
最尤推定値は単にパラメータを求めるだけでなく、モデルの評価・比較・予測にも活用できます。
AICとBICによるモデル選択
最大対数尤度(最尤推定値を代入したときの対数尤度の値)はモデルの当てはまりの良さを表します。
しかし対数尤度はパラメータ数が増えるほど大きくなる傾向があるため、パラメータ数でペナルティをかけた指標が必要です。
最もよく使われるのがAIC(赤池情報量規準)とBIC(ベイズ情報量規準)です。
AICとBICの計算式
AIC = -2ℓ(θ̂) + 2k
BIC = -2ℓ(θ̂) + k log n
ℓ(θ̂):最大対数尤度
k:推定するパラメータの数
n:サンプル数
AIC・BICは値が小さいモデルの方がデータへの当てはまりとパラメータ数のバランスが良いと判断されます。
複数のモデルを比較する際は AIC または BIC が最小のモデルを選びます。
信頼区間の計算への応用
漸近正規性から、最尤推定値に基づく近似信頼区間が構成できます。
正規分布の平均μの 95% 信頼区間(σが既知の場合)は
μ̂ ± 1.96 × σ/√n
先ほどの正規分布の例(μ̂ = 100, σ̂ = √2 ≈ 1.414, n = 5)では
95% 信頼区間 = 100 ± 1.96 × 1.414/√5
= 100 ± 1.96 × 0.632
= 100 ± 1.24
= [98.76, 101.24](g)
「製品の真の平均重量は約98.76g〜101.24gの範囲にある(信頼度95%)」と解釈されます。
このように最尤推定値はパラメータの点推定だけでなく、区間推定・仮説検定・モデル比較まで広く統計分析の基盤として機能します。
まとめ
本記事では、最尤推定値の具体的な計算例として正規分布・二項分布・指数分布の三つについて、数値データを使いながら一ステップずつ丁寧に解説しました。
正規分布の平均μの最尤推定値は標本平均 x̄、分散σ²の最尤推定値は (1/n)Σ(xᵢ-x̄)²(不偏分散とは異なる点に注意)、二項分布の成功確率 p の最尤推定値は標本比率 x/n、指数分布のレートλの最尤推定値は標本平均の逆数 1/x̄ という結果が得られます。
いずれの場合も「対数尤度を立式→パラメータで微分してゼロとおく→方程式を解く」という共通の手順で計算が進みます。
求めた最尤推定値は信頼区間の計算・AIC・BICによるモデル選択・仮説検定など多岐にわたる統計分析の基礎として活用できます。
本記事を参考に最尤推定値の計算を実際に手を動かして練習し、どんな分布でも応用できる計算力を身につけていただければ幸いです。