この問題のテーマ・前提知識
- テーマ: 混合正規分布の形状判別・EMアルゴリズム（E-step / M-step の更新式）
- 前提知識: 正規分布の確率密度関数 / 混合分布の定義と重み・平均・分散の意味 / ベイズの定理による事後確率計算 / 最尤推定の基礎
問題の概要
2つの小問からなる。[1] 混合比・平均・分散が異なる2つの混合正規分布（ア）（イ）を与え、それぞれの確率密度関数のグラフ（a）〜（d）との対応を選択する。[2] 分散が既知の2成分混合正規分布に対するEMアルゴリズムにおいて、E-stepの負担率の更新式（E1〜E4）・M-stepの混合比と平均の更新式（P1〜P2, M1〜M2）をそれぞれ選択する。
解説
解法の方針：[1] 各混合分布の重み・平均・分散から山の高さ・幅・位置を読み取り、グラフの特徴と照合する。[2] ベイズの定理で負担率（E-step）を導き、加重平均の考え方でパラメータ更新式（M-step）を特定する。
[1]
（ア）の確率密度関数について
\[0.5N(-0.5, 1.0^2) + 0.5N(0.5, 1.0^2)\]
- 重み：0.5 ずつであり、2つの分布の比重は等しい。
- 分散：どちらも \(1.0^2 = 1.0\) であり、山の広がり具合は同じである。
- 平均：-0.5 と 0.5 である。
標準偏差（1.0）に対して、2つの平均の差（1.0）が比較的小さいため、2つの山は明確に分離せず重なり合う。その結果、中央（\(x=0\) 付近）がなだらかな1つの山を形成する。図の中で左右対称な1つの山になっているのは (a) である。
（イ）の確率密度関数について
\[0.3N(-1.0, 1.0^2) + 0.7N(2.0, 0.5^2)\]
- 第1項（左側の山）：重みが 0.3 と小さく、分散が \(1.0^2\) と大きい。よって、\(x = -1.0\) を中心とした低くて広い山になる。
- 第2項（右側の山）：重みが 0.7 と大きく、分散が \(0.5^2\) と小さい。よって、\(x = 2.0\) を中心とした高くて鋭い山になる。
全体として、左側に小さな膨らみがあり、右側に高く鋭い山があるグラフになる。これに該当するのは (c) である。
従って、正解は ① である。
[2]
混合正規分布の確率密度関数は以下のように表される。
\[f(y_i) = \pi f_1(y_i) + (1 – \pi) f_2(y_i)\]
ここで、\(f_1(y_i), f_2(y_i)\) はそれぞれ \(N(\mu_1, 1.0^2), N(\mu_2, 1.0^2)\) の確率密度関数である。分散は 1.0 なので、
\[f_1(y_i) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(y_i – \mu_1)^2}{2}\right)\]
となる（\(f_2\) も同様）。
E-step の更新式（\(\hat{\gamma}_i\)）
\(\hat{\gamma}_i\) は「観測値 \(y_i\) が得られたという条件のもとで、それが群1（\(N(\mu_1, 1.0^2)\)）から発生した事後確率」である（これを負担率と呼ぶ）。
ベイズの定理を用いると、事後確率は以下の式で計算できる。
\[\hat{\gamma}_i = \frac{\hat{\pi} f_1(y_i)}{\hat{\pi} f_1(y_i) + (1 – \hat{\pi}) f_2(y_i)}\]
この式にそれぞれの正規分布の確率密度関数を代入すると、定数部分の \(\frac{1}{\sqrt{2\pi}}\) は分母分子で約分されて消えるため、
\[\hat{\gamma}_i = \frac{\hat{\pi} \exp(-(y_i – \hat{\mu}_1)^2 / 2)}{\hat{\pi} \exp(-(y_i – \hat{\mu}_1)^2 / 2) + (1 – \hat{\pi}) \exp(-(y_i – \hat{\mu}_2)^2 / 2)}\]
となる。よって、正しい式は E3 である。
M-step の更新式（\(\hat{\pi}, \hat{\mu}_1\)）
M-step では、E-step で求めた負担率 \(\hat{\gamma}_i\) を用いて、尤度（正確にはQ関数）を最大化するようにパラメータを更新する。
- 混合比率 \(\hat{\pi}\) の更新：全データ \(n\) 個の中で、各データが群1に属する確率（負担率）の平均をとる。\[\hat{\pi} = \frac{1}{n} \sum_{i=1}^n \hat{\gamma}_i\]
よって、正しい式は P1 である。 - 群1の平均 \(\hat{\mu}_1\) の更新：単なる観測値の平均ではなく、各データが「どれくらい群1に属していそうか」という負担率 \(\hat{\gamma}_i\) を重みとした加重平均を計算する。\[\hat{\mu}_1 = \frac{\sum_{i=1}^n \hat{\gamma}_i y_i}{\sum_{i=1}^n \hat{\gamma}_i}\]
よって、正しい式は M1 である。
従って、正解は ④ である。
よくある質問
Q. 混合正規分布の山の形は何で決まりますか？
主に3つの要素で決まる。①重み（混合比）が大きいほどその山が目立つ。②分散が小さいほど山が鋭く高くなり、大きいほど低く広がる。③2つの平均の差が標準偏差に比べて小さい場合は山が合体して1つに見え、大きい場合は明確に2峰になる。
Q. EMアルゴリズムの負担率（E-step）はどう導くのですか？
ベイズの定理をそのまま適用する。「データ \(y_i\) が群1から来た事後確率」＝「群1の事前確率 × 群1の尤度 ÷ 全成分の尤度の和」という構造で、分母は正規化定数の役割を果たす。定数 \(1/\sqrt{2\pi}\) は分子・分母両方に現れるため約分されて消える。
Q. M-stepで加重平均を使うのはなぜですか？
各データが群1に属する確率（負担率 \(\hat{\gamma}_i\)）は0〜1の連続値なので、単純平均ではなく負担率を重みとした加重平均でパラメータを更新するのが最尤推定の観点から正しい。負担率が高いデータほど群1の平均推定に大きく寄与させることになる。
コメント