この問題のテーマ・前提知識
- テーマ: ベイズ推定・正規分布の共役事前分布・事後分布のパラメータ更新
- 前提知識: 精度（分散の逆数）の概念 / 事前分布・事後分布・尤度の関係 / 正規分布の確率密度関数の形状
問題の概要
分散既知・平均未知の正規分布を尤度とし、平均の事前分布に正規分布を置いたベイズモデルを扱う3小問構成の問題。[1] 事後平均の式を選択肢から選ぶ。[2] 具体的な数値条件のもとで事後分布のグラフを特定する。[3] 共役事前分布の性質に関する記述の正誤を判断する。
解説
解法の方針：[1] 精度（分散の逆数）の加法性からベイズ更新式を導き、事後平均を加重平均の形で表す。[2] 事後平均が事前平均と標本平均の間に位置すること・事後分散は事前分散より必ず小さくなることの2点でグラフを絞り込む。[3] 共役事前分布の計算上の利点と、正規分布の分散未知の場合の共役分布を確認する。
[1]
この問題では、平均 \(\mu\) が未知、分散 \(\sigma^2\) が既知の正規分布 \(N(\mu, \sigma^2)\) からの標本 \(X\) を扱う。
事前分布として正規分布 \(N(\mu_0, \sigma_0^2)\) を仮定したとき、事後分布も正規分布 \(N(\tilde{\mu}, \tilde{\sigma}^2)\) となる。
事後分布のパラメータは、以下の計算によって求められる。
◼︎事後分散 \(\tilde{\sigma}^2\)
ベイズ更新において、正規分布の精度（分散の逆数）は、事前分布の精度とデータの精度の和になる。
\[\frac{1}{\tilde{\sigma}^2} = \frac{1}{\sigma^2} + \frac{1}{\sigma_0^2}\]
これを \(\tilde{\sigma}^2\) について解くと、以下のようになる。
\[\tilde{\sigma}^2 = \left( \frac{1}{\sigma^2} + \frac{1}{\sigma_0^2} \right)^{-1}\]
◼︎事後平均 \(\tilde{\mu}\)
事後平均は、事前分布の平均 \(\mu_0\) と観測値 \(X\) を、それぞれの精度の比で重み付けした加重平均となる。
\[\tilde{\mu} = \frac{\frac{1}{\sigma_0^2}\mu_0 + \frac{1}{\sigma^2}X}{\frac{1}{\sigma_0^2} + \frac{1}{\sigma^2}} = \frac{\sigma^2 \mu_0 + \sigma_0^2 X}{\sigma_0^2 + \sigma^2}\]
選択肢を見ると、この式に合致するのは ⑤ である。
[2]
与えられた数値をもとに、事後分布の性質からグラフを絞り込む。
- 事前分布（破線）： \(N(13, 2.7^2)\)、平均は 13 である。
- データ： サンプルサイズ \(n=10\)、標本平均 \(\bar{x} = 16.71\)
グラフを判断するポイント
- 平均の移動：事後平均 \(\tilde{\mu}\) は、事前平均 13 と標本平均 16.71 の間に位置する。また、サンプルサイズ \(n=10\) は比較的大きいため、事後平均は標本平均 16.71 にかなり近くまで引き寄せられる。
- 分散の縮小（山の高さ）：データを観測した後は情報の不確実性が減るため、事後分布の分散は事前分布の分散よりも必ず小さくなる。分散が小さくなると、確率密度関数のピーク（山の頂点）は高くなる。
グラフ①： 事後分布の山が事前分布と同じくらいの高さであり、分散の縮小が反映されていない。
グラフ②： 平均が 16.7 付近に移動し、かつ山が非常に高くなっている。これは \(n=10\) という情報量によって精度が上がった状態を正しく示している。
グラフ③・④： 形状が正規分布ではない。共役事前分布を用いているため、事後分布は必ず正規分布（単峰のベル型）になる。
グラフ⑤： 事後分布の山が事前分布より低くなっており、矛盾している。
従って、正解は ② である。
[3]
(A) 正しい：共役事前分布を用いる最大のメリットは、複雑な積分計算をすることなく、ハイパーパラメータ（この場合は平均や分散）の更新式だけで事後分布が得られる点にある。
(B) 誤り：正規分布の平均が既知で分散が未知の場合、分散（または精度）に対する共役事前分布は逆ガンマ分布（またはガンマ分布）である。ベータ分布は、ベルヌーイ分布や二項分布の成功確率 \(p\) に対する共役事前分布だ。
(C) 正しい：共役事前分布が使えない場合や、モデルが複雑な場合は、解析的に事後分布を求めることが困難になる。そのため、MCMC（マルコフ連鎖モンテカルロ法）などの数値計算法を用いて事後分布を近似するのが一般的である。
(A) と (C) が正しいため、正解は ③ となる。
よくある質問
Q. 事後平均がなぜ「精度による加重平均」になるのですか？
ベイズ更新では、確実性が高い（精度が大きい）情報ほど重く扱う。事前情報の精度 \(1/\sigma_0^2\) とデータの精度 \(1/\sigma^2\) の比が重みになるため、サンプルサイズが大きくなるほど標本平均側に事後平均が引き寄せられる。
Q. なぜデータを観測すると事後分散は必ず小さくなるのですか？
事後精度 \(1/\tilde{\sigma}^2 = 1/\sigma^2 + 1/\sigma_0^2\) は、事前精度にデータの精度を加算した値になる。どちらも正の値なので、事後精度は事前精度より必ず大きくなり、事後分散は事前分散より必ず小さくなる。
Q. ベータ分布が共役事前分布になるのはどのような場合ですか？
ベルヌーイ分布・二項分布の成功確率 \(p \in [0,1]\) に対する共役事前分布がベータ分布。正規分布の分散（精度）に対しては逆ガンマ分布（またはガンマ分布）が対応し、混同しやすいため注意が必要。
コメント