この問題のテーマ・前提知識
- テーマ: ベータ分布・共役事前分布・MAP推定（最頻値による点推定）
- 前提知識: ベータ分布 \(Beta(a, b)\) の確率密度関数とモード（最頻値）の公式 / 二項分布の尤度関数 / ベイズ更新による事後分布の導出
問題の概要
成功確率 \(\theta\) に事前分布 \(Beta(a, b)\) を仮定し、\(n\) 回の試行で \(x\) 回成功したデータを観測したときの事後分布を求める。さらに事後分布のモード（MAP推定量）を導出し、[1] \(a=b=1\)（一様事前分布）、[2] \(a=b=5\) それぞれの場合について \(n=12, x=3\) での数値を計算する。
解説
解法の方針：[1] ベータ分布が二項分布の共役事前分布であることを使って事後分布 \(Beta(x+a, n-x+b)\) を特定し、そのモード公式 \(\theta = (x+a-1)/(n+a+b-2)\) に \(a=b=1\) を代入して答えを得る。[2] 同じ公式に \(a=b=5\) を代入して数値計算する。
[1]
一般に、ベータ分布は二項分布の共役事前分布であるから、\(n\) 回の試行で \(x\) 回成功した時の \(\theta\) の事後分布は、
\begin{eqnarray}
f(\theta | x) &\propto& {}_nC_x\theta^x(1-\theta)^{n-x}×\frac{1}{B(a,b)}\theta^x(1-\theta)^{n-x} \\
&=& \frac{{}_nC_x}{B(a,b)}\theta^{x+a-1}(1-\theta)^{n-x+b-1} \\
\end{eqnarray}
であり、ベータ分布 \(Beta(x+a, n-x+b)\) となる。
\(Beta(x+a, n-x+b)\) のモード（最頻値）は、
\[\frac{d}{d\theta}\theta^{x+a-1}(1-\theta)^{n-x+b-1}=\theta^{x+a-2}(1-\theta)^{n-x+b-2}\{(x+a-1)(1-\theta)-(n-x+b-1)\theta\}=0\]
より、
\begin{eqnarray}
(x+a-1)(1-\theta)-(n-x+b-1)\theta &=& x+a-1-x\theta-a\theta+\theta-n\theta+x\theta-b\theta+\theta\\
&=& x+a-1-\theta(a+n+b-2) \\
&=& 0
\end{eqnarray}
であるから、
\[\theta=\frac{x+a-1}{n+a+b-2}\]
となる。
\(a=b=1\) のベータ分布は、区間 \((0, 1)\) 上の一様分布と一致するので、
\[\theta=\frac{x+1-1}{n+1+1-2}=x/n=3/12=0.25\]
とわかる。
[2]
\(a=b=5\) の時、
\[\theta=\frac{x+5-1}{n+5+5-2}=(x+4)/(n+8)=7/20=0.35\]
とわかる。
よくある質問
Q. 共役事前分布とは何ですか？なぜベータ分布が使われるのですか？
事前分布と事後分布が同じ分布族に属するとき、その事前分布を共役事前分布と呼ぶ。ベータ分布の確率密度関数は \(\theta^{a-1}(1-\theta)^{b-1}\) の形をしており、二項分布の尤度 \(\theta^x(1-\theta)^{n-x}\) と掛け合わせると同じ形が維持される。このため計算が閉じた形で表せ、試験でも頻出の組み合わせとなっている。
Q. \(a=b=1\) のベータ分布が一様分布になる理由がわかりません。
ベータ分布 \(Beta(a, b)\) の確率密度関数は \(\theta^{a-1}(1-\theta)^{b-1}/B(a,b)\) である。\(a=b=1\) を代入すると \(\theta^0(1-\theta)^0/B(1,1) = 1\) となり、\((0,1)\) 上の定数関数、すなわち一様分布 \(U(0,1)\) と一致する。「情報なし」を表す無情報事前分布として自然な選択となる。
Q. MAP推定と最尤推定の結果はどう違うのですか？
最尤推定は事前分布を使わず尤度だけを最大化するため、\(\hat{\theta}_{MLE} = x/n\) となる。MAP推定（事後分布のモード）は事前情報を取り込むため \(\hat{\theta}_{MAP} = (x+a-1)/(n+a+b-2)\) となる。[1] の \(a=b=1\) の場合だけ両者が一致する。[2] の \(a=b=5\) では事前分布が \(\theta=0.5\) 付近に引き寄せるため、MAP推定値（0.35）は最尤推定値（0.25）より 0.5 寄りになる。
コメント