この問題のテーマ・前提知識
- テーマ: マルコフ連鎖・メトロポリス法・定常分布
- 前提知識: マルコフ連鎖の遷移確率行列、定常分布の定義（\(\boldsymbol{q}P=\boldsymbol{q}\)）、メトロポリス法の採択確率 \(\min(q_j/q_i,1)\)
問題の概要
4つの状態を持つマルコフ連鎖を考える。各ステップで4枚のカードから1枚を等確率で引き、メトロポリス法の採択規則に従って状態を遷移させる設定。[1] 遷移確率行列 \(P\) の各要素を求める。[2] 状態1から出発したときの1ステップ後・2ステップ後の分布を計算する。[3] 与えられた分布 \((0.1, 0.2, 0.3, 0.4)\) が定常分布であることを確認する。[4] 一般の重み \((a_1,a_2,a_3,a_4)\) に対して遷移確率行列を示し、定常分布が重みに比例することを確認する。
解説
解法の方針：[1] 各状態からカードを引いたときのメトロポリス採択確率 \(\min(a_j/a_i,1)\) を整理して遷移確率 \(p_{ij}\) を求める。[2] 求めた行列 \(P\) を使い \(\boldsymbol{q}^{(0)}P\) および \(\boldsymbol{q}^{(1)}P\) を計算する。[3] \((0.1,0.2,0.3,0.4)P\) を計算して元の分布に一致することを示す。[4] 一般の \(a_i\) でも同じ構造が成り立つことを行列で示す。
[1]
カードを引く段階で各数字 \(a_j\) が取り出される確率はすべて 1/4 である。
【状態1のとき】
- \(a_1\) のカードを引いて状態1にとどまる確率は 1/4 である。
- \(a_j（j\neq 1）\)のカードを引いたとき状態 \(j\) に推移する条件付き確率は、\(a_1=1\) が最小で\(\min(a_j/a_1, 1)=1\) である。
従って、\(a_j\) のカードを引くと必ず状態 \(j\) に推移するため、\(p_{1j}=1/4\) となる。
【状態2のとき】
- \(a_1\) のカードを引いた場合に状態1に推移する条件付き確率は、\(\min(a_1/a_2, 1)=1/2\) であるので、\(p_{21}=(1/4)×(1/2)=1/8\) となる。
- 状態2にとどまる確率は、\(a_2\) を引く確率と \(a_1\) を引いて状態1に推移しない確率の和であるから、\(p_{22}=1/4+1/8=3/8\) である。
- \(\min(a_j/a_2, 1)=1（j=3, 4）\) より、状態3, 4へは必ず推移する。よって、\(p_{23}=p_{24}=1/4\) である。
[2]
\begin{eqnarray}
\boldsymbol{q}^{(1)} &=&
(1, 0, 0, 0)
\begin{pmatrix}
1/4 &1/4 & 1/4 & 1/4 \\
1/8 & 3/8 & 1/4 & 1/4 \\
1/12 & 2/12 & 6/12 & 1/4 \\
1/16 & 2/16 & 3/16 & 10/16 \\
\end{pmatrix} \\
&=& (1/4,1/4,1/4,1/4)
\end{eqnarray}
\begin{eqnarray}
\boldsymbol{q}^{(2)} &=&
(1/4,1/4,1/4,1/4)
\begin{pmatrix}
1/4 &1/4 & 1/4 & 1/4 \\
1/8 & 3/8 & 1/4 & 1/4 \\
1/12 & 2/12 & 6/12 & 1/4 \\
1/16 & 2/16 & 3/16 & 10/16 \\
\end{pmatrix} \\
&=& (25/192,11/48,19/64,11/32)
\end{eqnarray}
[3]
\begin{eqnarray}
\boldsymbol{q}^{(1)} &=&
(0.1, 0.2, 0.3, 0.4)
\begin{pmatrix}
1/4 &1/4 & 1/4 & 1/4 \\
1/8 & 3/8 & 1/4 & 1/4 \\
1/12 & 2/12 & 6/12 & 1/4 \\
1/16 & 2/16 & 3/16 & 10/16 \\
\end{pmatrix} \\
&=& (0.1, 0.2, 0.3, 0.4)
\end{eqnarray}
となり、\(\boldsymbol{q}P=\boldsymbol{q}\) を満たすので定常分布とわかる。
[4]
\begin{eqnarray}
P &=&
\frac{1}{4}
\begin{pmatrix}
1 &1 & 1 & 1 \\
\frac{a_1}{a_2} & 2-\frac{a_1}{a_2} & 1 & 1 \\
\frac{a_1}{a_3} & \frac{a_2}{a_3} & 3-\frac{a_1+a_2}{a_3} & 1 \\
\frac{a_1}{a_4} & \frac{a_2}{a_4} & \frac{a_3}{a_4} & 4-\frac{a_1+a_2+a_3}{a_4} \\
\end{pmatrix}
\end{eqnarray}
より、\(\boldsymbol{q}P=\boldsymbol{q}\) を満たすので定常分布とわかる。
よくある質問
Q. メトロポリス法の採択確率 \(\min(a_j/a_i,1)\) はどこから来るの？
メトロポリス法では、目標分布 \(\boldsymbol{q}\) に比例する重み \(a_i\) を使い、「現状より重みが大きい状態には必ず移動、小さい状態には比率分だけ移動」という規則を設ける。これにより細かいつり合い条件（detailed balance）が成立し、定常分布が目標分布に一致する。
Q. 対角成分（自己ループ確率）はどう計算するの？
各行の確率の和が1になるよう調整する。提案したカードが採択されなかった確率分だけ元の状態にとどまるため、\(p_{ii} = 1 – \sum_{j \neq i} p_{ij}\) で求められる。状態2の \(p_{22}=3/8\) はこの計算で確認できる。
Q. [3] で \(\boldsymbol{q}P=\boldsymbol{q}\) を示すだけで定常分布と言えるの？
定常分布の定義が \(\boldsymbol{q}P=\boldsymbol{q}\) かつ \(\sum q_i=1\) であるため、この等式を直接計算で確認すれば十分。このマルコフ連鎖は既約・正則なので定常分布は一意に存在し、\(\boldsymbol{q}P=\boldsymbol{q}\) を満たす確率ベクトルが唯一の定常分布となる。
コメント