この問題のテーマ・前提知識
- テーマ: メトロポリス・ヘイスティングス（MH）法による混合正規分布からのサンプリング
- 前提知識: MCMC（マルコフ連鎖モンテカルロ法）の基本的な仕組み / 正規分布の確率密度関数 / 混合分布の概念 / バーンイン期間の意味
問題の概要
3つの小問からなる。[1] 標準正規分布と別の正規分布を1:3で混合した目標分布に対し、MH法の採択確率 \((C)\) の式を導く。[2] 提案分布の幅を決めるパラメータ \(a\) の値が異なる3つのケース（ア・イ・ウ）を時系列プロットとヒストグラムから対応付ける。[3] バーンイン期間のサンプルを捨てる理由を記述する。
解説
解法の方針：[1] 目標分布 \(\pi(x)\) を混合比から明示的に書き下し、MH法の採択確率の定義式にそのまま代入する。[2] ステップ幅 \(a\) が大きすぎる・適切・小さすぎるそれぞれの場合に時系列がどう見えるかを推論し、グラフの特徴と照合する。[3] マルコフ連鎖が定常分布に収束する前のサンプルが初期値依存であることを根拠に述べる。
[1]
目標分布は、2つの正規分布の混合分布である。
与えられた目標分布の確率密度関数 \(\pi(x)\) は、標準正規分布 \(N(0, 1)\) と、平均 6、分散 1 の正規分布 \(N(6, 1)\) を 1:3 の割合で足し合わせたものである。
標準正規分布の確率密度関数を \(\phi(x)\) とすると、\(N(6, 1)\) の確率密度関数は \(\phi(x-6)\) と表すことができる。
よって、目標分布の確率密度関数 \(\pi(x)\) は、
\[\pi(x) = \frac{1}{4}\phi(x) + \frac{3}{4}\phi(x-6)\]
となる。
メトロポリス・ヘイスティングス法における採択確率 \(\alpha(x^{(t)}, y)\) は問題文の通り、
\[\alpha(x^{(t)}, y) = \min \left( 1, \frac{\pi(y)}{\pi(x^{(t)})} \right)\]
である。
ここに先ほど求めた \(\pi(x)\) を代入すると、
\[(C) = \min \left( 1, \frac{\frac{1}{4}\phi(y) + \frac{3}{4}\phi(y-6)}{\frac{1}{4}\phi(x^{(t)}) + \frac{3}{4}\phi(x^{(t)}-6)} \right)\]
[2]
パラメータ \(a\) は、次の状態の候補 \(y\) を発生させる際の一様分布 \(U(-a, a)\) の幅を決める値（ステップ幅）である。この値の大小が、サンプリングの効率（混合の良さ）に大きく影響する。
各グラフの特徴と \(a\) の関係を考察する。
- (ア) について
時系列プロットは適度に変動し、ヒストグラムも目標分布の2つの山（ 0 付近と 6 付近、面積比はおよそ 1:3 ）をきれいに再現できている。これはステップ幅が適切であり、状態空間全体を効率よく探索できていることを示している。よって、中間の \(a=1\) が該当する。 - (イ) について
ステップ幅 \(a\) が大きすぎる（\(a=6\) のような）場合、現在位置から遠く離れた確率密度の低い場所が提案されることが多くなる。その結果、提案が棄却される（\(u \le \alpha\) を満たさない）確率が高くなり、状態が更新されず同じ値に留まることが増える。時系列プロットを見ると、(ア)に比べて密になりすぎており、ヒストグラムの形も少し荒くなっている（サンプリング効率が悪い）。したがって、\(a=6\) が該当する。 - (ウ) について
時系列プロットを見ると、初期値 \(x^{(0)} = 6\) の周辺から値がほとんど動いておらず、もう一つの山である 0 付近へ遷移できていない。これは、ステップ幅 \(a\) が小さすぎるために、近傍しか探索できず局所解に陥っている状態を示している。よって、最も小さい \(a=0.1\) が該当する。
[3]
マルコフ連鎖が目標分布（定常分布）に収束するまでの初期のサンプルは、初期値の影響を強く受けており、目標分布からの正しいサンプルとはみなせないため。（これらの初期サンプルを破棄する期間をバーンイン期間と呼ぶ。）
よくある質問
Q. なぜ対称な提案分布を使うとMH法の採択確率が簡単な形になるのですか？
MH法の一般的な採択確率は \(\min\!\left(1,\, \frac{\pi(y)\,q(x^{(t)}|y)}{\pi(x^{(t)})\,q(y|x^{(t)})}\right)\) だが、\(U(-a,a)\) のような対称な提案分布では \(q(x^{(t)}|y) = q(y|x^{(t)})\) が成り立つため、提案分布の比が1に消えて \(\pi(y)/\pi(x^{(t)})\) だけが残る。この特殊ケースをメトロポリス法と呼ぶ。
Q. ステップ幅 \(a\) の最適値はどうやって決めますか？
実務的には採択率が20〜50%程度になるよう試行錯誤で調整するのが一般的。採択率が高すぎる（\(a\) が小さい）と局所的な探索になり、低すぎる（\(a\) が大きい）と同じ値に留まりすぎる。適応型MCMCでは \(a\) をオンラインで自動調整する手法も存在する。
Q. 混合分布をターゲットにする際に特有の難しさはありますか？
混合分布の各成分が離れた位置（この問題では 0 付近と 6 付近）にある場合、ステップ幅が小さいと一方の成分から抜け出せず「モード間の行き来」ができなくなる。これをモード探索の問題と呼び、並列テンパリングや大きなステップ幅の活用が対策として使われる。
コメント