この問題のテーマ・前提知識
- テーマ: マルコフ連鎖（推移確率行列・最尤推定・定常分布）
- 前提知識: マルコフ連鎖の定義と推移確率行列 / 尤度関数と対数尤度の最大化 / 定常分布の定義（\(\pi Q = \pi\) と確率の総和条件）
問題の概要
3小問からなる。自宅と職場の2地点を行き来する人が合計2本の傘を管理する状況を想定し、出発地の傘の本数 \(X_n\)（状態空間 \(\{0,1,2\}\)）のマルコフ連鎖を扱う。[1] 降雨確率 \(\theta\) を用いた推移確率行列を求める。[2] 観測された状態系列から \(\theta\) の最尤推定値を求める。[3] \(\theta\) の推定値を代入して定常分布を求め、傘を持たずに出発する確率を計算する。
解説
解法の方針：[1] 状態 0・1・2 それぞれについて、雨が降る・降らないで場合分けし、遷移先と確率を特定して行列にまとめる。[2] 観測系列から各遷移を読み取って尤度関数を作り、対数尤度を微分してゼロにおく。[3] [2] の推定値を代入した行列で定常方程式 \(\pi Q = \pi\) を解く。
[1]
出発時の傘の本数 \(X_n\) が、次の出発時 \(X_{n+1}\) にどう変化するかを調べる。状態空間は \(\{0, 1, 2\}\) であるため、それぞれの場合について場合分けを行う。
① \(X_n = 0\) の場合（出発地に傘がない）
手元に傘がないため、雨の有無に関わらず傘を持たずに移動する。到着地には元々 \(2 – 0 = 2\) 本の傘がある。よって、次にその場所から出発するときの傘の本数は確実に 2 本となる。
- \(P(X_{n+1} = 0 \mid X_n = 0) = 0\)
- \(P(X_{n+1} = 1 \mid X_n = 0) = 0\)
- \(P(X_{n+1} = 2 \mid X_n = 0) = 1\)
これにより、行列の1行目は \((0, 0, 1)\) となる。
② \(X_n = 1\) の場合（出発地に傘が 1 本）
到着地には \(2 – 1 = 1\) 本の傘がある。
- 雨が降る（確率 \(\theta\)）：傘を1本持って移動する。到着地に着くと、持ってきた 1 本と元々あった 1 本を合わせて 2 本になる。よって、\(P(X_{n+1} = 2 \mid X_n = 1) = \theta\) である。
- 雨が降らない（確率 \(1 – \theta\)）：傘を持たずに移動する。到着地に着くと、元々あった 1 本のままである。よって、\(P(X_{n+1} = 1 \mid X_n = 1) = 1 – \theta\) である。
これにより、行列の2行目は \((0, 1-\theta, \theta)\) となる。
③ \(X_n = 2\) の場合（出発地に傘が 2 本）
到着地には \(2 – 2 = 0\) 本の傘がある。
- 雨が降る（確率 \(\theta\)）：傘を 1 本持って移動する。到着地に着くと、持ってきた 1 本のみになる。よって、\(P(X_{n+1} = 1 \mid X_n = 2) = \theta\) である。
- 雨が降らない（確率 \(1 – \theta\)）：傘を持たずに移動する。到着地に着くと、0 本のままである。よって、\(P(X_{n+1} = 0 \mid X_n = 2) = 1 – \theta\) である。
これにより、行列の3行目は \((1-\theta, \theta, 0)\) となる。
以上をまとめると、推移確率行列 \(Q\) は以下のようになる。
\[Q = \begin{pmatrix} 0 & 0 & 1 \\ 0 & 1-\theta & \theta \\ 1-\theta & \theta & 0 \end{pmatrix}\]
従って、正解は ① である。
[2]
記録された結果は以下の通りである。
\[X_1 = 1, X_2 = 1, X_3 = 2, X_4 = 0, X_5 = 2, X_6 = 1, X_7 = 1, X_8 = 1\]
〔1〕で求めた行列 \(Q\) を用いて、各移動ごとの確率を掛け合わせていく。
- \(X_1=1 \to X_2=1\)：確率 \(1 – \theta\)
- \(X_2=1 \to X_3=2\)：確率 \(\theta\)
- \(X_3=2 \to X_4=0\)：確率 \(1 – \theta\)
- \(X_4=0 \to X_5=2\)：確率 1
- \(X_5=2 \to X_6=1\)：確率 \(\theta\)
- \(X_6=1 \to X_7=1\)：確率 \(1 – \theta\)
- \(X_7=1 \to X_8=1\)：確率 \(1 – \theta\)
尤度関数 \(L(\theta)\) はこれらの積となる。
\[L(\theta) = (1-\theta)^3 \times \theta^1 \times (1-\theta)^1 \times 1^1 \times \theta^1 \times (1-\theta)^2\]
正確に回数を数えると、
- 確率 \(\theta\) の遷移（\(1 \to 2\), \(2 \to 1\)）：計 2 回
- 確率 \(1 – \theta\) の遷移（\(1 \to 1\) が 3 回, \(2 \to 0\) が 1 回）：計 4 回
- 確率 1 の遷移（\(0 \to 2\)）：計 1 回
よって、尤度関数は次のように表される。
\[L(\theta) = \theta^2 (1-\theta)^4\]
この \(L(\theta)\) を最大にする \(\theta\) を見つけるため、対数尤度 \(l(\theta) = \log L(\theta)\) をとり、微分して 0 とおく。
\[l(\theta) = 2 \log \theta + 4 \log (1-\theta)\]
\[\frac{d}{d\theta} l(\theta) = \frac{2}{\theta} – \frac{4}{1-\theta} = 0\]
\[2(1-\theta) = 4\theta \implies 2 = 6\theta \implies \theta = \frac{1}{3} \approx 0.33\]
従って、正解は ③ である。
[3]
定常分布を \(\pi = (\pi_0, \pi_1, \pi_2)\) とおく。定常分布は \(\pi Q = \pi\) および \(\pi_0 + \pi_1 + \pi_2 = 1\) を満たす。
\(\theta = \frac{1}{3}\) を代入した行列 \(Q\) は以下のようになる。
\[Q = \begin{pmatrix} 0 & 0 & 1 \\ 0 & \frac{2}{3} & \frac{1}{3} \\ \frac{2}{3} & \frac{1}{3} & 0 \end{pmatrix}\]
方程式 \(\pi Q = \pi\) を各成分について書き下す。
- 1列目の比較：\(\pi_0 = \frac{2}{3}\pi_2\)
- 2列目の比較：\(\pi_1 = \frac{2}{3}\pi_1 + \frac{1}{3}\pi_2 \implies \frac{1}{3}\pi_1 = \frac{1}{3}\pi_2 \implies \pi_1 = \pi_2\)
ここで得られた \(\pi_0 = \frac{2}{3}\pi_2\) と \(\pi_1 = \pi_2\) を、確率の和の条件 \(\pi_0 + \pi_1 + \pi_2 = 1\) に代入する。
\[\frac{2}{3}\pi_2 + \pi_2 + \pi_2 = 1\]
\[\frac{8}{3}\pi_2 = 1 \implies \pi_2 = \frac{3}{8}\]
求めたいのは「出発時に手元に傘がない確率」、すなわち \(X_n = 0\) となる確率 \(\pi_0\) である。
\[\pi_0 = \frac{2}{3}\pi_2 = \frac{2}{3} \times \frac{3}{8} = \frac{2}{24} = \frac{1}{4} = 0.25\]
従って、正解は ④ である。
よくある質問
Q. 推移確率行列の行と列はどちらが「遷移元」ですか？
この問題では行が遷移元、列が遷移先を表す（行確率行列）。定常分布の方程式も \(\pi Q = \pi\) の形になる。列が遷移元の縦確率行列を使う教科書では \(Q^T \pi^T = \pi^T\) となるので、どちらの流儀かを確認してから解くことが重要。
Q. 尤度関数で「確率 1 の遷移」を無視してよいのはなぜですか？
\(0 \to 2\) の遷移は \(\theta\) の値によらず確率が常に 1 なので、尤度関数に掛けても \(\theta\) に関する因子が生じない。最尤推定では \(\theta\) について最大化するため、定数倍の因子は結果に影響しない。
Q. 定常分布の方程式を解くとき、なぜ全成分を連立しなくてよいのですか？
\(\pi Q = \pi\) の各成分の式のうち、いくつかは線形従属（他の式を足し合わせると得られる）になる。そのため独立な式の本数は状態数より1つ少なく、不足する1本の条件を確率の総和 \(\sum \pi_i = 1\) で補う。全成分を連立すると冗長な式が含まれるが、解くことは可能。
コメント