この問題のテーマ・前提知識
- テーマ: マルコフ連鎖・推移確率行列・定常分布
- 前提知識: 確率過程の基本的な考え方 / 行列の積と確率ベクトルの関係 / 連立方程式を使った定常分布の導出
問題の概要
3小問からなる。サイコロを繰り返し投げ、出た目に応じて位置 0・位置 1 間を移動する確率過程を題材とする。[1] 具体的な出目の列に対して位置の推移を追う。[2] 状態間の遷移確率を行列表現したとき、各成分の値を特定する。[3] 時間が十分に経過したときに収束する定常分布を求める。
解説
解法の方針：[1] 与えられたルールに従い、出目ごとに現在位置を1ステップずつ更新する。[2] 確率ベクトルと推移確率行列の積の形から、各成分が「ある状態から次の状態への遷移確率」であることを読み取り、各確率を計算する。[3] 定常分布の条件 \(\pi = \pi P\) と規格化条件 \(p + q = 1\) を連立して解く。
[1]
初期位置は 0 であり、サイコロの目が「3, 6, 4, 3, 5」と出た場合の位置の推移を求める。問題のルールに従って1回ずつ確認していく。
- スタート：位置 0
- 1回目（目：3）：位置 0 にいて3の目が出たので、位置 0 に留まる。
- 2回目（目：6）：位置 0 にいて3以外の目が出たので、位置 1 に移動する。
- 3回目（目：4）：位置 1 にいて偶数の目が出たので、位置 1 に留まる。
- 4回目（目：3）：位置 1 にいて奇数の目が出たので、位置 0 に移動する。
- 5回目（目：5）：位置 0 にいて3以外の目が出たので、位置 1 に移動する。
よって、位置の推移は \(0 \rightarrow 0 \rightarrow 1 \rightarrow 1 \rightarrow 0 \rightarrow 1\) となる。
従って、正解は ④ である。
[2]
与えられた行列の関係式を展開すると、以下のようになる。
\[(p_{t+1}, q_{t+1}) = (p_t \cdot a + q_t \cdot c, p_t \cdot b + q_t \cdot d)\]
これを成分ごとに比較すると、以下の2つの式が得られる。
- \(p_{t+1} = a \cdot p_t + c \cdot q_t\)
- \(q_{t+1} = b \cdot p_t + d \cdot q_t\)
ここで、\(p_t\) は時点 \(t\) で位置 0 にいる確率、\(q_t\) は時点 \(t\) で位置 1 にいる確率を表している。
上の式から、推移確率行列の各成分の意味は次のように解釈できる。
- \(a\)：位置 0 にいた状態から、次の時点で位置 0 になる確率（1/6）
- \(b\)：位置 0 にいた状態から、次の時点で位置 1 になる確率（5/6）
- \(c\)：位置 1 にいた状態から、次の時点で位置 0 になる確率（1/2）
- \(d\)：位置 1 にいた状態から、次の時点で位置 1 になる確率（1/2）
よって、推移確率行列は以下のようになる。
\[\begin{pmatrix} 1/6 & 5/6 \\ 1/2 & 1/2 \end{pmatrix}\]
従って、正解は ③ である。
[3]
\(t\) が十分に大きくなると、確率は一定の値 \((p, q)\) に収束し、時間が経過してもその確率が変化しなくなる。
\[(p, q) = (p, q) \begin{pmatrix} 1/6 & 5/6 \\ 1/2 & 1/2 \end{pmatrix}\]
これを行列の計算規則に従って連立方程式にする。
\[p = \frac{1}{6}p + \frac{1}{2}q \quad \cdots (A)\]
\[q = \frac{5}{6}p + \frac{1}{2}q \quad \cdots (B)\]
また、\(p\) と \(q\) は確率であるため、足し合わせると必ず 1 になるという重要な条件がある。
\[p + q = 1 \quad \cdots (C)\]
式 \((A)\) を整理して \(p\) と \(q\) の比率を求める。
\[p – \frac{1}{6}p = \frac{1}{2}q\]
\[q = \frac{5}{3}p\]
これを式 \((C)\) に代入する。
\[p + \frac{5}{3}p = 1\]
\[p = \frac{3}{8}\]
求めた \(p\) の値を式 \((C)\) に代入し、\(q\) を求める。
\[\frac{3}{8} + q = 1\]
\[q = \frac{5}{8}\]
よって、近づく値は \((3/8, 5/8)\) となる。
従って、正解は ① である。
よくある質問
Q. 推移確率行列の成分と確率ベクトルの掛け順が紛らわしいのですが？
この問題では確率ベクトルを行ベクトル \((p_t, q_t)\) として左から掛ける形をとっている。そのため行列の \((i,j)\) 成分が「状態 \(i\) から状態 \(j\) への遷移確率」となる。列ベクトルで右から掛ける流儀と転置の関係にあるので、問題の式の形を確認してから成分を読み取る習慣をつけよう。
Q. 定常分布の計算で式(A)(B)(C)のうちどれを使えばよいですか？
式(A)か式(B)のどちらか1つと、規格化条件(C)の計2本を連立すれば十分。(A)と(B)は独立ではなく同じ情報を持つ（全確率が1であることから自動的に片方が成り立つ）ため、2本以上使っても冗長になるだけで矛盾はしない。
Q. 定常分布が存在する条件は何ですか？
有限状態のマルコフ連鎖が既約（どの状態からどの状態にも有限ステップで到達できる）かつ非周期的であれば、一意な定常分布が存在して収束する。この問題の2状態モデルは両状態間を行き来できるため既約・非周期であり、定常分布への収束が保証されている。
コメント