この問題のテーマ・前提知識
- テーマ: モデル選択・AIC（赤池情報量規準）・BIC・k分割交差検証（CV）
- 前提知識: 最大対数尤度 / 過適合の概念 / 交差検証の手順
問題の概要
7つの回帰モデルのモデル選択に関する2小問。[1-1〜1-3] 正規回帰の密度関数の正しい表現を選び、AICとCVで最適なモデルを特定する。[2] BIC・AIC・10分割CVの3手法をシミュレーション結果（計算時間・真のモデル選択確率）から判別する。
解説
解法の方針：[1-1] 正規分布の密度関数を \(\phi(\cdot)\) の形式で書く標準表現を選ぶ。[1-2] AIC \(= -2 \times\)最大対数尤度\(+ 2k\) が最小のモデルを表から読み取る。[1-3] CVグラフで最小のモデルを読み取る。[2] 一致性を持つ（n大で真のモデルを選ぶ）のはBIC、計算時間が圧倒的に長いのはCV、残りがAICと判別する。
[1]
[1-1]
線形回帰モデルにおいて、誤差項 \(\epsilon_t\) が独立に平均 0、分散 \(\sigma^2\) の正規分布 \(N(0, \sigma^2)\) に従うとき、観測値 \(y_t\) は以下の正規分布に従う。
\[y_t \sim N(\beta_0 + \beta_1 x_{t1} + \beta_2 x_{t2} + \beta_3 x_{t3}, \sigma^2)\]
正規分布の密度関数 \(f(y_t)\) は、標準正規分布の密度関数 \(\phi(\cdot)\) を用いて次のように表される。
\[f(y_t) = \frac{1}{\sqrt{2\pi}\sigma} \exp \left[ -\frac{1}{2\sigma^2} \{y_t – (\beta_0 + \beta_1 x_{t1} + \beta_2 x_{t2} + \beta_3 x_{t3})\}^2 \right]\]
これを \(\phi(\cdot)\) の形式にまとめると、\(\frac{1}{\sigma} \phi \left( \frac{y_t – (\beta_0 + \beta_1 x_{t1} + \beta_2 x_{t2} + \beta_3 x_{t3})}{\sigma} \right)\) となる。
従って、正解は ④ である。
[1-2]
赤池情報量規準（AIC）は、$-2 \times (\text{最大対数尤度}) + 2 \times (\text{パラメータ数})$ で計算される。値が小さいほど、予測精度の高い良いモデルと判断される。
各モデルの計算値は以下の通りである。
| モデル1 | 1695.839 |
| モデル2 | 1928.847 |
| モデル3 | 1698.768 |
| モデル4 | 1911.208 |
| モデル5 | 2038.313 |
| モデル6 | 2008.030 |
| モデル7 | 1930.075 |
最小値を与えるのはモデル1であるため、正解は ① である。
[1-3]
10分割交差検証（10-fold CV）において最適なモデルは、予測残差の推定値（CV値）を最小にするモデルである。
問題文のグラフを詳細に確認すると、各モデルのCV値を示す点のうち、最も低い位置にある（最小値を与えている）のは モデル3 である。
従って、正解は ② である。
[2]
手法(A), (B), (C)の性質を、シミュレーション結果から判断する。
- 手法(C) = 10分割交差検証計算時間が他の手法（約0.2～0.9秒）に比べて圧倒的に長く（約1.6～8.4秒）、データ分割と反復学習を行うCVの特徴と一致する。
- 手法(A) = BIC（ベイズ情報量規準）サンプルサイズ \(n\) が大きくなるにつれて、真のモデルを選択する確率が 1.0 に近づいている（\(n=1000\) で 0.989）。
これはBICが持つ「一致性（Consistency）」という性質である。 - 手法(B) = AICサンプルサイズが大きくなっても、真のモデルの選択確率が常に上がり続けるわけではなく、0.84 程度で頭打ちになっている。
これは、AICが真のモデルよりも少し複雑なモデルを選択しやすい（過適合気味になる）性質を持つためである。
以上の対応（(A) BIC, (B) AIC, (C) 10-fold CV）を満たす選択肢は ③ である。
よくある質問
Q. AICとBICではどちらを優先すべきですか？
真のモデルが候補の中にあると考えるならBIC（一致性がある）、予測目的ならAIC（効率的）が適切とされる。実務では両方計算して一致する場合を信頼する考え方もある。
Q. 交差検証と情報量基準の使い分けは？
情報量基準（AIC/BIC）はパラメトリックなモデルに使いやすく計算コストが低い。交差検証はモデルクラスを問わず使えるが計算コストが高い。大規模データや非パラメトリックモデルでは交差検証が有力。
Q. AICの \(-2\log L\) はどう計算しますか？
最大化した対数尤度の-2倍。正規線形回帰の場合は \(-2\log L = n\log(\text{RSS}/n)+\text{const}\) と残差平方和から近似できる。
コメント