解説
[1]
1. スパース性を持つ手法の特定
- 4つの手法のうち、予測に不要な変数の係数を完全に 0 にする「スパース性」を持つのは、\(L_1\)正則化法（Lasso）とOLS法+AIC（変数減少法）の2つである。
- グラフを見ると、多数のパラメータが 0 に張り付いている（横軸上に並んでいる）のは (ア) と (ウ) である。よって、このどちらかが \(L_1\)正則化法、もう一方が OLS法+AIC である。
2. 正則化による推定値の縮小からの特定
- \(L_1\)正則化法や \(L_2\)正則化法（リッジ回帰）は、目的関数に罰則項を設けるため、通常のOLS法（最小二乗法）と比べて推定値の絶対値が全体的に小さくなる（$0$ に近づく）という性質がある。
- スパース性を持つ (ア) と (ウ) を比較すると、(ウ) の方が係数のばらつきが小さく、0 付近に集まっている。よって、正則化による縮小効果が働いている (ウ) が \(L_1\)正則化法、(ア) が OLS法+AIC であるとわかる。
3. スパース性を持たない手法の特定
- 残る (イ) と (エ) は、パラメータが完全に 0 になっておらず、スパース性を持たない。これらは OLS法 と \(L_2\)正則化法（リッジ回帰） のいずれかである。
- 先述の通り、正則化法は推定値の絶対値が小さくなる性質を持つ。(イ) と (エ) を比較すると、(イ) の方が係数の振幅が小さく抑えられている。
- よって、縮小効果が表れている (イ) が \(L_2\)正則化法（リッジ回帰）、縮小されずにばらついている (エ) が OLS法 であると特定できる。
従って、正解は ⑤ である。
[2]
Elastic Netの罰則項は、パラメータ \(\alpha\) (\(0 \le \alpha \le 1\)) によって \(L_1\)正則化と \(L_2\)正則化の割合を調整する。
- \(\alpha\) が 1 に近づくにつれて、\(L_1\)正則化（Lasso）の性質に近づき、モデルはよりスパースになる（非ゼロの係数が減りやすくなる）。
- \(\alpha = 0\) のときは完全に \(L_2\)正則化（リッジ回帰）となり、スパース性は生じない。
問題の図において、グラフ上部の数値は「非ゼロの回帰係数の数」を表している。この数値の減り方が急激であるほど、スパース性が強い（\(\alpha\) が 1 に近い）ことを意味する。
- まず、非ゼロの変数が最初から最後まで減らない (ウ) は、スパース性が全くないため \(\alpha = 0\)（リッジ回帰）であるとわかる。
- 残る (ア)、(イ)、(エ) の中で、非ゼロの数の減り具合（スパース性の強さ）を比較する。同じ横軸の位置で上部の数値を比べると、スパース性が強い順に (イ) \(>\) (エ) \(>\) (ア) となっている。
- \(\alpha\) の値は 0.5, 0.7, 1.0 のいずれかであるため、スパース性が強い順にこれらを当てはめると、
- (イ)：\(\alpha = 1.0\)
- (エ)：\(\alpha = 0.7\)
- (ア)：\(\alpha = 0.5\)
問われているのは \(\alpha = 0.5\) の解パスであるため、該当するのは (ア) である。
従って、正解は ① である。
コメント