この問題のテーマ・前提知識
- テーマ: 正則化回帰（Lasso・Ridge・Elastic Net）のスパース性と解パス
- 前提知識: \(L_1\)正則化（Lasso）と \(L_2\)正則化（Ridge）の違い / スパース性（係数が完全に0になる性質）/ Elastic Netのハイパーパラメータ \(\alpha\) の役割
問題の概要
2つの小問からなる。[1] 解パスのグラフ（4種類）が与えられており、それぞれ OLS法・OLS法+AIC・\(L_1\)正則化法（Lasso）・\(L_2\)正則化法（Ridge）のどれに対応するかを、スパース性と係数の縮小効果から特定する。[2] Elastic Netについて、異なる \(\alpha\) 値（0.5, 0.7, 1.0, 0）における解パスが示されており、\(\alpha = 0.5\) に対応するグラフを選ぶ。
解説
解法の方針：[1] スパース性（係数が0に張り付くか）で手法を2グループに分け、次に正則化による縮小効果の強さを比較してLassoとOLS+AICを区別し、残るRidgeとOLSを縮小効果で特定する。[2] Elastic Netは \(\alpha\) が1に近いほどスパース性が強くなる性質を使い、非ゼロ係数数の減り方からグラフと \(\alpha\) 値を対応づける。
[1]
1. スパース性を持つ手法の特定
- 4つの手法のうち、予測に不要な変数の係数を完全に 0 にする「スパース性」を持つのは、\(L_1\)正則化法（Lasso）とOLS法+AIC（変数減少法）の2つである。
- グラフを見ると、多数のパラメータが 0 に張り付いている（横軸上に並んでいる）のは (ア) と (ウ) である。よって、このどちらかが \(L_1\)正則化法、もう一方が OLS法+AIC である。
2. 正則化による推定値の縮小からの特定
- \(L_1\)正則化法や \(L_2\)正則化法（リッジ回帰）は、目的関数に罰則項を設けるため、通常のOLS法（最小二乗法）と比べて推定値の絶対値が全体的に小さくなる（\(0\) に近づく）という性質がある。
- スパース性を持つ (ア) と (ウ) を比較すると、(ウ) の方が係数のばらつきが小さく、0 付近に集まっている。よって、正則化による縮小効果が働いている (ウ) が \(L_1\)正則化法、(ア) が OLS法+AIC であるとわかる。
3. スパース性を持たない手法の特定
- 残る (イ) と (エ) は、パラメータが完全に 0 になっておらず、スパース性を持たない。これらは OLS法 と \(L_2\)正則化法（リッジ回帰） のいずれかである。
- 先述の通り、正則化法は推定値の絶対値が小さくなる性質を持つ。(イ) と (エ) を比較すると、(イ) の方が係数の振幅が小さく抑えられている。
- よって、縮小効果が表れている (イ) が \(L_2\)正則化法（リッジ回帰）、縮小されずにばらついている (エ) が OLS法 であると特定できる。
従って、正解は ⑤ である。
[2]
Elastic Netの罰則項は、パラメータ \(\alpha\) (\(0 \le \alpha \le 1\)) によって \(L_1\)正則化と \(L_2\)正則化の割合を調整する。
- \(\alpha\) が 1 に近づくにつれて、\(L_1\)正則化（Lasso）の性質に近づき、モデルはよりスパースになる（非ゼロの係数が減りやすくなる）。
- \(\alpha = 0\) のときは完全に \(L_2\)正則化（リッジ回帰）となり、スパース性は生じない。
問題の図において、グラフ上部の数値は「非ゼロの回帰係数の数」を表している。この数値の減り方が急激であるほど、スパース性が強い（\(\alpha\) が 1 に近い）ことを意味する。
- まず、非ゼロの変数が最初から最後まで減らない (ウ) は、スパース性が全くないため \(\alpha = 0\)（リッジ回帰）であるとわかる。
- 残る (ア)、(イ)、(エ) の中で、非ゼロの数の減り具合（スパース性の強さ）を比較する。同じ横軸の位置で上部の数値を比べると、スパース性が強い順に (イ) \(>\) (エ) \(>\) (ア) となっている。
- \(\alpha\) の値は 0.5, 0.7, 1.0 のいずれかであるため、スパース性が強い順にこれらを当てはめると、
- (イ)：\(\alpha = 1.0\)
- (エ)：\(\alpha = 0.7\)
- (ア)：\(\alpha = 0.5\)
問われているのは \(\alpha = 0.5\) の解パスであるため、該当するのは (ア) である。
従って、正解は ① である。
よくある質問
Q. LassoとRidgeで「スパース性あり・なし」が分かれる理由は？
\(L_1\)正則化（Lasso）の罰則項は \(\sum |\beta_j|\) で、原点でとがった菱形の制約領域を持つ。最適解が制約境界の「角」に当たりやすいため、係数が厳密に0になる。一方 \(L_2\)正則化（Ridge）の制約領域は滑らかな球なので角がなく、係数は0に近づくが完全には0にならない。
Q. Elastic Netはなぜ \(\alpha\) を混合比に使うのですか？
Elastic Netの罰則は \(\alpha \cdot L_1 + (1-\alpha) \cdot L_2\) の線形結合。\(\alpha=1\) でLasso、\(\alpha=0\) でRidgeと一致する。高次元・多重共線性があるデータではLasso単体より安定した変数選択ができるため、両方の性質を \(\alpha\) で連続的に調整できる設計になっている。
Q. 解パスの「上部の数値」を使って \(\alpha\) を特定するコツは？
横軸（正則化の強さ）が同じ位置での「非ゼロ係数数」を各グラフで比較する。数値が急激に減るほど \(\alpha\) が大きい（Lasso寄り）。まずスパース性が全くない1本を \(\alpha=0\)（Ridge）と確定させ、残りを減り方の強い順に \(\alpha=1.0, 0.7, 0.5\) と対応づけると迷いにくい。
コメント