この問題のテーマ・前提知識
- テーマ: 交差検証法（クロスバリデーション）・正則化（L1/L2）の性質
- 前提知識: モデル選択の考え方 / 過学習と汎化性能 / L1正則化（Lasso）とL2正則化（Ridge）の損失関数の違い / スパース性とは何か
問題の概要
2つの小問からなる。[1] データをモデル評価に使う手法の名称を答える。[2] 正則化パラメータ \(\lambda\) を大きくしたときのL1正則化とL2正則化の挙動の違いを、変数選択の観点から説明する。
解説
解法の方針：[1] データを訓練・検証に分割してモデルの汎化性能を評価する手法の名称を思い出す。[2] L1正則化は罰則項の形状（ダイヤモンド型）によりスパース解を生みやすく、L2正則化はスパース解を生まない——この幾何学的直感から答えを導く。
[1]
交差検証法（クロスバリデーション）
[2]
\(L_1\) 正則化は、正則化パラメータ \(\lambda\) を大きくすると一部の回帰パラメータが完全に 0 になる性質（スパース性）を持ち、変数選択の機能をもつ。
一方、\(L_2\) 正則化は、\(\lambda\) を大きくしてもパラメータの値は 0 に近づくだけで、完全に 0 になることはない。
よくある質問
Q. L1正則化がスパース解を生む理由は何ですか？
L1正則化の罰則項は \(\sum |\beta_j|\) であり、等高線がダイヤモンド（正方形を45°回転した形）になる。目的関数の等高線とこのダイヤモンドが接触するとき、頂点（座標軸上）で接しやすいため、対応するパラメータがちょうど0になりやすい。この幾何学的性質がスパース性の本質。
Q. 交差検証法の「k分割」とはどういう意味ですか？
データをk個のブロックに等分し、1ブロックを検証用・残り(k-1)ブロックを訓練用として学習・評価する操作をk回繰り返す手法。k=5や10がよく使われる。k=nとしたものが「leave-one-out交差検証（LOO-CV）」で、データ数が少ない場合に有効。
Q. L1とL2正則化はどう使い分けるのですか？
説明変数が多く、多くの変数が無関係と思われる場合はL1（Lasso）を選ぶ——不要変数を0にして自動的に変数選択できるため。一方、多くの変数が少しずつ影響していると考えられる場合はL2（Ridge）が適している。ElasticNetはL1とL2を混合し、両方の利点を得る手法。
コメント