この問題のテーマ・前提知識
- テーマ: 主成分分析（PCA）——相関係数・固有値・寄与率・信頼区間・AICによるモデル選択
- 前提知識: 標本分散共分散行列の読み方 / 相関係数の定義 / 主成分の解釈と寄与率 / \(\chi^2\) 分布を使った信頼区間 / 赤池情報量規準（AIC）の比較方法
問題の概要
4科目（国語・数学・英語・理科）のテストデータに対して主成分分析を行う問題。[1] 標本分散共分散行列から国語と数学の相関係数を計算する。[2] 第1・第2主成分を解釈し、第2主成分までの累積寄与率を求める。[3] 第1固有値の95%信頼区間を \(\chi^2\) 分布を使って導出する。[4] スクリープロットとAICを用いて最適なモデルを選択する。
解説
解法の方針：[1] 分散共分散行列から各変数の分散を読み取り、共分散との比として相関係数を計算する。[2] 固有ベクトルの係数の符号・大きさから主成分の意味を解釈し、固有値の比から累積寄与率を計算する。[3] \(7\ell_1/\lambda_1 \sim \chi^2(7)\) の近似を使い、付表の上下2.5%点から \(\lambda_1\) の信頼区間を逆算する。[4] AICが最小のモデルを採用する。
[1]
標本分散共分散行列より、国語の分散 \(V(X_{国語})\) は 428.6、数学の分散 \(V(X_{数学})\) は 371.4 であるから、国語と数学の相関係数は、
\begin{eqnarray}
r_{X_{国語},X_{数学}} &=& \frac{\mathrm{Cov}(X_{国語},X_{数学})}{\sqrt{V(X_{国語})}\sqrt{V(X_{数学})}} \\
&=& \frac{42.9}{\sqrt{428.6 \times 371.4}} \\
&\approx& 0.1075
\end{eqnarray}
と求まる。
[2]
第１主成分は総合的な学力、第２主成分は文理のバランスを表す軸と解釈できる。
第２主成分までの累積寄与率は、
\[\frac{798+560}{798+560+160+10.5}\approx 0.889\]
となるので、失われた情報は 11 %程度とわかる。
[3]
問題文の条件より、母集団が 4 変数正規分布に従うとき、\(7\ell_1 / \lambda_1\) が自由度 7 の \(\chi^2\) 分布に近似的に従うことが示されている。
95 %信頼区間を求めるため、自由度 7 の \(\chi^2\) 分布において、両端 2.5\% ずつを除いた範囲の値を付表から求める。
\[P\left( 1.69 < \frac{7\ell_1}{\lambda_1} < 16.01 \right) = 0.95\]
この不等式を \(\lambda_1\) について解くと、
\[\frac{7 \times 798}{16.01} < \lambda_1 < \frac{7 \times 798}{1.69}\]
となる。
よって、\(348.9 < \lambda_1 < 3305\) となり、母集団における第 1 固有値の推定範囲が得られる。
[4]
分散共分散行列の構造について、4つのモデル \(M_0 \sim M_3\) が提示されている。
これらは固有値がどこまで等しいか（等方性があるか）を仮定したものである。
- スクリープロットの確認：図2を見ると、第1固有値から第3固有値までは値が大きく減少しており、各主成分が独立した情報を持っていることが示唆される。
- AIC（赤池情報量規準）による判定：統計モデルの選択では、AICの値が最小となるモデルを採用するのが一般的である。与えられた表を確認すると、各モデルのAICは以下の通りである。
- \(M_0：25.4\)
- \(M_1：29.1\)
- \(M_2：26.2\)
- \(M_3：20.0\)
\(M_3\) のAICが最も小さいため、すべての固有値が異なると仮定する（あるいは特定の等号制約を設けない）モデル \(M_3\) を採用するのが妥当である。
よくある質問
Q. 相関係数を計算するとき、分散共分散行列のどこを使えばいいですか？
対角成分が各変数の分散、非対角成分が共分散を表す。相関係数は \(r = \mathrm{Cov}(X,Y)/\sqrt{V(X)V(Y)}\) なので、対応する行・列の対角成分と非対角成分の3つの値だけを使って計算できる。
Q. 固有値の信頼区間はなぜ \(\chi^2\) 分布を使うのですか？
多変量正規分布の標本固有値は、自由度が標本サイズ \(n-1\) に関連する \(\chi^2\) 分布で近似できることが知られている。この問題では \(7\ell_1/\lambda_1 \sim \chi^2(7)\) という近似が与えられているので、その前後の不等式変形で \(\lambda_1\) の区間を直接求める。
Q. AICでモデルを選ぶとき、数値が小さいほど良いのはなぜですか？
AIC は「対数尤度（当てはまりの良さ）」からパラメータ数のペナルティを引いた指標で、値が小さいほど情報損失が少ないことを意味する。単純に尤度だけで比べるとパラメータを増やすほど有利になるが、AICはその過学習を抑制するため、複数モデルの比較に広く使われる。
コメント