この問題のテーマ・前提知識
- テーマ: OLS・一般化最小二乗法（GLS）・決定係数 \(R^2\)
- 前提知識: ガウス−マルコフ定理・BLUEの定義 / 不均一分散の概念 / 残差平方和・全平方和・回帰平方和の関係
問題の概要
重回帰の OLS と GLS に関する3小問。[1] 不均一分散下での OLS と GLS の性質を比較し、BLUE はどちらかを問う。[2] 決定係数 \(R^2\) の分子（回帰平方和）と分母（全平方和）の式を選ぶ。[3] 与えられた散布図から OLS と GLS の \(R^2\) の大小関係と具体的な値を判断する。
解説
解法の方針：[1] ガウス−マルコフ定理の拡張で GLS が不均一分散下の BLUE になることを確認する。[2] \(R^2 = \text{SSR}/\text{SST}\) の定義式で分子・分母を特定する。[3] OLS は通常の残差平方和を最小化するため \(R^2_\text{OLS} \ge R^2_\text{GLS}\) が成立し、グラフの目視で具体的な値を絞り込む。
[1]
- 最小二乗法（OLS）: すべてのデータを平等に扱う。不均一分散下でも「不偏性（偏りがないこと）」は保たれるが、推定量の分散は最小にならない。
- 一般化最小二乗法（GLS/WLS）: 分散 \(\sigma_i^2\) の逆数を重みとして用いる。バラツキが大きいデータの重みを小さく、バラツキが小さいデータの重みを大きくすることで、より精度の高い推定を行う。
ガウス＝マルコフの定理の拡張により、適切な重みを用いたGLS推定法は、最良線形不偏推定量（BLUE）となる。
つまり、数ある不偏推定量の中で「推定量の分散を最小にする」という性質を持つ。
従って、②が正解である。
[2]
決定係数 \(R^2\) は、「データの全変動のうち、回帰モデルによって説明できた変動の割合」を表す。
\[R^2 = \frac{\text{回帰平方和 (SSR)}}{\text{全平方和 (SST)}} = \frac{\sum_{i=1}^{10} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{10} (y_i – \bar{y})^2}\]
- 分子（ア）: 回帰による予測値 \(\hat{y}_i\) と平均 \(\bar{y}\) の差の二乗和。
- 分母（イ）: 実測値 \(y_i\) と平均 \(\bar{y}\) の差の二乗和。
従って、②が正解である。
[3]
OLSの性質
最小二乗法（OLS）は、定義そのものが「残差二乗和 \(\sum (y_i – \hat{y}_i)^2\) を最小化する」手法である。これは、〔2〕の定義における \(R^2\) を最大化することと同義である。
GLSとの比較
一般化最小二乗法（GLS）は「重み付き残差二乗和」を最小化する手法であり、通常の（重みのない）残差二乗和を最小化するわけではない。そのため、通常の \(R^2\) の式に当てはめた場合、必ず \(R_1^2\) (OLS) \(\ge R_2^2\) (GLS) という関係が成り立つ。
グラフからの判断
図1の散布図を見ると、データ点は回帰直線に非常に強く集中しており、相関が極めて高いことがわかる。この場合、決定係数は 0.9 を超える高い値になるのが自然である。
\(R_1^2 > R_2^2\) を満たすのは ② と ④。
図の適合具合から、より妥当な数値は ④ (\(R_1^2 = 0.955, R_2^2 = 0.705\)) である。
よくある質問
Q. GLSがBLUEなのに、通常のR²で比べるとOLSの方が高くなるのはなぜですか？
OLSは定義上「重みなし残差平方和」を最小化するため、通常のR²（重みなしSSEから計算）は常にOLSで最大になる。GLSが最小化しているのは「重み付き残差平方和」であり、重みなしのR²で測ればGLSはOLS以下になるのが必然。GLSの「BLUE」は重み付きの基準における最小分散性の話であり、通常のR²の大小関係とは評価軸が異なる点に注意。
Q. 決定係数の分子・分母（回帰平方和・全平方和）を覚え間違えないコツは？
全平方和（SST）は実測値と平均の差の二乗和で「データ全体のバラツキ」。回帰平方和（SSR）は予測値と平均の差の二乗和で「モデルが説明できた部分」。\(R^2 = \text{SSR}/\text{SST}\) なので「モデルが当てた部分 ÷ 全体のバラツキ」と覚えれば分子分母を取り違えない。
Q. 散布図だけでR²の具体的な数値をどう絞り込めばいいですか？
まず \(R_1^2 \ge R_2^2\) という理論上の大小関係で選択肢を絞り、その上で点が回帰直線にどれだけ密着しているかを目視する。今回のように相関が非常に強く見える場合は、残った選択肢のうちR²が0.9を超える方を選ぶ、というように「理論上の大小関係」と「フィット具合の目視」の二段階で消去法的に絞り込むのがコツ。
コメント