この問題のテーマ・前提知識
- テーマ: 原点通過の線形回帰・最小二乗法（OLS）・ガウス−マルコフ定理・F検定
- 前提知識: 行列の微分による残差平方和の最小化 / F分布と自由度 / BLUE（最良線形不偏推定量）の定義
問題の概要
原点を通る線形モデル \(y_i = bx_i + \epsilon_i\) に関する3小問。[1] 最小二乗推定量 \(\hat{b}\) と \(\sigma^2\) の不偏推定量を数値で計算する。[2] \(\hat{b}\) の不偏性とBLUE性（ガウス−マルコフ定理）の正誤を判断する。[3] 帰無仮説 \(b=0\) に対する尤度比検定統計量（F統計量）の表現と自由度 \((1, 5)\) の棄却域を求める。
解説
解法の方針：[1] 残差平方和 \(Q(b)=(\boldsymbol{y}-b\boldsymbol{x})^T(\boldsymbol{y}-b\boldsymbol{x})\) を \(b\) で微分してゼロと置き \(\hat{b}=\boldsymbol{x}^T\boldsymbol{y}/\boldsymbol{x}^T\boldsymbol{x}\) を求め、RSS を自由度 \(n-1\) で割り \(\sigma^2\) を推定する。[2] 線形不偏推定量の最小分散性（ガウス−マルコフ定理）を確認する。[3] 誤差正規性を仮定した尤度比検定が F 統計量と一対一対応することを利用し、自由度 \((1, 5)\) の F分布から棄却域を定める。
[1]
[1-1]
最小二乗法では、残差平方和 \(Q(b) = (\boldsymbol{y} – b\boldsymbol{x})^T(\boldsymbol{y} – b\boldsymbol{x})\) を最小にする \(b\) を求める。
これを \(b\) で微分して 0 と置くと、以下の正規方程式が得られる。
\[-2\boldsymbol{x}^T(\boldsymbol{y} – b\boldsymbol{x}) = 0 \implies \boldsymbol{x}^T\boldsymbol{y} – b\boldsymbol{x}^T\boldsymbol{x} = 0\]
これより、推定量は \(\hat{b} = \frac{\boldsymbol{x}^T\boldsymbol{y}}{\boldsymbol{x}^T\boldsymbol{x}}\) となる。
与えられた数値を代入すると、
\[\hat{b} = \frac{69.88}{30.39} \approx 2.2994 \dots\]
となり、最も近い選択肢は ③ 2.3 である。
[1-2]
\(\sigma^2\) の不偏推定量は、残差平方和 (\(RSS\)) を自由度で割ることで求められる。
まず、残差平方和を計算する。
\[RSS = (\boldsymbol{y} – \hat{b}\boldsymbol{x})^T(\boldsymbol{y} – \hat{b}\boldsymbol{x}) = \boldsymbol{y}^T\boldsymbol{y} – \hat{b}(\boldsymbol{x}^T\boldsymbol{y})\]
数値を代入すると、
\[RSS = 171.04 – (2.2994 \times 69.88) = 171.04 – 160.68 \approx 10.36\]
今回のモデルでは推定されたパラメータは \(b\) の1つだけなので、自由度は \(n – 1 = 6 – 1 = 5\) である。
従って、不偏分散は、
\[\hat{\sigma}^2 = \frac{RSS}{5} = \frac{10.36}{5} \approx 2.072\]
と求まり、最も近い選択肢は ③ 2.1 である。
[2]
(A)
\(\hat{b} = \frac{\boldsymbol{x}^T\boldsymbol{Y}}{\boldsymbol{x}^T\boldsymbol{x}}\) の期待値をとると、\(E[\hat{b}] = \frac{\boldsymbol{x}^T(b\boldsymbol{x})}{\boldsymbol{x}^T\boldsymbol{x}} = b\) となり不偏性をもつ。
また、記述にある通り \(\boldsymbol{c}^T\boldsymbol{x}=1\) を満たす任意のベクトルを用いて \(\boldsymbol{c}^T\boldsymbol{Y}\) という形の不偏推定量は無限に作ることができる。
従って、(A)は正しい。
(B)
最小二乗推定量は「最良線形不偏推定量（BLUE）」であるが、これは「線形な不偏推定量の中で分散が最小」であることを意味する。
- もし誤差項が正規分布に従わない場合、非線形な不偏推定量を考えれば、最小二乗推定量よりも分散が小さいものが存在する可能性がある。
- 具体例：誤差項が \([-1, 1]\) の一様分布に従う場合、標本平均よりも「最小値と最大値の平均」の方が分散が小さくなることが Rao-Blackwell の定理から導かれる。
従って、(B)は誤り。
[3]
帰無仮説 \(H_0: b=0\) に対する検定を行う。
正規分布を仮定した線形回帰において、尤度比検定統計量は F検定統計量と一対一の対応がある。
原点を通る回帰モデルにおいて、\(b=0\) を検定する F統計量は以下の通りである。
\[F = \frac{\text{回帰による平方和} / 1}{\text{残差平方和} / (n-1)} = \frac{\hat{b}^2 (\boldsymbol{x}^T\boldsymbol{x})}{RSS / 5} = \frac{5 \boldsymbol{x}^T \boldsymbol{x} (\hat{b})^2}{(\boldsymbol{y} – \hat{b}\boldsymbol{x})^T(\boldsymbol{y} – \hat{b}\boldsymbol{x})}\]
これは空欄【ア】の式に合致する。
次に棄却域のしきい値【イ】を決定する。この統計量は、自由度 \((1, 5)\) の F分布に従う。
有意水準 5 %における F分布表の値を確認すると、
\[F_{0.05}(1, 5) = 6.61\]
従って、正しい組み合わせは ① である。
よくある質問
Q. 切片なし回帰では残差の和はゼロになりますか？
切片あり回帰では残差の和が必ずゼロになるが、切片なし（原点通過）回帰ではその保証がない。そのため決定係数 \(R^2\) の値が負になることもあり、解釈に注意が必要。
Q. F検定と t検定はどう使い分けますか？
単回帰（説明変数1個）では両検定の結果が一致する。複数の係数を同時に検定したい場合はF検定、個別の係数の有意性を見る場合は t検定を使う。
Q. ガウス−マルコフ定理のBLUEとはどういう意味ですか？
Best Linear Unbiased Estimator（最良線形不偏推定量）の略。誤差が無相関・等分散の仮定のもとでOLSが線形不偏推定量の中で最小分散を持つことを保証する定理。
コメント