解説
[1]
[1-1]
最小二乗法では、残差平方和 \(Q(b) = (\boldsymbol{y} – b\boldsymbol{x})^T(\boldsymbol{y} – b\boldsymbol{x})\) を最小にする \(b\) を求める。
これを \(b\) で微分して 0 と置くと、以下の正規方程式が得られる。
\[-2\boldsymbol{x}^T(\boldsymbol{y} – b\boldsymbol{x}) = 0 \implies \boldsymbol{x}^T\boldsymbol{y} – b\boldsymbol{x}^T\boldsymbol{x} = 0\]
これより、推定量は \(\hat{b} = \frac{\boldsymbol{x}^T\boldsymbol{y}}{\boldsymbol{x}^T\boldsymbol{x}}\) となる。
与えられた数値を代入すると、
\[\hat{b} = \frac{69.88}{30.39} \approx 2.2994 \dots\]
となり、最も近い選択肢は ③ 2.3 である。
[1-2]
\(\sigma^2\) の不偏推定量は、残差平方和 (\(RSS\)) を自由度で割ることで求められる。
まず、残差平方和を計算する。
\[RSS = (\boldsymbol{y} – \hat{b}\boldsymbol{x})^T(\boldsymbol{y} – \hat{b}\boldsymbol{x}) = \boldsymbol{y}^T\boldsymbol{y} – \hat{b}(\boldsymbol{x}^T\boldsymbol{y})\]
数値を代入すると、
\[RSS = 171.04 – (2.2994 \times 69.88) = 171.04 – 160.68 \approx 10.36\]
今回のモデルでは推定されたパラメータは \(b\) の1つだけなので、自由度は \(n – 1 = 6 – 1 = 5\) である。
従って、不偏分散は、
\[\hat{\sigma}^2 = \frac{RSS}{5} = \frac{10.36}{5} \approx 2.072\]
と求まり、最も近い選択肢は ③ 2.1 である。
[2]
(A)
\(\hat{b} = \frac{\boldsymbol{x}^T\boldsymbol{Y}}{\boldsymbol{x}^T\boldsymbol{x}}\) の期待値をとると、\(E[\hat{b}] = \frac{\boldsymbol{x}^T(b\boldsymbol{x})}{\boldsymbol{x}^T\boldsymbol{x}} = b\) となり不偏性をもつ。
また、記述にある通り \(\boldsymbol{c}^T\boldsymbol{x}=1\) を満たす任意のベクトルを用いて \(\boldsymbol{c}^T\boldsymbol{Y}\) という形の不偏推定量は無限に作ることができる。
従って、(A)は正しい。
(B)
最小二乗推定量は「最良線形不偏推定量（BLUE）」であるが、これは「線形な不偏推定量の中で分散が最小」であることを意味する。
- もし誤差項が正規分布に従わない場合、非線形な不偏推定量を考えれば、最小二乗推定量よりも分散が小さいものが存在する可能性がある。
- 具体例：誤差項が \([-1, 1]\) の一様分布に従う場合、標本平均よりも「最小値と最大値の平均」の方が分散が小さくなることが Rao-Blackwell の定理から導かれる。
従って、(B)は誤り。
[3]
帰無仮説 \(H_0: b=0\) に対する検定を行う。
正規分布を仮定した線形回帰において、尤度比検定統計量は F検定統計量と一対一の対応がある。
原点を通る回帰モデルにおいて、\(b=0\) を検定する F統計量は以下の通りである。
\[F = \frac{\text{回帰による平方和} / 1}{\text{残差平方和} / (n-1)} = \frac{\hat{b}^2 (\boldsymbol{x}^T\boldsymbol{x})}{RSS / 5} = \frac{5 \boldsymbol{x}^T \boldsymbol{x} (\hat{b})^2}{(\boldsymbol{y} – \hat{b}\boldsymbol{x})^T(\boldsymbol{y} – \hat{b}\boldsymbol{x})}\]
これは空欄【ア】の式に合致する。
次に棄却域のしきい値【イ】を決定する。この統計量は、自由度 \((1, 5)\) の F分布に従う。
有意水準 5 %における F分布表の値を確認すると、
\[F_{0.05}(1, 5) = 6.61\]
従って、正しい組み合わせは ① である。
コメント