この問題のテーマ・前提知識
- テーマ: 指数分布の期待値・分散・最尤推定・デルタ法
- 前提知識: 期待値・分散・標準偏差の公式 / 確率分布まとめ / 部分積分
問題の概要
指数分布 \(\text{Exp}(\lambda)\) に従う i.i.d. サンプルに関する3小問。[1] \(E(X_i)=\lambda\)、\(V(X_i)=\lambda^2\) の導出、[2] 分散 \(\theta=\lambda^2\) の最尤推定量の導出、[3] デルタ法を使った \(\hat{\theta}\) の漸近分散の計算。
解説
解法の方針：[1] 部分積分で期待値と \(E(X^2)\) をそれぞれ求め、\(V(X)=E(X^2)-E(X)^2\) から分散を導く。[2] 対数尤度を \(\lambda\) で微分してゼロと置き \(\hat{\lambda}=\bar{X}\) を求め、最尤推定量の不変性により \(\hat{\theta}=\hat{\lambda}^2\) と変換する。[3] 中心極限定理で \(\sqrt{n}(\bar{X}-\lambda)\xrightarrow{d}N(0,\lambda^2)\) を確立し、\(g(\lambda)=\lambda^2\) の微分 \(g’=2\lambda\) をデルタ法の公式に代入する。
[1]
連続型確率変数の期待値の定義より、
\begin{eqnarray}
E(X_i) &=& \int_0^\infty x^2 \cdot \frac{1}{\lambda}e^{-x/\lambda} dx \\
&=& [-xe^{-x/\lambda}]_0^\infty + \int_0^\infty x \cdot e^{-x/\lambda} dx \\
&=& [-\lambda e^{-x/\lambda}]_0^\infty \\
&=& \lambda
\end{eqnarray}
であり、
\begin{eqnarray}
E(X_i^2) &=& \int_0^\infty x \cdot \frac{1}{\lambda}e^{-x/\lambda} dx \\
&=& [-x^2e^{-x/\lambda}]_0^\infty + \int_0^\infty 2x \cdot e^{-x/\lambda} dx \\
&=& [-\lambda e^{-x/\lambda}]_0^\infty \\
&=& 2\lambda^2
\end{eqnarray}
より、分散の性質から、
\[V(X_I)=E(X_i^2)-E(X_i)^2=\lambda^2\]
と求まる。
[2]
尤度関数 \(L(\lambda)\) は、
\[L(\lambda)=\prod_{i=1}^n\frac{1}{\lambda}e^{-x/\lambda}=\lambda^{-n}\exp\left(-\frac{1}{\lambda}\sum_{i=1}^nx_i\right)\]
であるから、対数尤度関数 \(l(\lambda)\) は、
\[l(\lambda)=\ln L(\lambda)=-n\ln\lambda-\frac{1}{\lambda}\sum_{i=1}^nx_i\]
となる。
これを微分して、0 となる方程式を解く。
\[\frac{dl}{d\lambda}=-\frac{n}{\lambda^2}\sum_{i=1}^nx_i=0\]
\[\hat{\lambda}=\frac{1}{n}\sum_{i=1}^nx_i\]
[1]より、\(\theta=\lambda^2\) なので、
\[\hat{\theta}=\left(\frac{1}{n}\sum_{i=1}^nx_i\right)^2\]
である。
[3]
ここではデルタ法（Delta Method）を用いる。デルタ法とは、ある推定量の関数が漸近的にどのような分散を持つかを導く手法である。
標本平均 \(\bar{X}\) について、中心極限定理より以下が成り立つ。
\[\sqrt{n}(\bar{X} – \lambda) \xrightarrow{d} N(0, V(X_i)) = N(0, \lambda^2)\]
\(\hat{\theta} = g(\bar{X})\)、\(\theta = g(\lambda)\) とすると、漸近分散は次のようになる。
\[\text{Asymptotic Variance} = [g'(\lambda)]^2 \cdot V(X_i)\]
\(g(\lambda) = \lambda^2\) なので、その微分は \(g'(\lambda) = 2\lambda\) である。
これを公式に代入すると、
\[[2\lambda]^2 \cdot \lambda^2 = 4\lambda^2 \cdot \lambda^2 = 4\lambda^4\]
従って、求める漸近分散は \(4\lambda^4\) である。
よくある質問
Q. デルタ法とは何ですか？
推定量 \(\bar{X}\) の関数 \(g(\bar{X})\) の漸近分散を求める手法。\(\sqrt{n}(\bar{X}-\mu)\xrightarrow{d}N(0,\sigma^2)\) が成り立つとき、\(\sqrt{n}(g(\bar{X})-g(\mu))\xrightarrow{d}N(0,[g'(\mu)]^2\sigma^2)\) となる。1階微分が0でない場合に有効。
Q. 最尤推定量の不変性とはどういう性質ですか？
\(\hat{\lambda}\) が \(\lambda\) の MLE なら、単調変換 \(g(\lambda)\) の MLE は \(g(\hat{\lambda})\) になる性質。本問では \(\lambda\) の MLE が \(\hat{\lambda}=\bar{X}\) なので、\(\theta=\lambda^2\) の MLE は \(\hat{\theta}=\bar{X}^2\) となる。
Q. 部分積分はどのように使いますか？
\(\int u\,dv = uv – \int v\,du\) の公式を使う。\(E(X)=\int_0^\infty x\cdot\frac{1}{\lambda}e^{-x/\lambda}dx\) の計算では \(u=x,\,dv=\frac{1}{\lambda}e^{-x/\lambda}dx\) と置くと境界項がゼロになり計算しやすい。
コメント