離散型確率分布
二項分布 \(B(n,p)\)
二項分布とは、「独立なベルヌーイ試行を \(n\) 回行ったときの成功回数の分布」である。
\[P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}, \quad k=0,1,\cdots ,n \]
◼︎期待値
\begin{eqnarray}
E[X] &=& \sum_{k=0}^nkP(X=k) \\
&=& \sum_{k=0}^nk\binom{n}{k}p^k(1-p)^{n-k} \\
&=& \sum_{k=0}^nk\frac{n!}{k!(n-k)!}p^k(1-p)^{n-k} \\
&=& np\sum_{k=1}^n\frac{(n-1)!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k} \\
&=& np\sum_{k=0}^{n-1}\frac{(n-1)!}{(k)!(n-1-k)!}p^{k}(1-p)^{n-1-k} \\
&=& np(p+1-p)^{n-1} \quad\because 二項定理\\
&=& np
\end{eqnarray}
\[E[X]=np\]
◼︎分散
\begin{eqnarray}
E[X^2] &=& \sum_{k=0}^nk^2P(X=k) \\
&=& \sum_{k=1}^nk(k-1)\binom{n}{k}p^k(1-p)^{n-k}+\sum_{k=1}^nk\binom{n}{k}p^k(1-p)^{n-k} \\
&=& n(n-1)\sum_{k=2}^n\binom{n-2}{k-2}p^k(1-p)^{n-k}+E[X] \\
&=& n(n-1)p^2\sum_{k=2}^{n}\binom{n-2}{k-2}p^{k-2}(1-p)^{n-k}+np \\
&=& n(n-1)p^2\sum_{k=0}^{n-2}\binom{n-2}{k}p^{k}(1-p)^{n-k-2}+np \\
&=& n(n-1)p^2(p+1-p)^{n-2}+np \quad\because 二項定理 \\
&=& n(n-1)p^2+np
\end{eqnarray}
従って、\(V[X]=E[X^2]-E[X]^2=n(n-1)p^2+np-n^2p^2=np-np^2=np(1-p)\)
\[V[X]=np(1-p)\]
◼︎モーメント母関数
\begin{eqnarray}
M_X(t) &=& E[e^{tX}] \\
&=& \sum_{k=0}^ne^{tk}P(X=k) \\
&=& \sum_{k=0}^ne^{tk}\binom{n}{k}p^k(1-p)^{n-k} \\
&=& \sum_{k=0}^n\binom{n}{k}(pe^{t})^k(1-p)^{n-k} \\
&=& (pe^t+1-p)^n \quad\because 二項定理 \\
\end{eqnarray}
\[M_X(t)=(pe^t+1-p)^n\]
◼︎覚えておきたい性質
- \(n=1\) のときベルヌーイ分布と一致
- ベルヌーイ分布の和として表せる
- 二項分布は条件によって より扱いやすい分布で近似 できる。
ポアソン近似
試行回数\(n\)が非常に大きく、成功確率\(p\)が非常に小さい場合に、二項分布\(B(n,p)\)はポアソン分布\(Po(np)\)に近似できる。
\[P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}\]
\(p=\lambda /n\) とおくと、
\[\binom{n}{k}(\frac{\lambda}{n})^k(1-\frac{\lambda}{n})^{n-k}\]
\(n\to\infty\)とすると、
\[\frac{\lambda^k}{k!}e^{-\lambda}\]
となる。
正規近似
試行回数\(n\)が非常に大きい場合、平均 \(np\)、分散 \(np(1-p)\) の正規分布に近似できる。
ポアソン分布 \(Po(\lambda)\)
ポアソン分布とは、「一定の時間内や一定の領域内で、めったに起こらない事象が発生する回数の分布」である。
\[P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k=0, 1, 2, \cdots\]
（※\(\lambda\) は一定期間における平均発生回数）
◼︎期待値
\begin{eqnarray}
E[X] &=& \sum_{k=0}^\infty k P(X=k) \\
&=& \sum_{k=1}^\infty k \frac{\lambda^k e^{-\lambda}}{k!} \\
&=& e^{-\lambda} \sum_{k=1}^\infty \frac{\lambda^k}{(k-1)!} \\
&=& \lambda e^{-\lambda} \sum_{k=1}^\infty \frac{\lambda^{k-1}}{(k-1)!} \\
\end{eqnarray}
ここで、\(j = k-1\) とおくと、指数関数のマクローリン展開 \(\sum_{j=0}^\infty \frac{\lambda^j}{j!} = e^\lambda\) より、
\begin{eqnarray}
E[X] &=& \lambda e^{-\lambda} \cdot e^\lambda \\
&=& \lambda
\end{eqnarray}
\[E[X] = \lambda\]
◼︎分散
まず \(E[X(X-1)]\) を求める。
\begin{eqnarray}
E[X(X-1)] &=& \sum_{k=0}^\infty k(k-1) \frac{\lambda^k e^{-\lambda}}{k!} \\
&=& \sum_{k=2}^\infty \frac{\lambda^k e^{-\lambda}}{(k-2)!} \\
&=& \lambda^2 e^{-\lambda} \sum_{k=2}^\infty \frac{\lambda^{k-2}}{(k-2)!} \\
&=& \lambda^2 e^{-\lambda} \cdot e^\lambda = \lambda^2
\end{eqnarray}
\(V[X] = E[X^2] – (E[X])^2 = E[X(X-1)] + E[X] – (E[X])^2\) より、
\begin{eqnarray}
V[X] &=& \lambda^2 + \lambda – \lambda^2 \\
&=& \lambda
\end{eqnarray}
\[V[X] = \lambda\]
◼︎モーメント母関数
\begin{eqnarray}
M_X(t) &=& E[e^{tX}] \\
&=& \sum_{k=0}^\infty e^{tk} \frac{\lambda^k e^{-\lambda}}{k!} \\
&=& e^{-\lambda} \sum_{k=0}^\infty \frac{(\lambda e^t)^k}{k!} \\
&=& e^{-\lambda} \cdot e^{\lambda e^t} \quad \because e^x \text{の展開} \\
&=& e^{\lambda(e^t – 1)}
\end{eqnarray}
\[M_X(t) = \exp(\lambda(e^t – 1))\]
◼︎覚えておきたい性質
- 期待値と分散が等しい
- 再生性：独立なポアソン分布の和もまた、ポアソン分布に従う。
（\(X \sim Po(\lambda_1), Y \sim Po(\lambda_2)\) ならば \(X+Y \sim Po(\lambda_1 + \lambda_2)\)） - 二項分布 \(B(n, p)\) において、\(n\) が大きく \(p\) が小さいとき、\(\lambda = np\) としたポアソン分布に近似できる（ポアソン近似）。
連続型確率分布
正規分布 \(N(\mu, \sigma^2)\)
正規分布とは、「平均値を中心としてデータが左右対称・釣鐘型の分布」である。
\[f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})\]
◼︎期待値
\begin{eqnarray}
E[X] &=& \int_{-\infty}^\infty xf(x)dx \\
&=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^\infty x\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^\infty (x-\mu+\mu)\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^\infty (x-\mu)\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx+\frac{\mu}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^\infty\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^\infty (x-\mu)\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx+\mu
\end{eqnarray}
第１項について、\(y=\frac{x-\mu}{\sigma}\) で置換すると、
\begin{eqnarray}
E[X] &=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^\infty\sigma y\exp(-y^2/2)\sigma dy+\mu \\
&=& \frac{\sigma}{\sqrt{2\pi}}\int_{-\infty}^\infty y\exp(-y^2/2)dy+\mu \\
&=& \mu
\end{eqnarray}
従って、
\[E[X]=\mu\]
\[E[X]=\mu\]
◼︎分散
\begin{eqnarray}
E[X^2] &=& \int_{-\infty}^\infty x^2f(x)dx \\
&=& \int_{-\infty}^\infty x^2\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \int_{-\infty}^\infty \{(x-\mu)^2+2\mu x-\mu^2\}\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \int_{-\infty}^\infty (x-\mu)^2\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx+2\mu\int_{-\infty}^\infty x\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx-\mu^2\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \int_{-\infty}^\infty (x-\mu)^2\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx+2\mu^2-\mu^2 \\
&=& \int_{-\infty}^\infty (x-\mu)^2\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx+\mu^2
\end{eqnarray}
第１項について、\(y=\frac{x-\mu}{\sigma}\) で置換すると、
\begin{eqnarray}
E[X^2] &=& \int_{-\infty}^\infty\sigma^2 y^2\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-y^2/2)\sigma dy+\mu^2 \\
&=& \frac{\sigma^2}{\sqrt{2\pi}}\int_{-\infty}^\infty y^2\exp(-y^2/2)dy+\mu^2 \\
&=& \sigma^2+\mu^2
\end{eqnarray}
\(V[X]=E[X^2]-(E[X])^2\) （参考）より、
\[V[X]=\sigma^2+\mu^2-\mu^2=\sigma^2\]
\[V[X]=\sigma^2\]
◼︎モーメント母関数
\begin{eqnarray}
M_X(t) &=& E[e^{tX}] \\
&=& \int_{-\infty}^\infty e^{tx}f(x)dx \\
&=& \int_{-\infty}^\infty e^{tx}\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})dx \\
&=& \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2}+tx)dx \\
&=& e^{\mu t+\frac{\sigma^2t^2}{2}}\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{\{x-(\mu+\sigma^2t)\}^2}{2\sigma^2})dx \\
&=& e^{\mu t+\frac{\sigma^2t^2}{2}}
\end{eqnarray}
\[M_X(t)=\exp(\mu t+\frac{\sigma^2t^2}{2})\]
◼︎覚えておきたい性質
- \(\mu=0,\ \sigma=1\) のときを特に標準正規分布という
ベータ分布 \(Beta(\alpha, \beta)\)
ベータ分布とは、「0から1の範囲の値をとる連続型確率分布」です。
主に、二項分布の成功確率 \(p\) の推定（ベイズ統計における共役事前分布）などに用いられます。
\[f(x)=\frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}, \quad 0\leq x\leq 1\]
※ここで、\(B(\alpha, \beta)\) はベータ関数で、\(B(\alpha, \beta)=\int_0^1x^{\alpha-1}(1-x)^{\beta-1}dx\)
◼︎期待値
ベータ関数の性質
\[B(\alpha, \beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\]
と、ガンマ関数の漸化式
\[\Gamma(x+1)=x\Gamma(x)\]
を用いると、
\begin{eqnarray}
E[X] &=& \int_0^1 x f(x) dx \\
&=& \frac{1}{B(\alpha, \beta)} \int_0^1 x \cdot x^{\alpha-1} (1-x)^{\beta-1} dx \\
&=& \frac{1}{B(\alpha, \beta)} \int_0^1 x^{(\alpha+1)-1} (1-x)^{\beta-1} dx \\
&=& \frac{B(\alpha+1, \beta)}{B(\alpha, \beta)} \\
&=& \frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta+1)} \cdot \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \\
&=& \frac{\alpha \Gamma(\alpha) \Gamma(\alpha+\beta)}{(\alpha+\beta) \Gamma(\alpha+\beta) \Gamma(\alpha)} \\
&=& \frac{\alpha}{\alpha+\beta}
\end{eqnarray}
\[E[X]=\frac{\alpha}{\alpha+\beta}\]
◼︎分散
\begin{eqnarray}
E[X^2] &=& \int_0^1 x^2 f(x) dx \\
&=& \frac{B(\alpha+2, \beta)}{B(\alpha, \beta)} \\
&=& \frac{(\alpha+1)\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta+1)(\alpha+\beta)\Gamma(\alpha+\beta)} \cdot \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \\
&=& \frac{(\alpha+1)\alpha}{(\alpha+\beta+1)(\alpha+\beta)}
\end{eqnarray}
\(V[X]=E[X^2]-(E[X])^2\) （参考）より、
\begin{eqnarray}
V[X]&=&\frac{(\alpha+1)\alpha}{(\alpha+\beta+1)(\alpha+\beta)} – (\frac{\alpha}{\alpha+\beta})^2 \\
&=& \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}
\end{eqnarray}
\[V[X]=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\]
◼︎覚えておきたい性質
- 二項分布のパラメータ\(p\)に対する共役事前分布であり、事後分布もベータ分布になる
- \(\alpha=1, \beta=1\) のとき、一様分布と一致する
コメント