統計学の入門で最初に登場するのが、期待値・分散・標準偏差・共分散・相関係数などの指標です。
これらはデータの特徴や変数間の関係をとらえる上で不可欠ですが、似た言葉が多く混乱しやすい分野でもあります。
この記事では、それぞれの意味と公式をシンプルにまとめます。
【事前準備】記号の説明
| 記号 | 説明 |
|---|---|
| \(X, Y\) | 確率変数（ランダムに値をとる） |
| \(x_i, y_i\) | 確率変数の取り得る値（観測値） |
| \(p_i\) | 値 \(x_i\) が起こる確率 |
| \(a, b, c\) | 定数 |
「共分散の記号は何？」など、統計量ごとの記号表記自体で迷うことも多いため、対応関係を一覧にまとめます。
| 統計量 | 記号 |
|---|---|
| 期待値 | \(E[X]\)（または \(\mu\)） |
| 分散 | \(V[X]\)（または \(\sigma^2\)） |
| 標準偏差 | \(SD[X]\)（または \(\sigma\)） |
| 共分散 | \(Cov[X, Y]\)（または \(\sigma_{XY}\)） |
| 相関係数 | \(\rho\) |
期待値 \(E[X]\)
◼︎概要
確率変数が取りうる値の「平均」に相当する量。
◼︎定義
離散型（例：サイコロ）の場合、
\[E[X]=\sum_ix_ip_i\]
連続型の場合、
\[E[X]=\int_{-\infty}^\infty xf(x)dx\]
\[E[aX+bY+c]=aE[X]+bE[Y]+c\]
2つの確率変数 \(X, Y\) が独立な場合、
\[E[XY]=E[X]E[Y]\]
分散 \(V[X]\)
◼︎概要
データが期待値からどれくらい散らばっているかを表す量。
◼︎定義
\[V[X]=E[(X-E[X])^2]=E[X^2]-(E[X])^2\]
\[V[X+Y]=V[X]+V[Y]+2Cov[X, Y]\]
\[V[X-Y]=V[X]+V[Y]-2Cov[X, Y]\]
標準偏差 \(SD[X]\)
◼︎概要
分散の平方根。元の単位に戻るため解釈しやすくなる。
◼︎定義
\[SD[X]=\sqrt{V[X]}\]
\[SD[X-Y]=\sqrt{V[X]+V[Y]-2Cov[X, Y]}\]
共分散 \(Cov[X, Y]\)
◼︎概要
2つの確率変数 \(X, Y\) がどのように一緒に変動するかを示す量。
正の場合：一方が大きいときもう一方も大きく、小さいときは小さくなる傾向。
負の場合：一方が大きいときもう一方が小さくなる傾向。
◼︎定義
\begin{eqnarray}
Cov[X, Y]&=&E[(X-E[X])(Y-E[Y])] \\
&=&E[XY]-E[X]E[Y]
\end{eqnarray}
相関係数 \(\rho\)
◼︎概要
共分散を標準化した指標で、値は常に \(-1\leq\rho\leq1\) 。
◼︎定義
\[\rho=\frac{Cov[X, Y]}{SD[X]SD[Y]}\]
よくある質問
Q. 共分散の記号は何ですか？
共分散は \(Cov[X, Y]\) と表記するのが一般的です。\(\sigma_{XY}\) と書かれることもあります。
Q. 期待値と分散の公式は？
期待値は離散型の場合 \(E[X]=\sum_ix_ip_i\)、分散は \(V[X]=E[X^2]-(E[X])^2\) で定義されます。それぞれの詳しい定義・公式は本記事の「期待値」「分散」の各セクションを参照してください。
Q. 相関係数と共分散の違いは？
共分散 \(Cov[X, Y]\) は2変数の関係の大きさと向きを表しますが、変数の単位に依存するため値の大小だけでは関係の強さを比較できません。相関係数 \(\rho=\frac{Cov[X, Y]}{SD[X]SD[Y]}\) は共分散を両変数の標準偏差で割って標準化した指標で、常に \(-1\leq\rho\leq1\) の範囲に収まるため、関係の強さを比較しやすくなります。
Q. 標準偏差の記号は何ですか？
標準偏差は \(SD[X]\) や \(\sigma\)（シグマ）と表記されます。分散 \(V[X]\)（\(\sigma^2\)）の平方根にあたります。
Q. 共分散はどうやって求めますか？
定義式 \(Cov[X, Y]=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]\) を使って計算します。実務データでは、各観測値と平均との偏差の積を全データで平均することで求められます。
コメント