【統計検定準１級】2016年6月選択問題及び部分記述問題問14【解答例・解説】

【統計検定準１級】2016年6月選択問題及び部分記述問題問13【解答例・解説】

解説与えられている推定量 \(\hat{Y} = \sum_{h=1}^4 \frac{N_h}{n_h} \sum_{i=1}^{n_h} y_{hi}\) は、各層から単純無作為抽出を行って母集団総計 \(Y\) を推定するための、層化…

この問題のテーマ・前提知識

テーマ: 線形判別分析（LDA）・サポートベクターマシン（SVM）・交差検証法・ボロノイ図による判別領域
前提知識: LDAは線形の判別境界を引く手法 / カーネルSVMは非線形境界に対応 / 誤判別率の計算（混同行列の読み方）/ 交差検証法（k-分割交差検証）/ マハラノビス距離とユークリッド距離の関係 / ボロノイ図と垂直二等分線

問題の概要

2つの小問からなる。[1] 散布図・判別境界の形状から2つの判別手法（LDAとガウシアンカーネルSVM）を特定し、混同行列から各手法の誤判別率を計算する。また、交差検証法の概念を説明する。[2] 群内分散共分散行列を単位行列に標準化した状況で、3グループの判別領域の境界線を散布図上にどう描くか説明し、描図する。

解説

解法の方針：[1] 判別境界の「線形か非線形か」という視覚的特徴からLDAとSVMを見分け、混同行列の誤分類数から誤判別率を計算する。交差検証法は訓練データと検証データの分割によるモデル評価の枠組みを説明する。[2] 共分散行列が単位行列のときマハラノビス距離＝ユークリッド距離となることを利用し、重心間の垂直二等分線でボロノイ分割を描く。

[1]

(1)

手法(ア)がLDA（線形判別分析）であり、手法(イ)がSVM（サポート・ベクター・マシーン）である。

理由
LDA（Linear Discriminant Analysis）は、その名の通り「線形」の判別境界を引く手法である。図2の(ア)を見ると、群Aと判定された領域（黒）と群Bと判定された領域（白）の境界が、直線的になっていることが視覚的にわかる。一方、(イ)で使用されているのは「ガウシアンカーネル」を用いたSVMである。ガウシアンカーネルを用いると、データを高次元空間に写像することで非線形な境界を引くことができる。図2の(イ)を見ると、群B（白）の周りを群A（黒）が囲い込むような、複雑で曲線的な判別境界が形成されているため、こちらがSVMであると判断できる。
誤判別率の計算
表1の正誤表から、全体の観測値の数（170個）に対して、誤って分類されたデータの数を計算する。誤判別率は (誤って分類された数) / (全体の数) で求められる。
- 手法(ア)の誤判別率：真の群がAで判別がB（20個）＋真の群がBで判別がA（0個）＝ 20個。よって誤判別率は \(\frac{20}{170} = \frac{2}{17}\)である。
- 手法(イ)の誤判別率：真の群がAで判別がB（4個）＋真の群がBで判別がA（5個）＝ 9個。よって誤判別率は \(\frac{9}{170}\)である。

(2)

交差検証法とは、手元にあるデータセットを「モデルを学習するための訓練データ」と「モデルの性能をテストするための検証データ」に分割し、モデルの評価を行う手法である。

[2]

前提条件の確認

問題文の仮定から、「事前確率は等しい」「誤判別の損失は等しい」とある。また、重要な点として「群内分散共分散行列が単位行列 \(I\) になるように標準化」されている。

距離に基づく判別

共分散行列が単位行列である（分散が全方向に等しく、変数間に相関がない）空間においては、マハラノビス距離は通常の「ユークリッド距離（定規で測る直線距離）」と一致する。したがって、ある新しい点がどのワインに属するかは、単純に「3つの重心（●）のうち、どれに一番近いか」で判別すればよい（最短距離分類）。

具体的な描き方（解答に記述すべき内容）

2つの点から等しい距離にある点の集合は「垂直二等分線」になる。よって、以下の手順で描図する。

散布図上にある3つのグループの重心（●）をそれぞれ直線で結び、三角形を作る。
その三角形の各辺（3つの線分）に対して、それぞれ垂直二等分線を引く。
これら3本の垂直二等分線は1点（三角形の外心）で交わる。
この交わる垂直二等分線によって、平面が3つの領域に分割される。この分割された各領域が、それぞれ最も近い重心が属するグループの「判別領域」となる（この分割図形をボロノイ図と呼ぶ）。

よくある質問

Q. LDAとSVMの判別境界はどう見分けるのですか？

LDAは「線形（直線・平面）」の境界しか引けない。SVMはカーネル関数を使うことで曲線的な非線形境界を引ける。散布図の判別領域が直線的ならLDA、複雑な曲線を描いていればカーネルSVMと判断できる。本問ではガウシアンカーネルSVMが使われており、片方のクラスを囲むような境界が特徴的である。

Q. 交差検証法はなぜ必要ですか？

同じデータで学習と評価を行うと「訓練データへの過適合（過学習）」を見逃してしまう。交差検証法ではデータをk分割し、1つを検証用・残りを訓練用として評価を繰り返すことで、未知データへの汎化性能をより正確に推定できる。本問では交差検証で推定された誤判別率を比較することで、どちらの手法が実用上優れているかを判断する。

Q. ボロノイ図の境界がなぜ垂直二等分線になるのですか？

共分散行列が単位行列に標準化されているとき、マハラノビス距離はユークリッド距離に一致する。「どの重心に最も近いか」という判別ルールは、隣接する2重心から等距離にある点の集合——すなわち垂直二等分線——が境界となる。3つの重心があれば3本の垂直二等分線が1点（外心）で交わり、平面を3領域に分割するボロノイ図が形成される。