オートエンコーダとVAE｜生成AIの入口 | ざわっとデータサイエンスブログ

ここからは画像を「見分ける」側から「作る」側に移ります。その入口にあたるのが、入力をいったん圧縮してから元に戻すオートエンコーダです。

こんにちは、zawato（@zawato7）です！

本記事はディープラーニング入門ロードマップの第25回です。ここから生成AIのパートに入り、モデルがデータそのものを作り出す話へ移ります。

この記事でわかること

オートエンコーダは入力と同じものを出力させて学習する

オートエンコーダ（AutoEncoder）は、入力データをいったん小さく圧縮し、そこから元のデータを復元するように学習させるニューラルネットワークです。入力自身が正解になる、少し変わった形です。真ん中が細くくびれた砂時計のような構造をイメージしてください。

細い部分を通す以上、情報を素通しさせることはできません。だからネットワークは「復元に本当に必要な特徴は何か」を自分で見つけることになります。人が正解ラベルを用意しないので、教師なし学習に分類されます。

復元そのものより、途中でできる圧縮表現と「うまく復元できるかどうか」のほうが実用的です。G検定では次の3つの用途が問われます。

用途	仕組み
次元圧縮	エンコーダの出力だけ取り出せば、少ない次元の特徴量として使える
異常検知	学習した種類のデータはきれいに戻るが、見たことのないデータは戻らない性質を利用する
事前学習	層ごとに学習した重みを、深いネットワークの初期値として流用する

正常な製品画像だけで学習させておけば、正常品は元通りに戻る一方、傷のある製品は復元が崩れます。この復元誤差の大きさを、そのまま異常の度合いとして使えます。

事前学習は歴史的な用途です。層を深くすると学習が進まなかった時代、重みの初期値の決め方が課題でした。そこで1層ずつオートエンコーダとして学習させ、得られた重みを初期値に使いました。今は活性化関数や初期値の工夫が整い、この手順はあまり踏まれません。

VAE（変分オートエンコーダ／Variational AutoEncoder）は、真ん中の潜在変数を1つの点ではなく、平均と分散を持つ確率分布として表すオートエンコーダです。この違いが、圧縮の道具を生成の道具に変えます。

普通のオートエンコーダでは、1枚の画像が圧縮空間の1つの点に対応します。点と点のあいだを指定しても、意味のあるデータが出てくる保証はありません。

VAEは1枚の画像を「このあたり」という広がりのある分布として学習し、そこから値を1つ引いてデコーダに渡します。少しずれた値でも同じ画像に戻るよう鍛えられるため、圧縮空間が隙間なく埋まり、値を少しずつ動かせば出力も少しずつ変わるなめらかな生成ができます。

KLダイバージェンス（カルバック・ライブラー情報量）は2つの確率分布のずれを測る指標で、VAEの損失関数に使われます。VAEの損失は「どれだけ正確に復元できたか」と「潜在変数の分布が想定した分布からどれだけずれているか」を足し合わせた形で、後半をKLダイバージェンスが担当します。

試験で狙われるのが非対称性です。2つの分布を入れ替えると値が変わるため、厳密には距離ではありません。

VAEには発展形がいくつかあり、名前と特徴のセットで問われます。

β-VAEの「正則化」は、過学習対策で出てきた正則化と同じ発想で、損失に加える項の重みを調整してモデルの振る舞いを制御します。