GANの仕組み｜偽物を作るAIと見破るAI

実在しない人物の顔写真が本物にしか見えない。そんな画像を作れるようにしたのがGANです。偽物を作るAIと見破るAIを競わせる、という発想でできています。

こんにちは、zawato（@zawato7）です！

本記事はディープラーニング入門ロードマップの第26回です。データを圧縮して復元する生成モデルとは対照的に、GANは2つのネットワークを戦わせて本物らしさを獲得します。

GANは2つのネットワークを競わせて学習する

GAN（敵対的生成ネットワーク）は、画像を作る側と、それが本物か偽物かを見破る側を対立させながら同時に学習させるモデルです。贋作を作る職人と、それを鑑定する鑑定士が互いに腕を上げていく光景をイメージしてください。

鑑定士が厳しくなるほど職人は精巧な贋作を作らざるを得ず、職人が上達するほど鑑定士も目を養います。この競争の果てに本物と区別のつかない画像が生まれる。これが敵対的学習です。

画像を平均したような合成では輪郭がぼやけがちですが、GANは「見抜かれないこと」を目標にするため、くっきりした画像が出てきます。

ジェネレータとディスクリミネータの役割

ジェネレータはランダムな数値から画像を作る側、ディスクリミネータはそれが本物か偽物かを判定する側です。目標が正反対で、片方が得をすればもう片方が損をする関係になっています。

ジェネレータの入力は100次元程度の乱数で、これを拡大しながら画像の形にしていきます。乱数を変えれば別の画像が出るため、学習済みのジェネレータは新しい画像を無限に生み出せます。

この2つにCNN（畳み込みニューラルネットワーク）を使って性能を高めたものがDCGANです。

Pix2PixとCycleGAN｜スタイル変換の2大手法

どちらも画像の作風や種類を別のものへ変える「ドメイン変換」を行うGANで、違いは学習にペア画像が必要かどうかです。この一点がG検定でそのまま問われます。

ペアを揃えるのは現実には大変で、「この写真をモネが描いたら」の正解画像は存在しません。CycleGANなら写真とモネの絵を別々に学習させるだけで、写真をモネ風や浮世絵風に変えるスタイル変換ができます。

ディープフェイクという副作用

本物と区別できない画像や動画を作る技術は、そのまま偽情報の道具にもなります。実在の人物の顔を別人の映像に貼り替えるディープフェイクがその代表です。

技術そのものに善悪はなく、映像制作などの有用な使い道もあります。ただし本人の同意なく使えば肖像権の侵害になり、詐欺への悪用も現実に起きています。AIの発展の歴史のなかでも、社会的な影響が強く意識されるようになった技術です。

まとめ

• GANはジェネレータとディスクリミネータを競わせる敵対的学習で画像を生成する。CNNを組み込んだ基本形がDCGAN
• ドメイン変換の代表はPix2PixとCycleGAN。ペア画像が必要なのがPix2Pix、不要なのがCycleGAN
• CycleGANは写真をモネ風にするスタイル変換が得意。一方で高精度な生成はディープフェイクの悪用リスクも生んだ

よくある質問

Q. GANの「敵対的」とは何と何が敵対しているのですか？
A. 画像を作るジェネレータと、それを判定するディスクリミネータです。一方が勝てば他方が負ける関係で学習するため、敵対的と呼ばれます。

Q. Pix2PixとCycleGANはどちらを使えばよいですか？
A. 変換前後が対応したペア画像を用意できるならPix2Pix、できないならCycleGANです。判断基準はペアデータの有無です。

Q. 学習が終わったあと、ディスクリミネータはどうなるのですか？
A. 生成に使うのはジェネレータだけなので役目を終えます。捨てずに異常検知へ転用する応用もあります。

Q. GANの学習は難しいと聞きますが、なぜですか？
A. 2つのネットワークの強さが釣り合わないと崩れるためです。似た画像ばかり作るモード崩壊も起こりやすく、安定させる工夫が数多く提案されています。