2016年、囲碁のトップ棋士がAIに敗れました。手が広すぎて当分は人間が優位と言われていた領域をひっくり返したのが、強化学習とディープラーニングを組み合わせた深層強化学習です。
こんにちは、zawato（@zawato7）です！
本記事はディープラーニング入門ロードマップの第30回です。強化学習にニューラルネットワークが乗るとどうなるかを見ていきます。
- 深層強化学習がディープラーニングをどこに使うのか
- DQNの経験再生とターゲットネットワークの役割
- AlphaGo・AlphaZeroの違いと産業応用の課題
深層強化学習は価値関数をニューラルネットワークで近似する
深層強化学習とは、強化学習の価値関数をディープラーニングで近似する手法の総称です。従来のQ学習は状態と行動の組ごとにQ値を表へ書き込みます。迷路なら数十マスで足りますが、ゲーム画面をそのまま状態にすると組み合わせが膨大で表に収まりません。
そこで表の代わりにニューラルネットワークを置き、状態を入力すると各行動のQ値が出る形にします。見たことのない盤面でも近い状態から値を推定でき、扱える問題が一気に広がりました。
DQN｜経験再生とターゲットネットワークで学習を安定させる
DQN（Deep Q-Network）は、Q学習の価値関数をCNNで近似した深層強化学習の代表格です。ゲーム画面の画像をそのまま入力にできるのは、内部でCNNが特徴を抽出しているからです。
ただ素直につなぐと学習が発散します。それを抑える2つの工夫が頻出です。
| 工夫 | やること | 狙い |
|---|---|---|
| 経験再生（Experience Replay） | 経験を貯めておき、ランダムに取り出して学習 | 連続した経験の偏りを崩す |
| ターゲットネットワーク | 目標値の計算用に少し前のネットワークを固定して使う | 目標がぶれて学習が振動するのを防ぐ |
改良版も多く、Double DQNなど7つの改良を組み合わせたものがRainbowです。ゲーム分野ではAgent57が人間のスコアを上回りました。
AlphaGoからAlphaZeroへ｜探索と自己対戦
AlphaGoは、ディープラーニングとモンテカルロ木探索を組み合わせて2016年にプロ棋士を破った囲碁AIです。開発元はDeepMind社。囲碁は先を全部は読めないため、有望でない枝の探索を省略します。この「経験的な知識でコストの重い探索を切る」考え方をヒューリスティックと呼びます。
モンテカルロ木探索は、途中からランダムに対局を進めて勝率を測り、有望な手に探索を集中させる方法です。AlphaGoはこの勝率評価をネットワークに担わせました。
| モデル | 学習データ | 対応ゲーム |
|---|---|---|
| AlphaGo | 人間の棋譜＋自己対戦 | 囲碁 |
| AlphaGo Zero | 自己対戦のみ | 囲碁 |
| AlphaZero | 自己対戦のみ | 囲碁・将棋・チェス |
棋譜を一切使わないAlphaGo Zeroが、棋譜で学んだAlphaGoを上回った点が象徴的でした。
ゲームAIから産業応用へ｜ロボット制御の壁
ゲームで人間を超えた深層強化学習も、現実に持ち出すと別の難しさがあります。ゲーム側では複数エージェントの関係を学ぶマルチエージェント学習が進み、Dota2のOpenAI Five、スタークラフト2のAlphaStarがトップを破りました。
一方、期待の大きいロボット制御では課題が並びます。行動が連続値になること、報酬設計が難しいこと、実機を動かすデータ収集のコストが高いこと、そして安全性への配慮です。
対策は、事前に集めたデータで学ぶオフライン強化学習、シミュレータの方策を現実へ移すSim2Real、環境条件をばらつかせるドメインランダマイゼーション、残差強化学習などです。
まとめ
- 深層強化学習は価値関数をニューラルネットワークで近似する手法。代表がCNNを使うDQN
- DQNは経験再生とターゲットネットワークで学習を安定させる。発展形がDouble DQN・Rainbow
- AlphaGoはモンテカルロ木探索と組み合わせ、AlphaGo Zero・AlphaZeroは自己対戦のみで人間を超えた
- ロボット応用は報酬設計・データ収集コスト・安全性が壁で、Sim2Real等で対処する
よくある質問
Q. 強化学習と深層強化学習は何が違うのですか？
A. 枠組みは同じで、価値関数や方策の表現にディープラーニングを使うかどうかの違いです。表で管理しきれない広い状態空間を扱える点が大きな差になります。
Q. 経験再生はなぜ必要なのですか？
A. 経験を順番どおり学習させると直前の似た場面ばかりが続き、偏りが生じます。いったん貯めてランダムに取り出すことで偏りを崩し、学習を安定させます。
Q. AlphaGo ZeroとAlphaZeroの違いは何ですか？
A. どちらも自己対戦のみで学習しますが、AlphaGo Zeroは囲碁専用です。AlphaZeroは汎用化され、将棋やチェスにも対応できます。
Q. 深層強化学習はロボットで実用化されているのですか？
A. 研究は進んでいますが、ゲームほど手軽ではありません。実機のデータ収集コストと安全性が壁で、Sim2Realのような工夫が前提になります。
コメント