強化学習の基本｜報酬から学ぶAI

強化学習は、正解データなしに試行錯誤して報酬を最大化する行動を学ぶ手法です。G検定では用語と考え方の対応が問われます。

こんにちは、zawato（@zawato7）です！

本記事はディープラーニング入門ロードマップの第7回です。

強化学習は「正解」ではなく「報酬」から学ぶ

強化学習（reinforcement learning）は、正解ラベルを与えず、行動の結果得られる報酬から、累積報酬が最大になる行動を学ぶ枠組みです。教師あり学習のような答案はなく、「うまくいけば点がもらえる」という手応えしかありません。

迷路を進むコマで考えると分かりやすくなります。学習する主体がエージェント、盤面全体が環境。行動すると状態が変わり報酬を得る、このループを回し続けます。

探索と活用のトレードオフ｜バンディットアルゴリズム

知っている中で最善を選ぶのが「活用（exploitation）」、未知を試すのが「探索（exploration）」で、この2つは両立しません。通い慣れた店だけでは外れませんが、新しい名店には出会えません。

活用だけでは最初のルートに固執し、より短い経路を見落とします。逆に探索ばかりでは報酬が積み上がりません。このバランスを取るのがバンディットアルゴリズムで、ε-greedy法は一定の確率εだけランダムに探索し、残りは最善の行動を活用します。UCB方策は試行回数の少ない行動を優先的に選びます。

マルコフ性と割引率｜今だけで決まる世界で、未来をどう見積もるか

マルコフ性とは、次の状態が現在の状態と行動だけで決まり、過去の経緯に依存しないという性質です。迷路の真ん中のマスにどう来たかは、これからの最短ルートに関係ありません。

この仮定を置いた問題設定がマルコフ決定過程（MDP）です。

もう1つMDPに欠かせないのが割引率です。強化学習が最大化するのは目先の報酬ではなく、この先ずっと積み上がる累積報酬でした。ところが遠い未来の報酬まで同じ重みで足し続けると、合計がいくらでも大きくなり、比較のしようがなくなります。

そこで「1ステップ先の報酬は少し割り引く、2ステップ先はさらに割り引く」と、先の報酬ほど価値を小さく見積もります。この割引の度合いが割引率（記号ではγ）で、0から1の間の値を取ります。同じ100円でも、今もらえるのと10年後にもらえるのとでは値打ちが違う、という感覚がそのまま当てはまります。

割引率があるおかげで、同じゴールにたどり着くなら遠回りより最短ルートのほうが価値が高くなります。「早くゴールしろ」と別に指示しなくても、報酬の割り引きだけで最短経路が学習される仕組みです。

価値ベースと方策ベース｜Q学習と方策勾配法

行動の決め方には、価値を見積もって選ぶ「価値ベース」と、行動の確率を直接学ぶ「方策ベース」の2系統があります。

価値ベースで使うのが価値関数です。マスごとに価値を割り当てるのが状態価値関数、状態と行動の組に割り当てるのが行動価値関数で、単に価値関数と言えば後者を指します。その値がQ値で、代表的な学習法がQ学習です。経験のたびに「この状態でこう動いた価値」を表へ書き込んで更新し、価値の高い方向をたどればゴールできます。似た手法にSARSAがあります。

一方の方策勾配法は、価値を計算せず「上に0.75、右に0.25」といった行動の確率、つまり方策を直接最適化します。代表手法はREINFORCE。ActorとCriticを組み合わせたActor-Criticもこの系統です。

まとめ

• 強化学習は正解データを使わず、行動と報酬のループから最適な方策を学ぶ
• 「活用」と「探索」はトレードオフで、ε-greedy法などでバランスを取る
• マルコフ性を仮定したMDPで問題を定式化し、割引率で先の報酬ほど小さく見積もる
• 行動の決め方は価値ベース（Q学習）と方策ベース（方策勾配法）の2系統

よくある質問

Q. 強化学習は教師あり学習と何が違うのですか？
A. 教師あり学習は入力と正解のペアから学びます。強化学習に正解はなく、報酬だけを頼りに試行錯誤でよい行動を見つけます。

Q. マルコフ性はなぜ重要なのですか？
A. 次の状態が現在の状態と行動だけで決まると仮定できれば、過去の履歴を考慮せずに済み、学習が現実的な計算量に収まるからです。

Q. 割引率はなぜ必要なのですか？
A. 遠い未来の報酬まで同じ重みで足すと累積報酬が発散し、行動を比べられなくなるためです。先の報酬ほど割り引くことで合計が収まり、同じゴールなら最短で着くルートの価値が高くなります。

Q. Q学習と方策勾配法はどちらを覚えればよいですか？
A. 両方です。Q学習は行動価値（Q値）を見積もる価値ベース、方策勾配法は行動の確率を直接学ぶ方策ベース。手法名からどちらの系統か判別できればG検定では十分です。