概要

強化学習の理論的基盤から関数近似・方策勾配まで体系的に習得する

想定読者

強化学習を基礎から体系的に学びたい研究者・大学院生・機械学習エンジニア。理論的根拠を持ってアルゴリズムを選択・設計したい実務者

こんな人には向いていない

• PyTorch/TensorFlow を用いた実装コード中心の学習を求める人 — 本書は理論とアルゴリズムの解説が主体であり、フレームワークベースの実装ガイドではない
• 確率論・線形代数の基礎をまだ習得していない読者 — マルコフ決定過程や関数近似の章を追うには数学的素養が前提となる
• PPO・SAC など最新深層強化学習の実装手順を直接習得したい人 — 本書は原理解説書であり、最新手法の実装レシピ集ではない

この本で身につくこと

• マルコフ決定過程(MDP)の定式化から動的計画法・モンテカルロ法・TD学習の違いと適用条件を自力で説明できる
• n ステップ・ブートストラップ法と適格度トレースが MC と TD(0) の中間スペクトラムを形成する仕組みを理解できる
• 関数近似を用いた方策オン型・オフ型手法における安定性の違いと発散リスクを評価できる
• 方策勾配定理を導出し、Actor-Critic 系アルゴリズムの構造的な根拠を論理的に説明できる
• 心理学・神経科学の報酬学習モデルと強化学習アルゴリズムの対応関係を俯瞰し、研究背景を把握できる
• AlphaGo などのケーススタディを通じて教科書的アルゴリズムが実システムに接続される過程を把握できる

ハイライト(外部からの言及)

「強化学習の考え方とアルゴリズムを明確に簡潔に説明する」という第1版の特長はそのままに、第2版では、発展的手法や心理学・神経科学との関係の紹介が大幅に加筆されています。 — 出典

第2版の位置づけと改訂の方向性が最も端的に示されている箇所

強化学習の分野もまだまだこれから大きく発展していくと考えられますが、本書は、現時点で、この分野を学ぶための最もわかりやすく整理された教科書だと思います。 — 出典

監訳者・東京大学教授 松尾豊氏が本書の教科書としての位置づけを述べた箇所。著者自身ではない第三者評価として信頼性が高い

章立て

第1章 多腕バンディット問題

第1部 テーブル形式の解法。RL の最小設定で価値・方策を学ぶ起点

第2章 有限マルコフ決定過程

MDP の数学的定義。後続全章の枠組み

第3章 動的計画法

ベルマン方程式と方策反復・価値反復の理論基礎

第4章 モンテカルロ法

サンプル経路から学習する手法。経験ベース学習の起点

第5章 TD 学習

本書最重要概念の 1 つ。TD(0) / SARSA / Q学習

第6章 n 段 TD 法

TD と Monte Carlo の中間。eligibility trace の前段

第7章 適格度トレースを用いた手法

TD(λ)。バイアスとバリアンスのトレードオフ

第8章 近似による解法

第2部 近似による解法。関数近似 RL の出発点

第9章 近似を用いた方策オン型予測

勾配 TD・神経回路 RL の理論基礎

第10章 関数近似を用いた方策オン型制御

SARSA を関数近似に拡張する実践章。第 9 章の予測理論を制御問題へ接続する位置づけで、線形関数近似から深層 RL(DQN)への橋渡しとなる。

第11章 近似を用いた方策オフ型手法

オフポリシー学習の難しさと解法。Deep Q-Network の前提

第12章 方策勾配法

REINFORCE / Actor-Critic の基礎。近年の主流である方策ベース手法の起点

第13章 心理学

第3部 さらに深く。心理学・神経科学から見た RL の対応関係

第14章 神経科学

ドーパミンと TD 誤差の対応・基底核モデルなど神経科学 RL の主要知見を整理。実装目的なら後回し可だが、第 13 章と対照することで RL の認知科学的位置づけが把握できる。

第15章 応用と事例紹介

AlphaGo・ロボット・ゲーム AI などの実応用

学習のヒント

• 第I部(2〜8章)は章順に読むことが基本だが、実務で深層RLを目指す場合は第13章(方策勾配法)を第I部修了直後に読むと全体像が掴みやすい
• 第4章(動的計画法)は後続全アルゴリズムの理論基盤。一読で消化し切れなくても先に進み、6〜8章を読んでから振り返ると理解が定着しやすい
• 第III部(14〜16章)の心理学・神経科学章は実装目的の読者が省略しがちだが、16章のAlphaGoケーススタディはモチベーション補強と俯瞰把握に有効なため、最低限16章だけでも読んでおく価値がある
• 各章末の演習問題は「解けるか」の確認より「どこまで自力で導けるか」の測定ツールとして活用すると、理解の穴が具体的に浮かび上がる

前提知識

• 確率論の基礎 — 条件付き確率・期待値・ベルマン方程式を自力で追える程度
• 線形代数の基礎 — 行列演算・内積・勾配計算の理解
• 機械学習の基礎概念 — 教師あり学習との違いを把握している程度。深層学習の経験は不要

次に読む本

Deep Reinforcement Learning Hands-On(Maxim Lapan 著)

本書が扱う理論(TD 学習・方策勾配・Actor-Critic)を PyTorch 実装に落とし込む段階で参照する書籍。本書にはコード実装がほぼ存在しないため、DQN・PPO・SAC の実装手順を補う差分が大きく、理論と実装を往復しながら学習を深められる。

パターン認識と機械学習(Bishop, PRML)

本書第 II 部の関数近似・確率的勾配降下は PRML の確率モデル理論と補完関係にある。本書が RL 固有の目標関数と学習規則に集中しているのに対し、PRML は基底関数・ガウス過程まで網羅しており、近似手法の全体像を把握したい場合の差分が明確。

Bandit Algorithms for Website Optimization(John Myles White 著)

本書第 1 章の多腕バンディット問題は数学的定式化が中心であり、ウェブ施策への適用手順は扱われていない。本書読了後に A/B テストの代替としてバンディットアルゴリズムを実業務に接続したい場合、実装コード付きで探索戦略を解説するこの書籍との差分は大きい。