概要

古典的機械学習の数理をノンパラメトリック手法と潜在モデルで体系的に理解する

想定読者

大学理工系の学部・大学院生で、ガウス過程・SVM・EMアルゴリズム・VAEを数学的に理解したい学習者。機械学習の理論的背景を再整理したい研究者・エンジニア

こんな人には向いていない

• 深層学習・ニューラルネットワーク中心の実装スキルを短期間で習得したい実務者(本書はその領域を意図的に外している)
• 多変数微積分・線形代数(固有値問題)・確率統計の基礎がない読者(著者が明示的に前提としている)
• 第1巻(入門的基礎／パラメトリックモデル)を未読の状態で本巻から読み始める人(第III部・第IV部はシリーズ続巻であり、記法と前提を第1巻に依存している)

読了後にできるようになること

• カーネル密度推定とk近傍法による訓練データ保持型学習の仕組みと適用条件を説明できる
• ガウス過程の確率的フレームワークを理解し、カーネル関数の選択と回帰への応用を判断できる
• サポートベクトルマシンの最適化問題としての定式化とカーネルトリックの数理を説明できる
• バギング・ランダムフォレストのアンサンブル学習における期待損失を理論的に分析できる
• 混合ガウス分布とEMアルゴリズムの収束性・適用条件を数理的に評価できる
• 変分自己符号化器(VAE)の変分下限の導出と潜在変数モデルとしての位置づけを説明できる

本書のキー概念(章解説)

• 第 6 章 訓練データ保持型の学習 — カーネル密度推定・Nadaraya-Watsonモデル・k近傍法を扱う。少数データ問題への適用判断の基礎になる
• 第 7 章 カーネル法 — ガウス過程とSVMを同一カーネル関数の枠組みで論じる。理論的密度が高く、演習問題と合わせて精読を推奨する章
• 第 8 章 アンサンブル学習 — バギング・ランダムフォレストと期待損失の理論的分析を扱う。実装だけでなく理論的根拠まで把握したい読者に有益
• 第 9 章 次元圧縮 — 主成分分析とt-SNEを扱う。t-SNEを確率的近傍埋め込みとして数理的に位置づける点が、実用ツールとして使うだけの理解との差になる
• 第 10 章 混合ガウス分布とEMアルゴリズム — 潜在変数の概念・EMの収束性・適用条件まで踏み込む。第11章VAEへの橋渡しとして必ず押さえたい章
• 第 11 章 深層生成モデル — 自己符号化器から変分自己符号化器(VAE)へと展開する。実装よりも潜在変数モデルとしての数理に焦点を当てており、第10章EMとの対応関係を意識しながら読むと理解が深まる

ハイライト

• 少数のデータしか得ることができない対象も多く、本書で紹介する古典的な機械学習の手法は、今後も随所で活躍するであろう。とりわけ、ベイズ的な考え方は、予測の損失最小を保証するという意味で重要である。(深層学習全盛期においても古典的手法の実用性が失われない理由を著者が端的に述べた箇所)
• 深層生成モデル（の1つであるVAE）を潜在モデルの部（第2巻）へおいた。ベイズ推論の重要性に鑑み、潜在モデルを第4部としたことは本書の特徴の1つである。(VAEをベイズ的潜在変数モデルとして位置づけるという章構成上の独自性が示されている箇所)

編集メモ

Qiita記事での直接言及は確認できず(検索0件・累計likes 0)。楽天ランキング情報なし。共立出版からの2022年刊行大学教科書として専門性は高いが、外部コミュニティでのシグナルが取得できないためsupplementaryと判定

読む前に押さえておきたいこと

• 多変数の微積分(偏微分・連鎖律)の計算に慣れていること
• 線形代数の固有値問題・行列の対角化を理解していること
• 確率分布・期待値・条件付き確率・ベイズの定理の基本事項を把握していること
• 本シリーズ第1巻(入門的基礎／パラメトリックモデル)で使われる記法・基礎概念の把握(または相当する知識)

学習のコツ

• 第7章(カーネル法)はガウス過程とSVMを一括して扱うため情報量が多い。各節の演習問題を節直後に解く習慣をつけると、数式の意味を確認しながら進められる
• 第10章(EMアルゴリズム)を完全に理解してから第11章(VAE)に進む。EMの不完全データフレームワークがVAEの変分下限導出と対応しており、流れで把握するとVAEの数理が腑に落ちやすい
• 本書は第1巻の数学記法に準拠している。固有値・多変量正規分布の記法が腑に落ちない箇所は第3巻(数学事項)を参照しながら読む。シリーズ3冊をセットで手元に置く使い方が著者の想定
• 各章末の演習問題は第3巻に解答例と丁寧な解説が収録されている。初読時は解答例を見ずに手を動かし、詰まった箇所だけ解説を参照する使い方が定着効率を上げる