概要

統計理論から機械学習アルゴリズムの根拠を体系的に導き出す

想定読者

機械学習の数理的基盤を習得したい大学院生・研究者・実務エンジニア

こんな人には向いていない

• 線形代数・確率論の基礎が固まっていない段階で実装から入りたい初学者には数式の密度が高すぎる
• PythonやRで手を動かしながら素早くモデルを試したい実践優先の学習者には理論比重が大きすぎる
• ESL英語原書をすでに通読している研究者には邦訳版を改めて購入する実益が薄い

この本で身につくこと

• 回帰・分類の教師あり学習を損失関数と最適化の観点から統一的に説明できる
• SVMとニューラルネットワークを統計的汎化理論の枠組みで比較評価できる
• ブースティング・アンサンブル学習の仕組みをバイアス・分散分解から導出できる
• Lasso・Ridgeなどスパース学習法を高次元問題への正則化戦略として選択できる
• グラフィカルモデルを確率的依存構造のモデリングに適用できる
• カーネル平滑化（Nadaraya-Watson推定・k近傍法）のバンド幅選択を理論根拠から判断できる

ハイライト(外部からの言及)

計算機科学などの情報技術を専門とする大学生・大学院生、および、機械学習技術を基礎科学や産業に応用しようとしている大学院生・研究者・技術者にとって最適な教科書である — 出典

本書が想定する読者層を著者自身が明示しており、購入判断の最も端的な根拠になる記述

回帰や分類などの教師あり学習の入門的な話題から、ニューラルネットワーク、サポートベクトルマシンなどのより洗練された学習器、ブースティングやアンサンブル学習などの学習手法の高度化技術、さらにはグラフィカルモデルや高次元学習問題に対するスパース学習法などの最新の話題までを幅広く網羅 — 出典

1冊でカバーする範囲の広さが端的に示されており、一冊への投資対効果を判断できる

「パターン認識と機械学習」や「統計的学習の基礎」が候補に上がったのですが，どちらも統計の知識を前提として書かれており，歯が立ちそうにありませんでした． — 出典

PRMLと並べて検討した読者が「統計の前提知識が必要で歯が立たなかった」と証言しており、既存2件が扱わない入門ハードルという購入前に確認すべき角度を補完する

章立て

第1章 教師あり学習の概要

回帰・分類・モデル選択の枠組みを設定する導入章

第2章 回帰のための線形手法

Ridge / Lasso / Elastic Net など正則化の理論的基礎。実務直結度が高い章

第3章 分類のための線形手法

LDA・ロジスティック回帰・線形判別分析を扱う。第2章との対比で損失関数の違いが分類問題にどう影響するかを確認するとよい

第4章 基底展開と正則化

スプライン・ウェーブレットによる非線形拡張が主題。ポリノミアル特徴量やスプライン回帰の実装理由を理論で説明したい場面で参照価値が高い

第5章 カーネル平滑化法

Nadaraya-Watson推定・k近傍法のバンド幅選択を導出する章。Qiitaで実装解説の出典として引用実績があり、実装の背後にある理論確認に使われている

第6章 モデルの評価と選択

Cross-Validation / Bootstrap / 情報量規準を扱う。実務でモデル比較を行う際の基礎

第7章 モデル推論と平均化

EMアルゴリズム・ベイズモデル平均化・Baggingを扱う橋渡し章。第15章のアンサンブル学習の理論的背景として、先に目を通しておくと繋がりが見えやすい

第8章 加法的モデル、木、および関連手法

決定木の理論。後続のブースティング / ランダムフォレスト章の前提

第9章 ブースティングと加法的木

AdaBoost / Gradient Boosting の理論。Kaggle で使われる手法の数学的背景

第10章 ニューラルネットワーク

本書執筆時点(2009)の扱い。深層学習以前の基礎として読む

第11章 サポートベクトルマシンと適応型判別

SVMを最大マージン分類の最適化問題として導出し、カーネルトリックを形式的に展開する章。実務でのハイパーパラメータ選択を理論的に正当化したい場面で参照価値が高い

第12章 プロトタイプ法と最近傍探索

k-NN・LVQ・kd-treeなど非パラメトリック分類器の計算構造を扱う章。高次元での計算コスト問題（次元の呪い）に早期に直面できる実践的な章でもある

第13章 教師なし学習

PCA・k-meansクラスタリング・ICAを統計的枠組みで体系化する章。教師なし手法を使う際の前提条件と評価指標を理論から理解したい場合の参照起点になる

第14章 ランダムフォレスト

第9章のブースティングとの対比で読むと、バギングとブースティングでのバイアス・分散トレードオフの違いが明確になる。Kaggleでの使い方と理論を接続できる章

第15章 アンサンブル学習

スタッキング・ベイズモデル統合など複数モデルの統合理論を扱う章。第9・14章のブースティングとランダムフォレストの後に読むと、アンサンブル設計の理論的根拠が完結する

第16章 無向グラフィカルモデル

確率的グラフィカルモデルの本書での位置付け。PRML 第8章と並読推奨

第17章 高次元の問題：p≫N

サンプル数より特徴数が多い領域の理論。バイオインフォ・テキスト解析の根拠書

関連記事 / 参考情報

• 即席！データサイエンス部署にいきなり配属されたどーにかしないといけない — 急にデータサイエンス業務を担当することになった人向けの学習ガイド。本書を理論参照書として紹介
• Azure Machine Learningをわかった気になるために細かいことは気にせずに機械学習のことをまとめてみる - ディープラーニングの手前まで — MLの概論とAzure MLサービスの概説。本書を理論的背景の参照先として言及
• 初心者からdata scientist・AI engineerになるための勉強法&おすすめサイト・本 — AI/MLエンジニアへの転身を目指す学習ロードマップ。本書を上級者向け到達目標書として位置付け
• データサイエンス関連の本を紹介する。 — データサイエンス学習書のレビュー記事。本書を理論系の代表書として紹介
• 統計初心者が１年で統計検定１級に合格した話 — 統計検定1級合格に至る学習体験記。高度統計学習の参考文献として本書を挙げている
• Nadaraya-Watson推定 と k近傍法(前編) — 本書の理論に基づきNadaraya-Watson推定の数式導出と実装を解説。理論書としての参照活用の典型例
• Nadaraya-Watson推定 と k近傍法(後編) — 前編に続くカーネル平滑化の実装解説。本書の記述を理論的裏付けとして参照

学習のヒント

• 700ページを超える大著のため最初から通読するより、教師あり学習の基礎（第2〜4章）→ モデル選択・評価（第7章）→ ブースティング（第10章）の順で優先度高い章を読むと実務感覚と接続しやすい
• 英語原書（The Elements of Statistical Learning）はStanford大学サイトで無料PDF公開されており、日本語版と照合しながら読むと専門用語の英語対応が確認でき、論文読解にも直結する
• 各章末の演習問題は証明・導出系が多く、通読が目的であれば飛ばしてよい。特定アルゴリズムの理解を深めたい局面で戻ってくるのが効率的な使い方
• 本書の数式密度に圧倒された場合は、同著者陣による入門版『An Introduction to Statistical Learning（ISL）』で概念を掴んでから戻ると定着しやすい

前提知識

• 線形代数（行列演算・固有値分解・行列の微分）
• 確率・統計の基礎（確率分布・条件付き確率・最尤推定）
• 多変数微積分（偏微分・勾配・ラグランジュ最適化の基礎）
• RまたはPythonでの基本的なデータ操作・モデル呼び出し経験

次に読む本

パターン認識と機械学習（PRML）

本書は頻度論的・最適化的視点から学習アルゴリズムを導出するのに対し、PRMLはベイズ推論を中心に据えた体系を持つ。両書を並べて読むことで、同一アルゴリズムを二つの確率論的立場から照合でき、研究・設計の判断軸が広がる。

深層学習（Goodfellow・Bengio・Courville）

本書の第10章（ニューラルネットワーク）は浅い構造のモデルを統計的枠組みで論じるにとどまる。本書でバックプロパゲーションと汎化理論を理解した後にこの教科書に進むと、深いアーキテクチャ・正規化・最適化の各議論が既習の統計理論と接続して読める。

An Introduction to Statistical Learning（ISL）

本書（ESL）と共著者が執筆した入門版で、数式の密度を抑えRによる実装例を豊富に収録している。ESLの特定章で数式に行き詰まった際に同一トピックのISL該当章に戻ると概念の整理ができ、後から実装をISLで追うという往復運用が定着しやすい。