概要

機械学習の主要アルゴリズムを数学的理論から実装まで体系的に習得する

想定読者

機械学習の「なぜそう動くのか」を数式ベースで理解したい、バックエンド・データ系ITエンジニア

こんな人には向いていない

• 数学理論は不要でscikit-learnやPyTorchを即使いたい実装優先の実践派には、各章の導出が回り道に感じられる
• ベイズ推定・EMアルゴリズムをすでに業務で運用している中〜上級MLエンジニアには既知内容の比重が大きい
• ディープラーニング全般（CNN・Transformer等）を目的として学びたい読者には、本書の射程はパーセプトロンまでであり不足する

この本で身につくこと

• 最小二乗法と最尤推定法を行列演算レベルで導出し、モデル選択の根拠を説明できる
• 確率的勾配降下法とパーセプトロンの幾何学的解釈を実装と結びつけて理解できる
• ロジスティック回帰とROC曲線を使い、分類モデルの評価と改善方針を立てられる
• k平均法・k近傍法の違いと適用条件を目的から判断できる
• EMアルゴリズムで混合分布モデルを最尤推定する手順を追える
• ベイズの定理から出発し、ベイズ推定を回帰分析に応用する流れを自分の言葉で説明できる

ハイライト(外部からの言及)

機械学習を学ぶうえで重要な理論がほぼカバーされていますので、まさに入門の定番書になりました。カラー化によりグラフも見やすくなり、理解が進むのもお勧めするポイントです。 — 出典

改訂新版の位置づけと学習カバレッジが端的に示されている箇所

初版から約5年が経過し、全面カラー化して「改訂新版」としました。Pythonのコーディング環境もGoogle Colaboratoryに刷新、これまで5回にわたる重版で修正した内容に加え、最新の書き下ろし修正でアップデートしました。 — 出典

重版5回という販売実績と改訂の具体的内容が購入判断の根拠になる

章立て

第1章 データサイエンスと機械学習

用語の整理。データ駆動型アプローチの位置付け

第2章 最小二乗法: 機械学習理論の第一歩

本書の出発点。簡単な数式から ML 全般を導入する章

第3章 最尤推定法: 確率を用いた推定理論

確率論ベースの ML 理論への橋渡し

第4章 パーセプトロン: 分類アルゴリズムの基礎

幾何学的に線形分離を理解する入口章。勾配降下法の最初の具体例として実装と数式が対応しており、5章と連続して読むと分類理論の流れがつながりやすい

第5章 ロジスティック回帰とROC曲線: 分類アルゴリズムの評価方法

分類モデルの評価を体系化。本書 ML 評価の中核章

第6章 k平均法: 教師なし学習モデルの基礎

k近傍法と対比しながら読むと教師なし・有り学習の違いが整理できる。初期値依存など実務上の制約も解説されており、EMアルゴリズム（7章）への動機付けを担う章

第7章 EMアルゴリズム: 最尤推定法による教師なし学習

混合ガウス・GMM の理論。本書の到達点に近い章

第8章 ベイズ推定: データを元に「確信」を高める手法

本書の理論的到達点。ベイズ線形回帰まで進むと全章の数理が収束する感覚が得られる。付録のIRLS導出と合わせて読むと、最尤推定からの差分が明確になる

学習のヒント

• 第2章（最小二乗法）と第3章（最尤推定法）は以降のすべての章の理論基盤。線形代数・微分・確率の基礎に不安があれば先に補完してから進むと詰まりが激減する
• 第4章（パーセプトロン）と第5章（ロジスティック回帰）は連続して読むことで、線形分類から確率的分類への移行が自然につながる。間を空けないのがコツ
• 各章末の付録（ヘッセ行列・IRLS法の導出等）は初読時に飛ばし、本文をひと通り読んだ後で振り返ると数学的厳密さの補強に役立つ
• Google Colaboratory のサンプルコードは「コードを先に動かしてから数式を読み返す」サイクルで使うと、抽象的な式が実装と結びつきやすい

前提知識

• 線形代数の基礎（行列演算・内積・固有値の概念）
• 微分・偏微分の基礎（連鎖律が追える程度）
• 確率・統計の基礎（期待値・分散・条件付き確率・ベイズの定理の名称レベル）
• Pythonの基本的な読み書き（NumPy・Matplotlib の使い方はColabサンプルで補える）

次に読む本

パターン認識と機械学習（PRML）

本書8章でベイズ推定の入口を押さえた後、確率的生成モデル・カーネル法・変分推論・混合モデルを本格的に展開する際に参照する国際的定番書。本書で扱うEMアルゴリズムや最尤推定がPRML内でどう拡張されるか、対応章を照合しながら読むと差分が明確になる

深層学習（岡野原大輔著）

本書で習得した確率的勾配降下法とパーセプトロンの数理は、多層ニューラルネットの誤差逆伝播と直結している。本書のアルゴリズム解説を出発点として、深層学習特有の最適化問題（バッチ正規化・残差接続等）へ理論を拡張する際に参照する国内定番書

統計学入門（東京大学出版会）

本書の第3章（最尤推定）・第8章（ベイズ推定）の数理的背景をより厳密に理解したい場合の補完書。検定・推定・分布論を体系的に整理しておくと、本書の各章で登場する確率モデルの仮定が「なぜその分布を選ぶのか」レベルで納得しやすくなる