概要

大規模データから異常・変化の兆しを統計的手法で体系的に検出する

想定読者

機械学習の基礎を習得済みで、業務データの異常検知・監視システム設計に取り組むデータサイエンティスト・研究者

こんな人には向いていない

• 統計・確率の基礎(尤度・分布・行列演算)を未習得の入門者には数式の密度が高く、独力での読破は困難
• Pythonで異常検知ライブラリを手早く使いたいだけの実装者には理論比重が重い
• 特定の1手法だけを深く学びたい読者には、全手法を網羅する本書の構成は冗長に感じる可能性がある

読了後にできるようになること

• ラベルあり・なし両ケースにおける異常スコアの設計原理(ネイマン・ピアソン決定則 vs 負の対数尤度)を説明できる
• ホテリングのT2法・近傍法・混合分布モデルなど主要な異常検知アルゴリズムを目的に応じて選択できる
• 密度比推定(KLIEP / uLSIF)による変化検知の仕組みを理解し実装の起点にできる
• 疎構造学習(グラフィカルLASSO)を用いてセンサー間の関係変化を異常として捉える設計ができる
• ROC曲線・AUCを不均衡データの評価指標として正しく使える
• 部分空間法による時系列変化検知を、固有値分解の直感とともに理解できる

本書のキー概念(章解説)

• 第 1 章 異常検知・変化検知の基本的な考え方 — ラベルあり/なしで異常スコアの設計が根本から変わることを示す章。読み飛ばすと後続の手法選択の根拠が曖昧になる
• 第 2 章 ホテリングのT2法による異常検知 — 多変量正規分布を仮定した最も基本的な手法。実務での baseline として今も参照される
• 第 3 章 単純ベイズ法による異常検知
• 第 4 章 近傍法による異常検知 — 分布仮定が不要で柔軟性が高い。ホテリング法との使い分け判断に章1の理解が直結する
• 第 5 章 混合分布モデルによる逐次更新型異常検知 — ストリームデータへの対応が必要な場面で有効。逐次更新の実装イメージを掴む章
• 第 6 章 サポートベクトルデータ記述法による異常検知
• 第 7 章 方向データの異常検知
• 第 8 章 ガウス過程回帰による異常検知
• 第 9 章 部分空間法による変化検知 — 時系列の構造変化を固有値分解で捉えるアプローチ。変化検知の核心章
• 第 10 章 疎構造学習による異常検知 — グラフィカルLASSOによるセンサー間関係異常の検出。実装例がQiita記事でも複数取り上げられている
• 第 11 章 密度比推定による異常検知
• 第 12 章 密度比推定による変化検知 — 著者・杉山将の専門研究に直結する章。KLIEPなど独自手法を原著者が解説する希少な機会

ハイライト

• 大規模データから『珍しいパターン』を見出す、あるいは変化の『兆し』を素早くつかむ必要がある人なら必読。するする読めて、ずっと使える1冊。現在知られている異常検知・変化検知の手法の大半をカバーした。(出版社が示す本書の射程を最も端的に表す一節。網羅性と実用性の両立を明言している)

外部からの言及

• 第1章の図をPythonで再現する記事(likes 64)を筆頭に、数学的な行間を補足する解説記事(likes 37)など、本書の理論を実装・証明レベルで噛み砕く派生記事が継続的に生まれている。著者を権威ある参照元として扱い、記事の根拠として本書を引用するスタイルが目立つ(qiita)
• 機械学習の学習ロードマップ系記事では、本書は『上級』に分類されている。統計・確率の基礎を固めた後に取り組む書籍として位置づけられており、入門書と並べて推薦されることは少ない(qiita)
• グラフィカルLASSO(第10章)は特に言及頻度が高く、単独テーマの解説記事(likes 54)が存在する。疎構造学習による異常検知という切り口は、センサー異常・ネットワーク異常の文脈で参照されやすい(qiita)

編集メモ

Qiita検索で8件の言及記事を確認、上位4記事の合計likes約193。2015年刊だが2019年時点でも新規まとめ記事(kidaufo)が作成されており、機械学習プロフェッショナルシリーズの中でも異常検知分野の定番書として継続的に参照されている。著者の一人・杉山将は東京大学教授でシリーズ編者も兼任。入手確認ソースはQiita検索結果

読む前に押さえておきたいこと

• 多変量正規分布・共分散行列・固有値分解の基本操作
• 最尤推定・ベイズ推定の概念(尤度関数の意味を説明できる程度)
• PythonまたはRでデータ操作・行列計算を実行した経験(実装を追う場合)

学習のコツ

• 第1章は他の手法選択の判断軸になるため、数式が難しく感じても一読しておくことを勧める。ここで『ラベルあり/なし』の設計分岐を掴めると、以降の章の目的が明確になる
• 第2章(ホテリング)→ 第4章(近傍法)→ 第9章(部分空間法)の順で手法の表現力が上がる構成になっている。業務データに即試したい場合は、この3章を優先し残りを後回しにするのが現実的
• 第10章(疎構造学習)と第11-12章(密度比推定)はQiitaで実装記事が複数あるため、読書と並行してコードを動かすと定着が早い
• 数式の行間が省略されている箇所は、Qiitaにある補足記事(ネイマン・ピアソン補題の導出等)を併用すると独習ペースを維持しやすい