概要

AWS上でエンドツーエンドのMLOpsパイプラインを構築・運用する

想定読者

AWSを使って機械学習モデルの開発から本番デプロイまでを一貫して担うデータサイエンティスト・MLエンジニア

こんな人には向いていない

• 機械学習の基礎数学やアルゴリズム理論を体系的に学びたい初学者には、AWS固有の実装が前提となるため対象外
• AWSを使わずオンプレミスや他クラウドでMLパイプラインを構築している人には、サービス固有の記述が多く転用しにくい
• Amazon SageMakerをすでに本番運用していて高度な最適化手法のみを求める人には、基礎的な章の比重が大きい

読了後にできるようになること

• SageMakerを中心としたデータ取り込み・探索・前処理・モデル訓練・デプロイまでの一連の流れを実装できる
• AutoMLを活用してモデル候補を素早く評価し、手動チューニングとの使い分けを判断できる
• MLOpsパイプラインとして再現性・監視・ガバナンスを組み込んだ継続的デリバリーを設計できる
• NLP・画像分類・時系列予測・推薦システムなど多様なユースケースへのAWSサービス適用パターンを習得できる
• ストリーミングデータを取り込んでリアルタイム推論するアーキテクチャを構築できる
• IAMポリシーやVPC設定を含むセキュアなデータサイエンス環境の設計指針を理解できる

本書のキー概念(章解説)

• 第 1 章 AWSにおけるデータサイエンス入門 — SageMakerの全体像とAWSサービスマップを概観する章。既存AWS経験者は軽く流してよい
• 第 2 章 データサイエンスのユースケース — 本書で扱うヘルスケア・NLP・レコメンドなど多様なユースケースを紹介し、後続章の文脈を作る
• 第 3 章 自動化された機械学習（AutoML） — SageMaker AutopilotによるAutoML。モデル選定の出発点として早めに試せる実験的なアプローチ
• 第 4 章 クラウドへのデータの取り込み — S3・Kinesis・Glueなどデータ収集基盤の設計。実運用ではここが最初のボトルネックになりやすい
• 第 5 章 データセットを探索 — SageMaker Studio + DataWrangler による探索的データ分析の実践
• 第 6 章 モデル訓練のためのデータセットの準備 — Feature Store・前処理パイプラインの設計。再現性確保のポイントが集中している章
• 第 7 章 最初のモデル訓練 — SageMaker Trainingジョブの基本。ここで初めてSageMakerのコスト感覚を掴める
• 第 8 章 大規模なモデルの訓練と最適化 — 分散訓練・ハイパーパラメータ最適化・Spot Instancesによるコスト削減。実務直結度が高い
• 第 9 章 モデルを本番環境にデプロイ — リアルタイム推論・バッチ変換・A/Bテスト設定。SageMakerエンドポイントの詳細が充実している
• 第 10 章 パイプラインとMLOps — SageMaker Pipelines / Step Functions を使った再現可能なMLパイプライン構築。本書の核心章
• 第 11 章 ストリーミング分析と機械学習 — Kinesis Data Streams連携によるリアルタイム推論フローの実装
• 第 12 章 AWSにおける安全なデータサイエンス — VPC・IAM・KMSによるセキュリティ設計。コンプライアンス要件がある環境で参照価値が高い

ハイライト

• AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。(エンドツーエンドの一気通貫という本書の位置づけが端的に表れている)
• 対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐に渡ります。(特定ドメインに限らない広いユースケースカバレッジが確認できる箇所)

編集メモ

Qiita記事での直接引用は確認されなかったが、オライリー・ジャパン刊570ページの実践書として2021年刊行後も流通。rakutenランキング情報なし。AWS公式著者(Chris Fregly はAWS AIプロバイダアドボケート)による書籍として実務参照価値は高い

読む前に押さえておきたいこと

• PythonによるデータサイエンスまたはMLの基本的な実装経験(scikit-learnやPandasの操作レベル)
• AWSコンソールの基本操作とIAMロール・S3バケットの概念理解
• 機械学習の学習・評価・推論サイクルの基本的な知識(精度指標・過学習の概念程度)

学習のコツ

• 1〜2章はAWSとSageMakerの概要紹介であるため、既にAWS経験のある読者は3章のAutoMLから実際に手を動かして読み進めると定着が早い
• 10章「パイプラインとMLOps」は本書の中心的な実践内容なので、7〜9章を読み終えたあと最優先で取り組む価値がある
• 本書はコードリポジトリがGitHubで公開されており、章ごとのNotebookを実際に実行しながら読むことで手順の理解が大幅に深まる
• 8章の分散訓練とSpot Instance活用は、コスト管理の観点でも実務に直結する。AWSアカウントのコスト上限を設定した上で試すことを推奨する