概要

データプラットフォームの要素技術を体系化し、実践的な構築・改善まで一貫して習得する

想定読者

データ基盤の新規構築・刷新を担当するデータエンジニアおよびアーキテクト。個別ツール（Spark、dbt、Airflow 等）の断片的な知識を持ちながら、全体設計の判断軸を持てていないと感じているエンジニアに特に合う。

こんな人には向いていない

• Fluentd・Spark・dbt・Airflow など主要コンポーネントをすでに本番運用しており、各ツールの深堀り情報を求めている場合は、各技術の専門書のほうが密度が高い
• データ分析・BI 側のスキルアップが主目的の場合、構築寄りの比重が大きいため本書の半分以上が対象外になる
• SQL や基本的なクラウドサービスの経験がない段階では、前提知識の補完が別途必要

読了後にできるようになること

• Lambda / Kappa / Lakehouse / Medallion など主要アーキテクチャパターンのトレードオフを自分の業務要件で比較できる
• Fluentd によるログ転送設計と、Apache Kafka / Amazon Kinesis を使ったストリーミングパイプラインの違いを構成図レベルで説明できる
• ETL(Spark / Embulk)と ELT(dbt)の使い分け基準を、データ量・変換複雑度・チームスキルの観点から判断できる
• Apache Hudi / Iceberg / Delta Lake のテーブルフォーマット比較と、ユースケース別の選定指針を説明できる
• Apache Airflow / Digdag によるジョブスケジューリング設計と、障害時のリトライ・依存管理の考え方を実装レベルで理解できる
• RDRA を使った要件分析から、データプラットフォームの構築・運用改善サイクルを回す全体像を把握できる
• データメッシュ・DDD・SOLID 原則などのアーキテクチャ原則をデータ基盤設計に適用する判断軸を得られる

本書のキー概念(章解説)

• 第 1 章 データプラットフォーム概論 — 全体像の俯瞰章。後章で迷ったときに戻る参照点として活用する
• 第 2 章 データプラットフォームの構成要素 — 各コンポーネントの位置づけと相互関係を整理。1章と合わせて読むと全体像が固まる
• 第 3 章 ログ転送 — Fluentd の設計パターンと運用上の注意点を中心に解説
• 第 4 章 データ変換・転送（バッチ編） — Spark・Embulk による ETL。処理量・変換要件に応じたツール選定基準が実務直結
• 第 5 章 データ変換・転送（ストリーミング編） — Kafka・Kinesis を使ったリアルタイムパイプライン設計。Lambda/Kappa アーキテクチャの具体実装
• 第 6 章 データプロビジョニング — Redshift・BigQuery・Snowflake・Treasure Data の比較。DWH 選定時の判断基準として参照価値が高い
• 第 7 章 データマネジメントを支える技術 — データ品質・メタデータ管理・Hudi/Iceberg/Delta Lake のテーブルフォーマット比較を扱う
• 第 8 章 要件分析 — RDRA を使ったデータプラットフォームの要件整理。構築前の設計フェーズに不可欠な章
• 第 9 章 データプラットフォームの構築 — 実践的な構築手順の核心章。概念の学習後に改めて読み直すと吸収率が上がる
• 第 10 章 データプラットフォームの改善 — MLflow・A/B テスト・LLM 活用など、構築後の継続的改善サイクルを扱う。運用フェーズに入ってから参照すると実用的

ハイライト

• Apache Sparkをはじめとする技術の選定や活用方法、設計の考え方を詳しく解説。最新技術だけでなく、将来の変化にも対応できる普遍的な知識を提供します。(「バイブル」と称する理由が端的に示されている箇所。特定バージョンのハウツーではなく設計の考え方を軸に置く姿勢を表している)
• ユーザー行動やセンサーログなどのデータを収集・整理し、ETL処理やELT処理を経て価値ある情報に変換し、意思決定に活かす方法を紹介します。データ品質の維持や、効率的な分析手法についても詳しく解説しています。(収集から意思決定まで一気通貫でカバーする本書のスコープを示す記述。データパイプラインの全工程を一冊で把握したい読者にとっての購買判断ポイント)

編集メモ

Qiita 言及 0 件・楽天ランキング情報なし。2025-03 刊行で外部シグナル蓄積前の段階。500 ページ超・10 章構成の包括的解説書としての書誌情報は充実しており、同テーマ書籍群への補完的選択肢として位置づける

読む前に押さえておきたいこと

• SQL の基本操作とトランザクション(ACID)の概念
• いずれかのクラウドサービス(AWS・GCP・Azure)での基本的な操作経験
• バッチ処理またはストリーム処理のパイプライン開発経験（概念レベルで可）

学習のコツ

• 1章・2章で全体像を俯瞰した後、業務上の緊急度が高い章（例: ストリーミングならば5章）に飛ぶ読み方が効率的。10章構成は通読前提ではなくリファレンスとしての使い方を想定している
• 6章(データプロビジョニング)はクラウド DWH 選定時の判断材料として単体で参照する価値がある。Redshift・BigQuery・Snowflake・Treasure Data の比較は社内提案資料の骨格として使いやすい
• 8章(要件分析)は構築フェーズより前、要件定義の段階で読むと最も効果的。RDRA の文脈でデータ基盤要件をどう整理するかは類書で扱われることが少ない
• 9章・10章は概念理解の後に読み直すと吸収率が上がる。初読では1〜7章で基礎を固め、構築開始時に9章、運用フェーズで10章を再読するスパイラル読書を推奨