概要

業務系からWeb/IoT系まで、データ基盤技術の全体像を体系的に理解する

想定読者

データ基盤に関わりはじめたエンジニアや、RDB中心の経験からビッグデータ領域に踏み出したいバックエンドエンジニア。ラップトップ1台で実際に手を動かしながら概念と実装の両方を把握したい人に向く。

こんな人には向いていない

• すでにHadoop/Spark/Kafkaを本番環境で日常的に運用しているデータエンジニアには、基礎概念の比重が大きく感じられる可能性がある
• 機械学習モデルの精度向上を主目的としている人には、MLOps周辺の章は概観にとどまり物足りない
• 特定のクラウドサービス(BigQuery・Redshiftなど)の操作手順を求める人には、ツール中立なアーキテクチャ解説が中心のため直接的な答えが得られにくい

読了後にできるようになること

• 業務系RDBバッチ処理とWeb/IoT系分散ログ処理という2つの源流がどのように融合してモダンなデータ基盤を形成しているかを説明できる
• 分散処理の基本概念(スケールアウト、シャーディング、レプリケーション)を歴史的経緯から理解し、設計判断に活かせる
• データ収集・変換・蓄積・可視化の一連のパイプライン構造を、オープンソースツールを使って実際に動かす経験を得られる
• 機械学習・特徴量ストア・MLOpsの概念と、データ基盤との接続点を把握できる
• ビッグデータ技術の登場背景と技術選択の理由を、技術史の文脈とともに語れる

本書のキー概念(章解説)

• 第 1 章 ビッグデータの基礎 — 2つの源流(業務系・Web/IoT系)の説明が本書全体の軸となる導入章
• 第 2 章 ビッグデータの探索 — 各種ミドルウェアの位置づけと分類を俯瞰する章。全体像の把握に有効
• 第 3 章 分散処理 — スケールアウト設計の原理を扱う。概念理解の核心
• 第 4 章 データの蓄積・保存 — ストレージ層の選択肢を整理。実務でのアーキテクチャ選定に直結
• 第 5 章 データパイプライン — ETL/ELTの実践。実際に動かせる構成例が含まれる
• 第 6 章 ビッグデータと機械学習 — 増補改訂で追加された章。特徴量ストア・MLOpsの概観
• 第 7 章 実践編 — ラップトップ1台でオープンソースを使って動かす演習パート

ハイライト

• アーキテクチャ、テーブル整備、運用まで、システム面を網羅的に勉強できるお得な書籍です。(データ分析基盤構築の現場経験を持つ著者が、本書の網羅性を端的に評価した箇所)
• ビッグデータの使い所、各ミドルウェアの分類などを把握するレベルになろう(3〜4年目Webエンジニア向け推薦リストにおける位置づけの説明。本書が担う学習ゴールが明確に示されている)
• AIの発展、コンテナ技術の進歩をはじめ、ビッグデータを取り巻く技術が大きく変わり始めました(増補改訂の意義を示す書き出し。2021年時点でMLOps等の新潮流を取り込んだ版であることを示す)

外部からの言及

• データ分析基盤の構築を扱う記事で、アーキテクチャから運用まで網羅的に学べる書籍として位置づけられている。システム全体を俯瞰する知識を得るためのリファレンスとして参照されることが多い(qiita)
• Webエンジニア向けの成長ロードマップ記事において、データエンジニア・データサイエンティスト方面への発展を目指す人向けの推薦書として取り上げられている。各ミドルウェアの分類と使い所の把握に有効という評価(qiita)
• データエンジニアリング入門の文脈で、実践的データ基盤の処方箋などと並んで推薦されている。エンジニア以外のバックグラウンドを持つ人には前提知識の多さが負担になるとの指摘もある(qiita)

編集メモ

Qiita 参照記事4件 / 累計 likes 1,047。データエンジニアリング入門記事・PHP技術者向け推薦リスト・データ分析基盤設計記事など複数の文脈で参照されており、特定トピックの定番というよりデータ基盤全般の入門良書として機能している

読む前に押さえておきたいこと

• RDB(MySQL・PostgreSQL等)の基本操作とSQL読み書きの経験
• Linuxコマンドラインの基本操作(ファイル操作・プロセス管理)
• HTTPとTCPの概念的な理解(プロトコル詳細は不要)
• Dockerの基本操作(演習パートで使用するため)

学習のコツ

• 前半(基礎概念・歴史)と後半(実践演習)で性質が大きく異なる。前半を一気読みして全体地図を頭に入れ、後半は手を動かしながら読み進めると定着が早い
• 1〜2章は技術史の概観が中心なので、特定ツールの使い方を先に知りたい場合は5章(データパイプライン)から入ってもよい。その後1〜2章に戻ると歴史的背景の解像度が上がる
• 増補改訂で追加された機械学習・MLOps章(第6章相当)は概観にとどまるため、実務でMLOpsを深掘りする場合は別途専門書を並行させると効果的
• 実践演習はオープンソースを使ってラップトップ1台で動かせる構成になっているため、読書と並行してローカル環境を立ち上げることで理解が具体的になる