ISBN 9784839987800
つくりながら学ぶ！LLM 自作入門
概要
GPT型LLMをPyTorchでゼロから実装し、事前学習・ファインチューニングを習得する
想定読者
PythonとPyTorchの基礎があり、LLMの内部構造を実装レベルで理解したい機械学習愛好家・エンジニア・学生
こんな人には向いていない
- LangChainやAPIベースでLLMを活用するアプリケーション開発が目的の方には内容が対象外となる
- 大規模モデルの事前学習やMLOpsを本番運用している上級者には扱う実装規模が小さく物足りない可能性がある
- PythonやPyTorchが未経験の状態では付録Aだけでは補えず、先にDL基礎書を経由する必要がある
この本で身につくこと
- Attentionメカニズムの数理をコードに落とし込み、マルチヘッドAttentionを段階的に自前実装できる
- GPTモデルのアーキテクチャをPyTorchでゼロから構築し、テキスト生成を動作させられる
- BPEトークナイザの仕組みを理解し、テキストデータを前処理からトークン化まで一貫して扱える
- ラベルなしデータを用いた事前学習ループを実装し、損失の変化を追跡・評価できる
- 分類タスクおよび指示チューニング向けのファインチューニングをゼロから実施できる
- LoRAを用いてパラメータ効率の良いファインチューニングを既存実装に組み込める
ハイライト(外部からの言及)
モデルアーキテクチャを実装するためのデータセットの扱い方から、ラベルなしデータでの事前学習、そして特定のタスク向けのファインチューニングまでが含まれています。 — 出典
本書がLLM構築の全工程を一冊でカバーする点を最も端的に示している箇所
作成するモデルは大規模な基礎モデルに比べれば規模は小さいものの、基になっている概念は同じです。最先端のLLMの構築に使われている中核的なメカニズムやテクニックを理解するための強力なツールとなるでしょう。 — 出典
学習スケールについて誠実に説明しており、どの読者層に適するかの判断基準になる
章立て
第1章 大規模言語モデルを理解する
LLMの全体像と本書の学習ロードマップを概観する導入章
第2章 テキストデータの準備
BPEトークナイザの実装を含む。3章以降の入力形式に直結するため確実に動かすこと
第3章 Attentionメカニズムのコーディング
本書の技術的核心。マルチヘッドAttentionを段階的に実装する
第4章 テキストを生成するためのGPTモデルを一から実装する
完全なGPTが動作する学習の山場。最大の達成感を得られる章
第5章 ラベルなしデータでの事前学習
事前学習ループの実装。損失推移の観察方法も含む
第6章 分類のためのファインチューニング
実務に近いタスク適用の第一歩
第7章 指示に従うためのファインチューニング
Instruction Tuningの実装。ChatGPT系モデルの動作原理に直結する
関連記事 / 参考情報
- 【誰得】今年読んだ個人的にアツかった本 3選 — 2025年末に著者が選んだ技術書3冊のうちの1冊として本書を紹介
- GPT-2のBPEトークナイザに某ゲームの用語が紛れている？【謎トークン降臨！】 — GPT-2のBPEトークナイザを調査した記事。本書2章で扱うトークナイザ実装と同一の仕組みを対象としている
学習のヒント
- PyTorchに不安がある場合は付録Aを本編開始前に確認し、テンソル操作とautogradの感覚をつかんでから1章に進む
- 3章（Attentionのコーディング）と4章（GPTモデルの実装）が本書の技術的核心。2章のトークナイザ処理を確実に動かしてから進むと詰まりにくい
- 6章・7章のファインチューニングは5章の事前学習実装が前提。章を飛ばすと損失計算の文脈が失われるため順読みを推奨する
- 付録EのLoRAは独立性が高く、実務でLoRAを試したいタイミングで参照する使い方でも機能する
前提知識
- PythonプログラミングとPyTorchの基本操作（テンソル演算・autograd・nn.Module）
- 機械学習の基礎概念（損失関数、勾配降下法、バックプロパゲーション）
- 高校レベルの線形代数（ベクトル・行列の積、転置）
次に読む本
ゼロから作るDeep Learning
本書でPyTorchを使って構築した処理をライブラリなしの素実装で追うことで、ニューラルネットの内部理解をさらに固められる
Attention Is All You Need（論文）
本書で実装したTransformerの元論文を読むことで、アーキテクチャ設計の意図と各コンポーネントの選択背景を原典から確認できる
大規模言語モデル入門
本書が対象としない RAG・プロンプトエンジニアリング・推論最適化など、LLMを活用する側の実務知識を補完する
出版社による内容紹介
本書は、GPT型のLLM (大規模言語モデル) を一から理解して構築するために書かれました。 テキストデータの扱い方とAttentionメカニズムのコーディングの基礎を理解した後、完全なGPTモデルの実装に取り組みます。 本書の特徴は、LLMの構築プロセス全体を包括的にカバーしていることです。これには、モデルアーキテクチャを実装するためのデータセットの扱い方から、ラベルなしデータでの事前学習、そして特定のタスク向けのファインチューニングまでが含まれています。 本書を最後まで読めばLLMの仕組みがしっかりと理解でき、独自のモデルを構築するためのスキルを身につけることができるでしょう。作成するモデルは大規模な基礎モデルに比べれば規模は小さいものの、基になっている概念は同じです。最先端のLLMの構築に使われている中核的なメカニズムやテクニックを理解するための強力なツールとなるでしょう。 ［対象読者］ ・LLMの仕組みを理解し、独自のモデルを一から構築する方法を学びたいと考えている機械学習の愛好家、エンジニア、学生 ・本書はPyTorchを活用しており、事前にPythonプログラミングを理解している必要があります。 ・機械学習、ディープラーニング、人工知能（AI）の知識があれば役立ちますが、幅広い知識や経験は必要ありません。 ・高校レベルの数学、ベクトルや行列の知識は本書を理解する助けとなりますが、高度な数学の知識は不要です。 ［目次］ 1章 大規模言語モデルを理解する 2章 テキストデータの準備 3章 Attentionメカニズムのコーディング 4章 テキストを生成するためのGPTモデルを一から実装する 5章 ラベルなしデータでの事前学習 6章 分類のためのファインチューニング 7章 指示に従うためのファインチューニング 付録A PyTorch 入門 付録B 参考資料 付録C 練習問題の解答 付録D 訓練ループに高度なテクニックを追加する 付録E LoRAによるパラメータ効率のよいファインチューニング “Build a Large Language Model (from Scratch)”（Manning Publishing 刊）の日本語版 1章 大規模言語モデルを理解する 2章 テキストデータの準備 3章 Attentionメカニズムのコーディング 4章 テキストを生成するためのGPTモデルを一から実装する 5章 ラベルなしデータでの事前学習 6章 分類のためのファインチューニング 7章 指示に従うためのファインチューニング 付録A PyTorch 入門 付録B 参考資料 付録C 練習問題の解答 付録D 訓練ループに高度なテクニックを追加する 付録E LoRAによるパラメータ効率のよいファインチューニング
この本がどの学習段階で役立つかは、 関連する ロードマップ から確認できます。