学習ロードマップ
Transformer と BERT を理解する
NN 基礎から word2vec・RNN・Attention を経て Transformer / BERT / GPT の構造と学習を読み解けるまでを 5 冊で構築する。
SCROLL TO BEGIN
学習ロードマップ
NN 基礎から word2vec・RNN・Attention を経て Transformer / BERT / GPT の構造と学習を読み解けるまでを 5 冊で構築する。
このロードマップが扱うもの
- Python と行列計算の基礎があり、ニューラルネットを「なんとなく」使っている実務者 - Attention や Transformer の論文・解説を読んでも、図と数式が結びつかないエンジニア - BERT / GPT 系を fine-tune するだけでなく、内部構造と学習プロセスを説明できるようになりたい人
このロードマップの全体像
ロードマップ
第 1 章
順伝播・逆伝播・勾配降下を外部ライブラリなしで書き切る入り口。Transformer 以前の NN の骨格をコードで腹落ちさせるための起点。
自然言語処理編として word2vec / RNN / LSTM / Seq2Seq / Attention を実装で繋ぐ。Transformer 到達前の NLP 系譜をここで一本化する。
テンソル操作・自動微分・学習ループ・デプロイまでを PyTorch で体得する実装書。以降の論文実装・BERT 写経の足腰として据える。
正則化・最適化・汎化など「なぜ学習が進むか」を掘り下げる応用書。Transformer の設計判断を読み解く理論視点をここで獲得する。
Transformer / 生成 AI / LLM を Keras 3・PyTorch・JAX 横断で解説する応用書。BERT・GPT 系の構造と学習を実装レベルで締めくくる。