ISBN 9784297156145
生成AIアプリケーション評価入門
概要
生成AIアプリの品質保証をテスト・評価の体系から理解する
想定読者
生成AIを組み込んだアプリ・システムの開発・QAに携わるエンジニアおよびテストエンジニア
こんな人には向いていない
- 生成AIの仕組みや使い方を一から学びたい入門者（本書はLLMの解説ではなく評価・品質保証の枠組みが前提になっている）
- LLM評価ツールをすでに実務で熟練運用しているシニアMLエンジニア（個別ツールの実装深掘りよりも概念整理・体系化が主眼）
- プロンプト設計やRAG構築そのものを学びたい人（本書は構築方法ではなく、構築したシステムをいかに評価するかに特化している）
この本で身につくこと
- 確率的出力・文脈依存性という生成AIアプリ固有の特性に対応した品質モデルを設計できる
- 混同行列ベースのメトリクス・RAG向け検索精度指標・生成テキスト一致指標を目的に応じて選定・運用できる
- LLM-as-a-Judgeを用いた自動評価パイプラインをpytestと統合して構築できる
- OWASP LLM 2025に基づくセキュリティ評価とレッドチーミングの手順を理解できる
- AIエージェントの構造パターンごとの評価観点と評価メトリクスを設計できる
ハイライト(外部からの言及)
生成AIアプリケーションの品質を保証するためには、従来のソフトウェアテストとは異なる手法によるテストと評価が不可欠となります。 — 出典
本書が解くべき問いの核心。既存テスト知識の直接転用が効かない理由を端的に示しており、購読判断の軸になる
章立て
第1章 生成AIアプリケーションの評価の概要
評価の必要性と全体像を把握する導入章。他章の読む順序を決めるためにまず通読する
第2章 生成AIアプリケーションの評価基盤モデルと評価アプローチ
品質モデルと評価観点設計の方法論。QAチームとの役割分担整理にも活用できる
第3章 基本的な評価メトリクス
RAG・テキスト生成・分類の3系統が独立しているため、自ユースケースに近い節から読んでも成立する
第4章 評価メトリクスのツールによる評価の実際
LLM-as-a-Judge + pytest統合のハンズオン。Python環境を手元に用意した状態で手を動かしながら読むと定着が早い
第5章 生成AIアプリケーションのセキュリティ評価
OWASP LLM 2025ベース。セキュリティ評価のみを目的とする場合、この章単独で参照できる構成
第6章 AIエージェントの評価
エージェントパターン別の評価観点整理。マルチエージェント構成を検討しているチームに特に有用
第7章 生成AIアプリケーションのテスト・評価のその他のトピック
プロパティベースドテスト・画像分析AI評価・AI駆動開発のQAを補足的に扱う。ユースケースに応じて参照する章
学習のヒント
- 第1章で評価の全体像を把握したあと、担当システムのタイプに応じて第3〜6章を選択的に読む。RAGシステム担当は3.2節→4章、エージェント担当は6章を優先すると効率的
- 第4章のLLM-as-a-Judgeはコード実装が中心。Python/pytest環境を手元に用意した状態で進めると理解の定着が早い
- 第5章のOWASP LLM 2025は他章と独立して参照できるリファレンス構成。セキュリティレビュー前に単独で通読する使い方が有効
- 第2章「開発チームとQAチームの役割分担の例」はQAエンジニアが現場での役割調整の根拠として使いやすい実践的な節
前提知識
- Pythonでの開発経験（第4章のコード例はPython/pytest前提）
- LLMおよびRAGの基本概念（生成AIが何をするか程度の理解）
- ソフトウェアテストの基礎（単体テスト・結合テストの概念）
次に読む本
Ragas / DeepEval などのLLM評価OSSフレームワーク公式ドキュメント
本書で設計した評価メトリクスを実際のツールに接続し、継続的評価パイプラインを構築する際のリファレンスとして
OWASP Top 10 for Large Language Model Applications（公式ガイド）
第5章のセキュリティ評価を深掘りする際の一次資料。本書はOWASP LLM 2025を参照しており、原典と照合しながら読む価値がある
Designing Machine Learning Systems（Chip Huyen著）
評価指標の設計をMLOpsサイクル全体に組み込む視点を補う
出版社による内容紹介
生成AIを活用したアプリケーションは、リサーチ、ソフトウェア開発、各種創作活動の補助等、さまざまな知的労働において、欠かせないパートナーとなりつつあります。従来の演繹的なロジックの積み重ねにより構築されたソフトウェアと構造的に異なる生成AIアプリケーションは、その性質上、次の特徴を持ちます。 ・確率的出力：同じ入力に対して、常に同じ出力が得られるとは限らない ・複雑な挙動：入力と出力の関係が明確ではなく、ブラックボックス的な側面がある ・文脈依存性：過去のやり取りや外部情報によって出力が変化する これらの特徴から、生成AIアプリケーションの品質を保証するためには、従来のソフトウェアテストとは異なる手法によるテストと評価が不可欠となります。 本書では、生成AIを活用したアプリケーション、システムに焦点をあてて、そのテスト、評価のアプローチを紹介していきます。 第1章 生成AIアプリケーションの評価の概要 1.1 生成AI アプリケーションの特徴と評価の必要性 1.2 生成AI アプリケーションの基本的な構造モデルと評価プロセスモデル 1.3 開発ライフサイクルにおける生成AI アプリケーションの評価アプローチ 1.4 まとめ 第2章 生成AIアプリケーションの評価基盤モデルと評価アプローチ 2.1 生成AI アプリケーションの品質モデル 2.2 機械学習利用システムの外部品質特性レベル 2.3 品質モデルとテストタイプを組み合わせて 2.4 生成AI アプリケーションの基盤評価モデル 2.5 評価観点基盤モデルにもとづく製品独自の評価観点モデルの構築とメトリクス設計 2.6 生成AI アプリケーション開発における開発チームとQA チームの役割分担の例 2.7 まとめ 第3章 基本的な評価メトリクス 3.1 混同行列にもとづくメトリクス 3.2 検索・RAG 向けの基本的なメトリクス 3.3 生成テキストの内容一致の基本的なメトリクス 3.4 各メトリクスを実際に運用する 3.5 まとめ 第4章 評価メトリクスのツールによる評価の実際 4.1 LLMを評価者として利用する「LLM-as-a-Judge」 4.2 メトリクスの評価環境の構築 4.3 評価の実行 4.4 pytestと統合した利用 4.5 まとめ 第5章 生成AIアプリケーションのセキュリティ評価 5.1 OWASP LLMとは 5.2 OWASP LLM2025 5.3 生成AI・LLMのセキュリティテスト・レッドチーミング 5.4 まとめ 第6章 AIエージェントの評価 6.1 AI エージェントとは 6.2 AIエージェントのパターンと構造・評価観点の例 6.3 AIエージェントの評価メトリクス 6.4 まとめ 第7章 生成AIアプリケーションのテスト・評価のその他のトピック 7.1 プロパティベースドテスト 7.2 画像分析型の生成AI アプリケーションの評価 7.3 AI 駆動開発のテスト・QA
この本がどの学習段階で役立つかは、 関連する ロードマップ から確認できます。