# AI Engineering（Chip Huyen）— 读书笔记

> 读于 2026-11-06 · 小 Q · 第 2 份

## 0. 卡片

| 项 | 内容 |
|---|---|
| 源文件 | `D:\AI content\books\sources\AI Engineering Building Applications with Foundation Models (Chip Huyen) (z-library.sk, 1lib.sk, z-lib.sk).pdf` |
| 全书 | AI Engineering: Building Applications with Foundation Models，O'Reilly，第 1 版 |
| 时间 | 电子书 2024-12-04，纸书 2025-01-07；PDF 生成于 2024-12-04 |
| 篇幅 | 535 个 PDF 页 / 印刷 510 页 / 约 15 万英文词 / 160 张图 / 250 脚注 / 975 条参考链接（p519 作者自述） |
| 版本状态 | **只有第 1 版**。2025–2026 出的是翻译版（西语、葡语、繁中 2025-08、简中 2026-02 宝玉译），无内容修订版 |
| 页码说明 | 本文 `pN` 一律指 **PDF 文件页序**；书内印刷页码 ≈ `pN − 24`（p519 印 495，p242 印 218），前言用罗马数字 |
| 结构 | 10 章 + 前言 + 结语，TOC 182 条；全文可提取，无扫描页 |

## 1. 判断

**你的"过时感"是对的，但归错因了：不是这本书老，是你翻到的那一层在 2025 年被连根换掉了。**

分层看，结论完全不同：

| 层 | 状态 | 判断 |
|---|---|---|
| 事实层：模型名、benchmark 数字、价格、上下文上限、工具清单 | **全过期** | 别引用任何一个数字 |
| 范式层：推理模型、协议化工具生态、agent 工程化 | **缺席，且会误导** | 别照着做，读错有负收益 |
| 骨架层：评估方法论、失败模式分类、架构演进、数据工程、反馈设计 | **没老，仍属稀缺** | **这才是这本该读的部分** |

一句话执行版：**作为"跟着做"的技术手册别读了；作为"企业 AI 交付怎么定义 done、怎么造评测集"的骨架，它仍然是你书架上最该精读的一本。**

上一份 Albrecht slides 给的是评分卡（问题 4 问、基线自检、复现清单）；这本给的是**评分卡怎么造**——ch3/4 评估流水线、ch6 agent 失败模式、ch8 数据工程、ch10 架构与反馈。对你现在的企业 AI 培训 / FDE 路线图 / 知识库准确性，正好补在最缺的那一环。

## 2. 过时的证据（不是印象，是全书词频）

对 535 页全文做词频与页码统计：

| 词 | 次数 | 说明 |
|---|---|---|
| `2023` | 239 |  citation 与案例的时间重心 |
| `2024` | 129 | 书稿截止于此 |
| `2025` / `2026` | 4 / 0 | 4 次里多数是版权 / 版本信息 |
| `GPT-4` / `GPT-3` / `ChatGPT` | 72 / 46 / 91 | 主力例子 |
| `GPT-4o` | 4 | 2024-05 才发布，没来得及展开 |
| `o1` | 1 | **仅 p138 一条脚注**，讲 Terrence Tao 的调侃 |
| `o3` / `reasoning model` / `MCP` | 0 / 0 / 0 | 整条 2025–2026 主线不在书里 |
| `test-time compute` | 1 | p120 有一节，但定义不同（见下） |
| `8K` / `32K` / `128K` / `1 million` | 19 / 3 / 7 / 6 | 上下文讨论的坐标 |
| `AI as a judge` / `RAG` / `agent` / `benchmark` | 42 / 349 / 330 / 262 | 骨架层密度，仍高 |

**最要命的一处在 p120–122**：书里确实有 "Test Time Compute" 一节，但定义是"同一个输入生成多个输出再挑最好的"（best-of-N / beam search），并且作者断言：*"我不相信生产环境里有人会为每个输入采样 400 或 10000 个输出，成本会是天文数字。"* 2026 年 reasoning 模型默认就在内部跑长链推理。**这不是例子旧了，是这个问题的定义被换掉了。**

连带降级：p251 "Give the Model Time to Think" 教手写 chain-of-thought / self-critique 提示，如今基本被模型内置；p302–305 的 tools 层还是手写 function calling 与工具清单，没有 MCP 之类的协议化工具生态（对你在做的 skill/agent 统一治理，这一块直接失效）；p215 的公开榜单导航，在 2025 年榜单饱和与污染之后参考价值大降。

**但作者不是没防。** p16 明确写了筛选题材的三条标准：① 这个问题是来自 AI 的根本局限，还是会随模型变好而消失；② 问过一大票研究者与工程师；③ Lindy's Law（存在越久越可能继续存在）。她也坦白"偶尔会收进我认为是暂时的概念，因为它当下有用或能说明一种解题思路"。p16 "What This Book Is Not" 更直接：**不是教程，不教具体工具，只给选工具的框架**。

所以准确说法是：她的防腐设计成功保住了概念层，没保住事实层，也没法预见 2025 年的范式断裂。

## 3. 结构地图（10 章）

| 章 | PDF 页 | 主题 | 2026 状态 |
|---|---|---|---|
| 1 | p25–72 | AI engineering 兴起、用例、AI 技术栈三层、与 ML/full-stack 的分工 | 用例清单过期；"三层栈"与分工仍成立 |
| 2 | p73–136 | 训练数据、架构与规模、后训练、采样、概率性本质 | 模型规模/采样细节大半过期；p129 概率性本质仍值得读 |
| 3 | p137–182 | 评估方法论：语言模型指标、精确评估、AI as a judge、比较评估 | **核心，未过时** |
| 4 | p183–234 | 评估标准、成本延迟、模型选择、评测流水线设计 | **核心，未过时**（数字部分除外） |
| 5 | p235–276 | 提示工程、最佳实践、防御性提示与注入攻击 | 前半技巧降级；**后半 p259–274 仍有效** |
| 6 | p277–330 | RAG、检索算法与优化、agent、工具、规划、失败模式、memory | 检索与失败模式仍有效；工具层缺协议化 |
| 7 | p331–386 | 何时微调 / 何时不该、显存瓶颈、PEFT、量化、模型合并 | **决策部分 p332–342 有效**；显存数学与 PEFT 细节跳过 |
| 8 | p387–428 | 数据策展（质量/覆盖/数量）、数据合成与蒸馏、数据处理 | **核心，未过时**，与知识库准确性直接相关 |
| 9 | p429–472 | 推理优化、性能指标、AI 加速器、服务优化 | 迭代最快，只在要算成本/延迟时查 p436–443 指标定义 |
| 10 | p473–518 | 架构 5 步演进、监控可观测、编排、用户反馈 | **核心，未过时** |

## 4. 没老的那部分，具体是什么

- **ch3–4 评估**（全书最值钱的两章）。p224–231 评测流水线三步：① 端到端输出与每个组件的中间输出**分别**评（per task / per turn / per intermediate output）；② 写评估指南（作者称这是最重要的一步，要明确定义"不该做什么"和"什么算坏回答"，LinkedIn 的案例："你完全不适合这个岗位"是正确回答但不是好回答）；③ 定评估方法与数据。p160–171 AI as a judge 的用法与局限（并诚实标注工具内置指标"截至 2024-09，会变"）。p172–179 比较评估与排名。
- **ch6 agent 失败模式**（p322–328）。把 agent 失败拆成规划失败（无效工具 / 参数非法 / 参数值错）、工具执行失败、效率失败，并要求"逐个失败模式统计发生频率"。**这是可以直接搬去当验收表的分类法**，比 2026 年多数 agent 框架文档讲得清楚。
- **ch7 决策框架**（p335–340）。"什么时候不该微调"以及"finetune 与 RAG 的关系"——企业客户最常问、也最常被工具商带偏的问题。
- **ch8 数据工程**（p392–425）。数据质量 / 覆盖 / 数量三轴，数据合成与蒸馏，检查 / 去重 / 清洗 / 格式化。对 klgwiki、制造业本体与知识库准确性，这是能直接改成 checklist 的一章。
- **ch10 架构演进**（p474–496）。5 步：增强上下文 → 加 guardrails → 模型路由与网关 → 缓存降延迟 → 加 agent 模式；再加监控可观测与 pipeline 编排。这套"从简单开始、按遇到的挑战逐层加"的 start-simple 顺序，跟你的 FDE 三层路线图是同构的。
- **ch10 用户反馈**（p498–514）。显式 / 隐式反馈、对话式反馈的抽取、反馈设计、反馈局限。企业交付里"上线后怎么持续知道它在真实场景怎么失败"，这一章比多数 MLOps 书实用。

## 5. 可直接搬进你业务的东西

| 来源 | 页 | 改造成什么 |
|---|---|---|
| 评测流水线 3 步 | p224–231 | 给客户交付的验收骨架：逐组件评 → 写评估指南（含"不该做什么"）→ 定方法与数据 |
| AI as a judge 的局限 | p160–171 | 给 AI 中台做自动评测时的免责与校准清单：judge 偏见、位置偏差、需要人评兜底 |
| agent 失败模式分类 | p322–328 | agent / skill 交付的失败统计表，按模式计频率，而不是只报一个成功率 |
| 何时不该微调 | p335–340 | 面对客户"要不要训个自己的模型"时的判断树 |
| 数据质量 / 覆盖 / 数量 | p392–403 | 知识库与本体数据的入库前检查表 |
| 架构 5 步 | p474–496 | FDE 能力路线图的"演进顺序"参照：不是一次画全，是按痛点逐层加 |
| 用户反馈设计 | p498–514 | 批次制交付里"数据采集"那一步的模板 |

## 6. 怎么读（按你的目的，别从头翻）

**精读 4 块，约 210 页**：p137–182（ch3）→ p183–234（ch4，重点 p224–231）→ p387–428（ch8）→ p473–518（ch10）。
**选读 3 块**：p299–329（ch6 agent 失败模式与 memory）、p259–274（防御性提示 / prompt injection）、p332–342（finetune 决策）。
**跳过**：p40–58（用例清单）、p73–128（模型与采样细节）、p235–258（提示技巧，已被模型内置）、p203–223 里的榜单与价格数字、p343–385（显存数学 / PEFT 细节）、p429–471（推理优化）。

读法建议：**每读一节，只写一句"这条今天还成立吗 / 不成立的话换成什么"**。这本书的正确用法不是吸收，是**拿它的目录当 2024 年的坐标，逐条标出 2026 年的位移**——标完的那张表，本身就是一份能拿去讲的培训材料。

## 7. 需要外挂的 2026 补丁（书里没有，别指望它）

1. 推理模型 / test-time compute 的真实含义、thinking budget、把 CoT 从提示技巧变成模型能力之后的成本与延迟模型
2. MCP 及协议化工具层、多 agent 协作、skill/agent 治理与访问授权（你自己正在做的那块）
3. 长上下文之后的"有效上下文"问题（context rot、检索 vs 全量塞入的取舍）、缓存与成本
4. 2025–2026 的评测实践：轨迹级评估、多轮任务评测集、judge 偏差校正、生产数据回流
5. 模型能力 / 价格 / 上下文坐标全部重查（书里数字一个都不能用）
6. 结构化输出、function calling 已从"技巧"变成默认能力，相关章节当历史读

## 8. 资源

- 书的资源库：`github.com/chiphuyen/aie-book`（p519 作者给出）
- 作者另有《Designing Machine Learning Systems》(O'Reilly, 2022)，本书是它的互补篇，不是续作
- 中文版：《AI工程：大模型应用开发实战》宝玉译，2026-02（O'Reilly 北京）；繁中版 2025-08。**都是翻译，无内容更新**，别为了"追新"重买
- 本书没有第 2 版，截至 2026-11 只有翻译版

## 9. 批注

- **你说"有点老"，我猜是翻到了 ch1 用例清单或 ch2 模型/采样或 ch5 提示技巧。** 那几章确实是全书最该跳过的；真正对你有用的后半本，可能没翻到。这不是劝你读完，是别让前 100 页替整本书做判断。
- **p122 那句"生产环境没人会采样 400 个输出"是全书最值得记的一句错话**：不是作者水平问题，是一个诚实的人在范式切换前 3 个月写的判断。两年后看，它比任何"过时清单"都更能说明这类技术书的保质期在哪。
- **这本书和你昨天那份 slides 是一对**：Albrecht 说"先框定实验问题再设计实验、每条基线回答一个具体问题"，Chip Huyen 给的是这句话怎么落到流水线里。放在一起讲 workshop，比单独讲任何一本都完整。
- 对我自己：判定"过时"不能靠印象，得查时间戳分布和关键词缺席。`2025` 出现 4 次、`MCP` 出现 0 次，比"我觉得有点老"硬得多。