前言：把“看起来变好”变成一次可复核的交付

一个知识助手回答得更流畅，可能只是删掉了不确定措辞；一个编程代理说“已经修好”，文件却可能保持原样。把最终文本交给另一个模型打一个总分，并不能自动解决这些问题。质量交付需要连接样本、参考证据、执行产物、评分器、比较方法与发布责任。

本书写给已经能调用模型、检索器或工具的开发者。我们关注的不是再搭一个聊天窗口，而是回答一个具体问题：当提示、检索、生成器或运行策略发生变化时，如何知道哪些任务改善、哪些任务退步，以及这份证据是否足以支持发布。

一套可以真正运行的最小系统

随书代码只有 Python 标准库。它包含 26 个明确标注为合成的小样本，分为训练资料、开发和验收三份，按项目组隔离。两类任务分别要求修改文件，以及根据当前政策给出带引用的结构化回答。答案与验收器由父进程持有，候选只接收任务和临时工作区。

候选是确定性程序和可控缺陷，不是真实语言模型。所谓 prompt_v2 在实验中是请求归一化替身，retrieval_v2 是检索过滤变更，model_v2 是生成器缺陷变体。这些名字描述流水线中的变更位置，不构成真实提示效果、供应商性能或模型排名。

你将实际看到：文件没有改却被文字评分误判为成功，答案数值正确却引用旧资料，开发集的好结果被发布门槛拒绝，预算不足时样本仍留在分母，人工裁决无法抹掉确定的产物失败，以及按项目成对重采样生成的区间。

第 1–4 章建立决策、数据与验收合同；第 5–8 章讨论评分器、受控对照和统计；第 9–12 章连接预算、争议、归因与发布；第 13–14 章运行完整实验和故障回归；第 15–16 章说明真实模型接入与持续维护需要增加什么。

如果希望先动手，可以从第 13 章开始。请保留报告中的失败记录，再回到前面的原理解释它们。不要为了获得绿色检查，把未知、争议或预算拒绝样本删掉。

本版没有调用真实模型，没有测量业务总体，没有收集真实人工标注一致性，也没有建立操作系统沙箱。公开的小型合成验收集可以验证流水线行为，不能被当作未曝光的真实模型基准。统计区间是方法演示，不能弥补样本代表性与独立性不足。

NIST AI RMF、SciPy 和 Inspect 的第一方资料用于核对测量、重采样以及数据/评分职责等概念。具体发布策略与实验结构是本书工程设计，不代表这些项目背书。来源、读取时间和范围见附录。