第 11 章：分别改变提示、检索与生成器

11.1 隔离一个变化位置

随书实验固定数据、参考和评分器，分别运行三种变体。prompt_v2 改请求归一化，让带工单号的文件指令提取真正的目标数值；retrieval_v2 取消文档状态过滤；model_v2 注入只宣称完成或替换引用的生成器缺陷。

这些都是确定程序中的受控变化，不是真实 LLM 的提示效果研究。名称用于展示变更进入流水线的位置。真实模型接入后，必须重新运行数据与重复实验，不能继承这里的数值。

11.2 从失败样本看机制

请求归一化修复三条文件任务，对知识回答没有改变。检索变体把旧政策排在可用资料首位，六条知识回答都退步，原来的三条文件失败仍存在，所以失败记录共有九条，而新回归不是九条。

生成器变体的文件正文仍说 done，真实配置未改；知识回答数值可以正确，引用却来自旧文档。它制造了任务层的全面失败，但最低表达指标不一定下降。若只看一项质量分，就可能选错组件继续优化。

11.3 新回归与共同失败分开处理

共同失败说明两边都没有解决的问题；新回归说明候选损坏了基线已具备的行为。二者都值得研究，但在发布中承担不同角色。候选修复若干旧问题的收益，也不能自动抵消新出现的保护条件失败。

报告中的逐样本 reason 是分类线索，不应被当作完整根因证明。例如 wrong_fact_or_citation 包含事实与引用两类机制；进一步分析要查看响应和参考。真实系统可继续细分，但分类必须与实际可观察证据对应。

11.4 真实变更可能有交互

同一个提示可能在不同模型上产生不同作用，检索文档长度也会改变上下文预算。单因素对照适合定位局部变化，不能保证多个改进组合起来仍然改善。

重要组合可以增加配对的因子实验，事先选择需要研究的交互。若比较次数很多，需要控制选择偏差并保留独立确认。不要把所有组合都试一遍，然后只发表最高分配置而省略搜索过程。

11.5 从一次失败形成新的回归资产

确认根因之后，把最小输入、触发条件和验收证据保存为开发集回归样本，并记录它来自哪个故障。若它已经被用于修复，就不应继续称为未曝光验收题。

验证修复要回到同一失败条件，同时检查附近的正常场景，避免只记住一个 ID 或固定答案。当前数据生成器按规则构造项目值，便于改变实体和值进行邻近实验；这仍然不是对真实业务广泛有效性的证明。

练习。 在报告里找出检索变体的六个新回归和三个共同失败。分别提出一个可验证的根因假设。再把请求归一化修复与检索缺陷组合，说明为什么不能直接相加两个单独报告的总分。