第 7 章：总分之外，保留每个任务的配对变化

7.1 配对的对象必须相同

比较时，两边应使用相同任务、初始文件、证据版本与评分器。否则差值可能来自难度变化。对随机系统，还要记录运行参数和重复方式；相同 seed 并不保证不同供应商共享相同随机过程。

随书 rows 对每个样本保存 baseline 与 candidate 两份结果，包含分项判定、失败原因、响应、产物哈希、用量状态和可见文件清单。任务 ID 连接两边，不能用结果列表当前顺序默默对齐。

本实验候选确定且离线，不需要用重复运行估计模型采样变化。多跑十次同一个确定程序不会产生十份独立业务样本，也不应把它们计为更大的总体。

7.2 四格变化比一个平均数更有解释力

逐样本任务结果可分为都成功、修复、回归、都失败。修复说明新版本解决了哪些问题；回归尤其需要分类与审查；都失败则提醒我们，版本没有破坏旧功能不等于它已经足够好。

在验收集里，基线对三条带工单号的文件指令取错数字，六条知识回答都正确。prompt_v2 的请求归一化修复三条文件任务，没有引入新失败。12 条任务中成功比例差为 3/12=0.25。

这里修复的是确定性数字提取缺陷。它不是语言模型理解能力提高了 25 个百分点，也不是证明这组题之外仍有相同收益。报告保留具体变更与样本 ID，就是为了防止这个结论被过度解读。

7.3 分项变化避免错误归因

model_v2 可能给出正确天数与流畅消息，却引用旧文档；它的最低表达检查仍可能通过，任务验收失败。文件任务里，done 也不能证明产物存在。若只比较质量字段，会漏掉这些确定回归。

应分别展示任务、表达、安全、运行完整性和人工待审情况。不同指标之间可以有关联，但不能通过一个加权平均让严重失误消失。权重也需要业务理由与事先记录，不能在看到候选表现以后临时调整。

7.4 报告应能落回产物

当某条任务从成功变失败，报告至少要能定位它的输入版本、候选配置、输出、验收依据和失败分类。对含敏感内容的真实样本，完整产物应保存在受控存储中，报告仅暴露必要定位符；公开样例则可使用专门构造的脱敏反例。

本实验所有文本都是合成数据，因而能公开完整响应，但这不是生产日志的默认保留策略。保留可解释证据与无差别保存用户内容，是两件不同的事。

练习。 选择一份比较报告，分别列出三条修复、三条回归与三条共同失败。若回归为空，挑选最重要的共同失败解释当前系统仍有哪些边界，而不是把报告写成“无问题”。