附录 A：练习参考与排错

数据与切分

第 2 章样本卡至少应有稳定 ID、公开输入、参考证据、保护约束、来源与版本。标签修正必须创建新版本或有明确补丁记录，旧报告保留其原用标签，不能只更新答案而让历史结论失去上下文。

第 3 章同一政策的不同问法仍共享来源，应先按文档版本、组织或项目等真实关联切分。时间边界还要检查重复抓取和后续摘要。分数下降可能来自更严格的独立性，不能只按新旧百分比判断系统变化。

任务与评分器

任务成功、表达与保护条件应分别记录。配置已改但回复空，可以是任务通过而表达失败；回复 done 而文件未改，则是表达最低合同通过而任务失败。评分器的正反例应来自可独立检查的产物，不能直接复制它自己输出的标签。

混淆矩阵本书以应通过为正类。假阳性率是 FP/(FP+TN)，不是 FP/全部样本；本实验为 2/4。六个反例上合同规则全部正确，只说明这些已构造情形被识别，不是总体误判率为零。

统计与发布

按任务复制重复记录，会改变任务等权结果，却未增加项目独立信息。重采样应保留候选配对与项目内关联，说明估计对象。区间退化为一点，只表示当前经验效应没有变化，不能证明真实总体完全确定。

开发集运行不能直接通过验收门槛；预算拒绝应保留计划行。省略 --require-pass 允许程序仅生成报告，并不改变报告中的 gate=false。CI 真正阻止发布需要使用该参数或检查报告决定。

争议与归因

模拟裁决应绑定报告哈希，限制影响层次。接受表达不能把错误产物改为正确；评分器或标签确实有错时，应走有版本的修订与重评。检索变体九条失败中只有六条是新回归，其余三条基线也失败。

常见问题

ModuleNotFoundError 通常表示没有在仓库根目录执行 python3 -m ...。数据哈希不匹配时，先检查文件改动与版本说明。真实模型适配未提供，不应寻找隐藏的 API key 参数。子进程不能直接导入私有评分模块是刻意的输入分离，但不等于宿主已经有敌对代码隔离。

如果测试失败，保留完整名称、环境、命令和报告；不要直接调大阈值或删除样本。先判断失败属于环境、数据、候选、评分、预算还是发布合同，再修改对应责任层。