第 11 / 21 篇

第 10 章:人工争议需要留下可以追溯的决定

表达质量往往包含需要专业判断的部分。多个引用都可能合理,回答的详细程度也可能因使用场景而异。把这类争议偷偷改成一个分数,会掩盖判断责任;把所有判断都留给人工,又难以稳定执行。

10.1 先区分事实错误与标准不完整

文件确实没有修改,通常不是表达偏好的争议。一个政策引用无法支持当前天数,也不是因为评审者不喜欢措辞。应先保留这些可确定的合同,再把规则覆盖不了的表达问题交给审查。

本实验的 review 候选会给输出标记 needs_review=true。它是工作流演示,不证明现实中存在多少争议,也不表示已经完成真实人工标注。任何待审项都会阻止发布,避免候选通过自称“待审”逃避质量要求。

10.2 决定必须绑定具体报告

lab.review 要求 decisions 文件携带原报告原始字节的 SHA-256。决定中包含样本 ID、reviewer、decision 与 rationale。若报告换了候选、答案或其他内容,旧决定不能悄悄套上去。

仅有 reviewer 字符串不提供身份认证。随书代码记录的是审计形状,不是组织权限系统;生产中需要认证身份、角色授权、时间与签署机制。书中出现的教学评审者不能当作真实专家参与研究的证据。

10.3 人工不能覆盖所有层次

程序只接受 accept_presentation 与 reject_presentation。接受表达可以关闭该样本的待审状态,却不能把 task_pass=false 改为 true,也不能撤销保护文件被改动的安全失败。拒绝表达则会使质量条件失败。

这个设计有意限制裁决范围。若确定性验收器本身错误,应通过有版本的标签或评分器修正重新评估,而不是在人工表里用“看起来可以”覆盖产物证据。两种操作有不同影响,必须分别保存。

10.4 审查过程也需要抽样与复核

真实评审应给出清楚量表、正反例、盲化方式与冲突升级路径。可对部分输出重复标注,分析一致与分歧;不过一致不等于正确,不同专业背景可能共享同一个偏差。

本版没有真实评审者研究,没有报告人类一致率或模型裁判与人类的一致率。六个校准反例由作者构造并用产物事实核查;它们的角色是测试代码行为,而非估计现实评审群体的意见分布。

10.5 保留前后两份结果

审核工具输出新报告,并记录来源报告哈希与决定列表,不改写原文件。这样可以同时查看“机器检查与待审状态下是什么结论”,以及“追加表达决定之后是什么结论”。

如果一份报告在表达审查后仍因产物回归被拒绝,应如实保留。审查不是给发布找一个签字,而是补足合同里确实需要人的判断。每一次例外都应该能解释它改变了什么,又没有改变什么。

练习。 为一条待审输出构造两种表达决定。先故意改错报告哈希,确认工具拒绝;再使用正确哈希,检查任务与安全字段仍保持原样。不要把这项模拟称为真实人工校准实验。