第 15 章：接入真实模型之前，还缺哪些证据

15.1 保持输入与验收接口稳定

适配器接收公开任务、允许的证据和工作区，产生结构化响应与实际产物。私有参考仍留在评分侧。不要为了方便把答案拼进提示，也不要让候选获取评分脚本写权限。

对文件任务，模型可以提出修改，由受控执行层写入工作区，最后读取真实产物验收；对知识回答，可保留结构化事实与引用字段，另收集自然语言回答以做独立表达判断。现有 task、quality、safety 分项应继续存在。

本书没有提供任何供应商 API 的可执行适配，没有配置真实 key，也没有验证特定模型支持结构化输出或工具调用。接入者需要按所选服务当前官方合同另行实现认证、协议翻译与错误处理，并保存版本和运行证据。

15.2 随机重复与独立场景分别建模

同一任务重复采样可以估计运行波动，多个独立项目用于研究场景差异。把同一任务的十次输出当作十个独立客户，会低估依赖性。报告应保留项目、任务与重复层级，选择与估计对象相符的方法。

如果服务没有稳定 seed 或版本固定能力，应如实记录。冻结提示和参数只能控制部分变化，不能保证供应商后端完全相同。真实实验可能需要交错运行候选，避免时段、负载和缓存影响。

15.3 费用与未知结果重新定义

真实用量可能包括输入、输出、缓存、图像、工具结构或服务内部计量，字节单位不能充当它们的通用替代。应区分本地估算与服务端确认，并处理重试、失败请求和账单迟到。

没有最终用量时，应保留 unknown，而非将它填为零。供应商是否对某类失败计费，需要按所选合同核对。流水线的预算上限还应包含并发预留与评测停止策略，防止昂贵的异常持续扩大。

15.4 评分器需要新的校准资料

真实模型会产生代码块、附加解释、拒答、格式变体与冲突陈述。当前字段检查只能覆盖约定子集。新增解析容错可能引入误判，因此必须先在固定产物上校准，再比较候选。

模型裁判应配有代表性人工参考和反例，独立考察错误放行、错误拒绝、顺序影响以及对不可信内容的反应。它不能替代本来能确定检查的产物，也不应在缺少校准时与生产门槛直接绑定。

15.5 从小范围验证逐步扩大

可以先运行少量只读、低费用任务，核对端点、用量和结构；再扩展工具动作、长任务和更复杂文档。每一阶段明确可以停止的条件，保存失败与未覆盖范围。

只有在任务样本、标签、隔离、评分、统计与成本都具有足够证据后，才讨论业务发布结论。当前教学管线为这些接口提供可审查起点，没有替你完成剩下的工作。

练习。 写一份真实模型适配计划，分别列出已经有依据的接口、需要查询的供应商合同、需要实跑的异常路径和不允许沿用的教学数字。不要先填一个模型名称再把其余保证默认补齐。