EVALUATE · COMPARE · RELEASE
AI 应用质量交付：从评测集到发布回归
让样本、评分与发布决定可以复核
用带参考答案的小型数据集和可运行质量流水线，连接样本隔离、任务验收、评分校准、逐样本回归、配对统计、预算与发布门槛。
16 章正文 · 4 个附录 · Aias00
全书目录
- 前言：把“看起来变好”变成一次可复核的交付
- 第 1 章：先写发布决定，再选择指标
- 第 2 章：评测集首先是一份数据合同
- 第 3 章：训练、开发与验收要按真实关联切分
- 第 4 章：任务完成与回答质量分别验收
- 第 5 章：先证明评分器不会轻易被骗
- 第 6 章：把候选执行与验收证据隔开
- 第 7 章：总分之外，保留每个任务的配对变化
- 第 8 章：配对统计与区间不能替代样本设计
- 第 9 章：预算不足不能让困难任务消失
- 第 10 章：人工争议需要留下可以追溯的决定
- 第 11 章：分别改变提示、检索与生成器
- 第 12 章：把发布门槛变成可失败的程序
- 第 13 章：运行完整质量流水线
- 第 14 章：让错误评分、争议与预算在实验中显形
- 第 15 章：接入真实模型之前，还缺哪些证据
- 第 16 章：把评测维护成产品能力
- 附录 A：练习参考与排错
- 附录 B：资料、证据与适用范围
- 附录 C：术语与保证边界
- 附录：随书实验完整代码
下载与离线阅读
EPUB 电子书 · 离线 HTML · 完整 Markdown · 随书实验与测试