附录C 接入自己的文档前
下面的清单按证据流转顺序安排。它不是生产合规声明,而是一组可以转化为本地实验的问题。
- 来源:为同一租户内的文档建立稳定编号,区分原文件摘要与规范投影摘要;写清版本顺序与源系统删除事件。
- 解析:先支持实际需要的格式,保存解析版本、原始对象与位置映射。确认代码块、表格、附件和 OCR 的处理范围。
- 切分:固定窗口与重叠,对边界条款检查资格、金额和例外条件是否仍在可理解上下文中。验证每个区间能从规范正文重建。
- 表示:将词项基线与实际模型分开命名。记录 tokenizer、模型文件、池化、指令和截断方式;更换契约重建索引。
- 召回:对每个通道保存名次与原始分数;先检查权限过滤,再检查候选深度。不要只保留融合后的一个数字。
- 重排:明确特征或模型输入。构造标题相近但正文无关的难负例,区分候选未覆盖与排序不正确。
- 引用:在组装时复查当前版本与权限,从存储重读原文;先验证片段完整性,再评估它是否真正支撑回答。
- 更新:先解析与编码,再原子替换投影。测试重复事件、冲突版本、编码失败和旧事实搜索。
- 删除:保留墓碑并阻止旧事件复活;说明活动索引不可见与物理擦除、备份清除的不同范围。
- 撤权:缓存一次命中,再撤销用户权限,复用旧命中尝试输出;同时确认其他合法用户仍能访问。
- 评估:固定输入清单,保留逐条结果;把词面、模型向量、混合与重排对照放在同一查询集上。加入未知问题和无权文档。
- 运行:补齐可信身份、维护接口隔离、索引版本迁移、写入故障处理与备份恢复;不要把调试日志变成另一份无权限正文库。
如果只能先做一项,先做“旧命中经历状态变化后仍能否输出”的实验。它同时触及版本、授权、缓存和引用,通常比再调整一个相似度阈值更容易暴露系统结构中的问题。
完成清单之后,再决定是否需要近邻索引、独立重排模型或生成式回答。新增组件应能够解释它解决哪一种已经观察到的失败,并接受相同的生命周期检验。