ENGINEERING NOTES
AI 网关与模型路由实战
从流式协议到预算与故障恢复
围绕可运行的 HTTP 网关与模型服务替身，理解能力路由、流式提交、故障切换、取消、租户预算与证据链。
17 章正文 · 4 个附录 · Aias00
全书目录
- 前言：把一条模型请求变成可以解释的系统行为
- 第 1 章：从用户请求到一次上游尝试
- 第 2 章：把协议兼容写成可以测试的合同
- 第 3 章：为上游建立能力、信任和版本清单
- 第 4 章：让路由决策可以解释，也可以回退
- 第 5 章：流式输出是一串有边界的事件
- 第 6 章：超时、取消和业务撤销是三件事
- 第 7 章：重试之前，先判断自己知道什么
- 第 8 章：先获得准入，再消耗共享资源
- 第 9 章：用量未知，也是一种需要保存的状态
- 第 10 章：把身份、内容与执行权分开
- 第 11 章：让成功率、延迟与成本说同一件事
- 第 12 章：用故障矩阵验证合同
- 第 13 章：先运行一条完整的 HTTP 链路
- 第 14 章：让切换发生在有证据的边界
- 第 15 章：并发结束了，预算为什么还被占用
- 第 16 章：从单进程实验推导生产边界
- 第 17 章：设计你自己的 AI 网关
- 附录 A：练习解题方向
- 附录 B：来源、版本与复核方法
- 附录 C：术语与状态速查
- 附录：随书实验完整代码
下载与离线阅读
EPUB 电子书 · 离线 HTML · 完整 Markdown · 随书实验与测试