RAG 评估与生产工程

一条 Demo 能回答几个问题，并不等于知识库可以上线。生产 RAG 还要处理评测基线、文档变化、删除传播、权限隔离、模型迁移、成本预算，以及表格、数据库、代码和图片等非纯文本数据。

文章	重点
RAG 评估与错误归因	检索、排序、上下文、答案、引用、安全、成本和延迟的分层评估
企业级 RAG 工程	增量索引、CDC、版本、ACL、多租户、缓存、迁移、可观测性与容量规划
企业级 RAG 如何降低首 Token 延迟	从检索关键路径、上下文长度、Prompt/KV Cache、模型服务和流式传输优化 TTFT
结构化与多模态 RAG	Table RAG、Text-to-SQL、Code RAG、PDF、图像、音视频和实时检索

工程部分的核心方法是把“答案错了”拆开：原始数据是否正确、索引是否新鲜、权限是否生效、正确证据是否被召回、排序是否合理、模型是否忠实使用证据。每一层都应有自己的日志、指标和回归样例。

最后记住

先测量关键路径
  -> 简单问题走短路径
  -> 检索分支并行
  -> 减少最终上下文
  -> 复用稳定 Prompt / KV Cache
  -> 处理模型排队和网络
  -> 用质量、安全、成本共同验收

企业级 RAG 的低延迟不是牺牲权限和证据质量换来的“快”，而是在不突破安全和质量门禁的前提下，减少不必要的工作、缩短关键路径，并复用已经做过的计算。