RAG 全链路工程从文档解析到混合检索的生产级方案一、RAG 解决的是模型不知道的问题大语言模型训练完成之后知识就基本定格了。它不知道你公司内部的最新制度不知道刚上线的产品细节也不知道某个私有的行业报告内容。硬问它它可能会一本正经地编造答案这就是所谓的幻觉。RAG 的思路很直接既然模型不知道那就先把相关资料从知识库里检索出来塞进提示词再让模型根据材料回答。相当于考试时先翻书找到对应章节再照着章节内容作答。这是目前解决私有知识和幻觉问题最实用、成本最低的技术方案。从信息论角度看RAG 是一种非参数化知识注入机制模型参数存储通用的语言理解和推理能力事实知识存储在外部检索系统中。两者解耦带来明显的工程优势——知识更新只需更新数据库多个模型可以共享同一知识库知识来源可以审计和追溯。与另外两种知识增强方式相比各有取舍。微调Fine-tuning将领域知识编码到模型参数中适合学习领域风格和任务模式但不适合频繁更新的知识。Context Stuffing 直接将所有相关知识放入 Prompt简单但受限于上下文窗口大小。RAG 在两者之间取得平衡既能接入大规模知识库又保持知识的动态更新能力。需要把握一个关键区分RAG 解决的是模型不知道的问题而非模型不会推理的问题。前者靠检索外部知识弥补后者需要改进推理能力。二、完整 RAG 流程离线索引与在线查询RAG 系统的完整生命周期分为两个阶段离线索引构建可检索的知识库在线查询处理用户请求并生成回答。两个阶段的设计质量共同决定 RAG 系统的整体效果。离线索引是 RAG 的基础建设。首先是文档加载需要处理 PDF、Word、HTML、Markdown 等多种格式。不同格式需要不同的解析器——PDF 要处理版面布局和表格结构HTML 要去除导航栏和广告等噪声。接下来是文档分块将长文档切分为语义完整的片段。分块策略直接影响检索精度块太大包含过多无关信息稀释语义信号块太小丢失上下文检索到的片段无法独立理解。分块后每个块通过 Embedding 模型编码为高维向量连同原始文本存入向量数据库。在线查询是 RAG 的服务路径。用户问题先经过查询理解和改写然后通过向量检索和关键词检索的混合方式召回候选文档再经重排序模型精排最终将 Top-K 结果组装为上下文交由 LLM 生成回答。整个流程中一个容易被忽视的环节是元数据管理。每个文档块都应记录来源信息文件名、页码、章节标题等在后续的来源标注、权限过滤和检索优化中至关重要。企业场景中不同部门的知识库可能需要权限隔离通过元数据过滤可以在检索阶段实现访问控制。另一个关键设计决策是 Embedding 模型选择。不同模型在语言支持、向量维度、检索精度上差异显著。中文场景推荐支持中英双语的模型。模型确定后不宜频繁更换——更换 Embedding 意味着重建整个向量索引。三、文档分块策略从固定长度到语义分块文档分块是 RAG 中最具工程挑战的环节之一直接决定检索的召回率和精确率。理想的分块应满足三个条件语义完整每个块可独立理解、边界合理不割裂紧密相关的信息、大小适中不太大稀释检索信号不太小丢失上下文。最基础的策略是固定长度分块按固定 Token 数量切分文本实现简单但可能在句子中间切断破坏语义完整性。工程中通常配合滑动窗口设置重叠区域缓解边界问题。按句子和段落分块是固定长度的改进版以自然语言边界句号、换行作为切分点保证语义完整。适合结构良好的文章类文档对无结构文本效果有限。递归字符分块是目前最常用的默认策略按分隔符优先级递归切分先尝试最高优先级分隔符如双换行块仍然太大再用次优先级如单换行、句号直到满足大小要求。中文场景下分隔符优先级建议调整为中文标点双换行、单换行、句号、叹号、问号、分号、逗号、空格避免中文语义在标点处被粗暴切断。语义分块更进一层计算相邻句子的 Embedding 相似度相似度低于阈值时认为话题切换在此处切分。语义连贯性更好但需要对每个句子向量化计算成本更高。不同文档类型应选不同分块策略。Markdown 利用标题层级作为边界代码以函数和类为单位PDF 需要单独处理表格和图片——表格转结构化文本图片描述信息作为独立块。进阶技巧是父子分块检索时用较小的子块保证精度生成时将子块所属的父块更大的上下文注入 Prompt兼顾检索精确性和上下文完整性。四、Hybrid Search 与 Reranking检索质量的双重保障检索是 RAG 的核心环节检索质量直接决定生成质量的上限。单一检索方式各有局限纯向量检索擅长语义匹配但可能遗漏精确匹配的关键词纯关键词检索BM25擅长精确匹配但无法理解语义。Hybrid Search混合检索将两者结合是工业级 RAG 的标准配置。向量检索将查询和文档都编码为高维向量计算相似度。它使用双塔模型Bi-Encoder查询和文档独立编码因此可以离线预计算文档向量在线检索时只需计算查询向量与预存向量的相似度速度快。优势在于语义理解弱点是对精确匹配不敏感。关键词检索BM25基于词频统计一个词在文档中出现越多、在整个语料库中出现越少该文档与该词的相关性越高。BM25 对精确匹配非常敏感适合检索特定 ID、专有名词、技术术语。中文场景下BM25 需要先做分词jieba否则按单字切分效果大打折扣。Hybrid Search 的实现是并行执行两种检索然后通过融合算法合并结果。最常用的是 RRF倒数排名融合对每个文档计算它在各检索结果列表中排名的倒数之和按融合分数排序。RRF 无需调参对不同检索器的分数尺度不敏感天然规避了向量余弦距离与 BM25 词频得分量纲不一致的问题。Hybrid Search 之后通常接 Reranking重排序模块。必要性在于向量检索的双塔模型为了效率牺牲了精度——查询和文档独立编码无法捕获深层交互特征。重排序使用 Cross-Encoder将查询和文档拼接输入模型进行全交叉注意力计算更精确地评估相关性。Cross-Encoder 的计算成本远高于 Bi-Encoder。Bi-Encoder 只需计算一次查询向量然后与所有文档向量做点积Cross-Encoder 需要对每个query, document对单独前向传播。因此工程中采用两阶段架构先用 Bi-Encoder 召回 Top-50 到 Top-100 候选再用 Cross-Encoder 精排取 Top-5 到 Top-10。五、生成侧Query 改写与上下文压缩很多做 RAG 的人把注意力全放在检索上结果检索做得不错大模型答出来还是前后矛盾、答非所问。原因往往在生成侧的输入没有处理好。Query 改写针对用户提问。用户经常问它支持这个功能吗这个它指代什么LLM 在生成前根本不知道。改写的目标是让问题更完整、更清晰指代消解、扩展缩写、拆解复合问题、把口语化表达转换为更利于检索的关键词句式。改写本身可以用一个小型 LLM 或者规则模板来做。上下文压缩是对检索回来的文档进行处理。Top K 个片段里总有几句废话、重复内容、或者和问题无关的铺垫。直接全塞给大模型它需要费力区分哪些有用既费 token 又容易出错。极端做法是让一个小模型把片段里的关键信息抽取出来只保留答案相关的句子。Prompt 结构也值得推敲。一个通用的检索回答提示词模板核心要求有三条只基于上下文回答、不知道就说不知道、必要时返回引用来源。这三句话看着简单但每一句都能挡住一类常见错误。加上引用来源还能让用户自己核对答案。六、评估与持续迭代你怎么证明你的 RAG 变好了分两步检索环节看召回相关性——该被召回的相关片段有没有被召回、排得靠不靠前命中率、MRR 这类指标生成环节看忠实度faithfulness——答案是不是老老实实基于检索片段、有没有脱离材料自由发挥以及答案对问题的相关性。先建一个黄金测试集50-100 条典型用户问题人工标注标准答案。每次改动跑同一套测试集对比指标而不是凭感觉调参。上线后把用户真正问过的问题沉淀下来定期补充进测试集持续对新增的问题类型做针对性优化。这样系统不是越用越旧而是越用越聪明。七、从 RAG 到 AgentAdvanced RAG 并不是终点只是建立可靠知识问答的基础。现在很多团队已经把 RAG 的检索能力封装成工具让 Agent 在回答复杂问题时自己决定什么时候调用检索器“需要检索哪种类型的知识”。这样一来RAG 从一次性检索变成了多轮迭代的一部分模型可以先检索、再思考、继续检索直到信息足够再回答。一个实用的分层架构是把 Advanced RAG 流水线当成知识库问答的核心引擎上层挂一层意图识别和路由逻辑。用户问题先判断是不是需要知识库再决定走哪个索引库最后才进入生成环节。这种分层带来的灵活性比单独调优某几个参数要明显得多。