用 EvalScope评测 RAG 应用操作手册EvalScope 通过内置的RAGEval 评测后端原生支持 RAG 系统的「检索层独立评测 生成层独立评测 端到端全链路评测」三层架构底层集成 MTEB检索评测与 RAGAS生成与端到端评测两大行业标准框架完美匹配三个核心指标分开计算、组合归因的需求结果可复现、可横向对比可直接嵌入 CI/CD 流水线。一、前置准备环境与基础配置1. 环境安装pipinstallevalscope# 安装 RAG 评测依赖pipinstallragas mteb2. 核心能力说明EvalScope 的 RAG 评测统一走RAGEval后端内置两套评测工具对应不同层级评测工具对应层级核心用途核心指标MTEB检索层独立评测纯验证检索/重排序能力完全排除生成模型干扰RecallK、PrecisionK、NDCGK、MRRRAGAS生成层/端到端评测验证生成忠实性与全链路答案质量Faithfulness、AnswerRelevancy、AnswerCorrectness3. 被测 RAG 系统适配为实现分层精准评测被测 RAG 系统需提供三类接口或支持通过数据集传入中间结果纯检索接口输入 query返回 TopK 召回片段仅片段ID/内容不生成答案纯生成接口输入 query 固定上下文片段返回生成答案不做检索全链路接口输入 query返回最终答案完整 RAG 流程二、第一层检索召回率独立评测MTEB 工具核心目标控制单一变量只评测检索系统的召回与排序能力完全排除生成模型干扰精准计算检索召回率。1. 测试集准备准备标准检索评测数据集JSON 格式每条样本包含{query:2024年公司营收同比增速是多少,positive_passages:[chunk_id_001,chunk_id_023],negative_passages:[chunk_id_045,chunk_id_108]}positive_passages人工标注的必须命中的相关片段IDnegative_passages不相关片段用于排序质量校验2. 评测任务配置fromevalscope.runimportrun_task retrieval_task_cfg{eval_backend:RAGEval,eval_config:{tool:MTEB,# 检索层用 MTEB 工具model:[{# 被测 RAG 的 Embedding 模型/检索服务model_name_or_path:your-rag-retrieval-endpoint,is_cross_encoder:False,max_seq_length:512,}],eval:{testset_file:./datasets/retrieval_golden_set.json,metrics:[Recall10,Precision10,NDCG10,MRR],top_k:10# 与生产环境 TopK 保持一致}}}run_task(task_cfgretrieval_task_cfg)3. 输出结果自动输出检索层核心指标指标说明Recall10Top10 召回结果中命中的相关片段 / 全部相关片段NDCG10归一化排序质量综合衡量排名先后MRR平均倒数排名衡量第一条相关结果的位置本层指标仅由分块策略、Embedding 模型、检索算法、重排序影响与生成模型无关是 RAG 质量的底座基准。三、第二层生成忠实度独立评测RAGAS 工具核心目标固定输入上下文只评测生成模型的忠实性完全排除检索质量干扰精准计算生成忠实度与幻觉率。1. 测试集准备准备生成层专用数据集固定同一批召回上下文确保每次评测输入完全一致{user_input:2024年公司营收同比增速是多少,retrieved_contexts:[2024年公司总营收120亿元同比增长15%增速较上年提升3个百分点。,营收构成中ToB业务占比65%ToC业务占比35%。],response:,# 留空由被测系统生成reference:2024年公司营收同比增速为15%}关键retrieved_contexts固定不变不使用真实检索结果避免检索波动影响忠实度判断2. 评测任务配置faithfulness_task_cfg{eval_backend:RAGEval,eval_config:{tool:RAGAS,# 生成层用 RAGAS 工具eval:{testset_file:./datasets/generation_fixed_context.json,# 裁判模型能力需强于被测模型critic_llm:{model_name:qwen3-max,api_base:https://your-judge-model-endpoint/v1,api_key:your-api-key,},metrics:[Faithfulness,AnswerRelevancy],language:chinese}}}run_task(task_cfgfaithfulness_task_cfg)3. 核心指标说明指标定义计算逻辑Faithfulness忠实度回答基于上下文的程度有上下文支撑的原子事实数 / 总原子事实数AnswerRelevancy相关性回答与问题的匹配程度回答内容与问题的语义相关度幻觉率 1 - 忠实度本层指标仅由生成模型、系统 Prompt、约束指令影响与检索能力无关。四、第三层端到端答案正确率评测RAGAS 工具核心目标全链路跑通模拟真实用户请求评测 RAG 系统整体解决问题的能力计算端到端答案正确率。1. 测试集准备准备业务黄金测试集Golden Set每条样本包含问题与标准答案{user_input:结合营收和成本计算2024年的净利润率,reference:2024年净利润率约为8.3%净利润10亿/营收120亿}2. 评测任务配置e2e_task_cfg{eval_backend:RAGEval,eval_config:{tool:RAGAS,eval:{testset_file:./datasets/rag_e2e_golden_set.json,# 被测 RAG 系统的全链路接口generator_llm:{model_name:your-rag-system,api_base:https://your-rag-endpoint/v1,api_key:your-api-key,},critic_llm:{model_name:qwen3-max,api_base:https://your-judge-model-endpoint/v1,api_key:your-api-key,},metrics:[AnswerCorrectness,Faithfulness,AnswerRelevancy],language:chinese}}}run_task(task_cfge2e_task_cfg)3. 核心指标说明指标定义AnswerCorrectness答案正确率最终回答与标准答案的事实一致性与完整度同时输出忠实度、相关性辅助定位问题出在检索还是生成五、三维组合归因与结果分析通过三层评测的指标组合自动匹配归因矩阵精准定位根因层级。1. 指标汇总模板层级核心指标实测值等级高/中/低检索层Recall1082%中生成层Faithfulness88%高端到端AnswerCorrectness76%中2. 自动归因规则EvalScope 可通过自定义规则引擎根据指标组合自动输出根因判断检索召回率生成忠实度端到端正确率根因定位优化优先级70%低≥85%高低检索层瓶颈P0≥85%高70%低低生成层瓶颈P0≥85%高≥85%高低知识底座/推理瓶颈P1低低低全链路整体短板P03. 细粒度根因定位召回低 忠实度高问题在检索优化召回策略即可召回高 忠实度低问题在生成优化 Prompt 或生成模型召回高 忠实度高 正确率低问题在知识库本身或多跳推理能力六、与 Langfuse v2.42.0 联动落地结合 Langfuse 的全链路 Trace 能力实现「评测执行 → 轨迹回放 → 结果回写 → Bad Case 沉淀」的完整闭环。1. 标识透传EvalScope 发起请求时在 Header 中透传eval_case_id被测 RAG 系统写入 Langfuse Trace 的 metadata 中实现用例与链路一一对应。2. 结果回写评测完成后通过 Langfuse API 将三层指标、评分、根因标签回写到对应 Trace 中检索节点 Span写入recall_score、retrieval_level生成节点 Span写入faithfulness_score、generation_level根 Trace写入correctness_score、bottleneck_type3. Bad Case 沉淀在 Langfuse 中按bottleneck:retrieval等标签筛选失败用例一键导入 Langfuse Dataset人工复核后补充进 EvalScope 测试集形成「评测发现问题 → 轨迹定位根因 → 沉淀测试用例 → 回归验证优化」的闭环七、最佳实践与避坑最佳实践严格控制变量每层评测只保留一个变量测检索固定生成测生成固定上下文确保指标可归因K 值与生产一致评测用的 TopK 必须和生产环境完全相同否则指标无业务价值裁判模型提前校准先用 50~100 条人工标注样本校准 LLM-as-JudgeCohen’s Kappa ≥ 0.75 再批量评测版本绑定每次评测绑定知识库版本、Prompt 版本、模型版本确保结果可横向对比分层执行顺序自下而上先过检索层再测生成层最后跑端到端下层不达标不进入上一层常见避坑变量混同测忠实度时用真实检索结果每次检索都不一样导致忠实度波动无法归因数据泄露测试问题直接摘抄知识库原文指标虚高上线效果断崖式下跌只测端到端不做分层评测出问题不知道是检索还是生成的锅优化无方向裁判模型弱于被测模型用小模型判大模型评分偏差极大完全不可信不固定参数每次评测 temperature、TopK 等参数不一样结果不可复现、不可对比