RAG 应用评测方法RAGRetrieval-Augmented Generation应用的评测需要从检索Retrieval和生成Generation两个维度入手同时关注端到端的整体效果。以下是一套系统性的评测框架一、评测维度总览┌─────────────────────────────────────────┐ │ RAG 端到端评测 │ ├──────────────────┬──────────────────────┤ │ 检索层评测 │ 生成层评测 │ ├──────────────────┼──────────────────────┤ │ · 召回率 (Recall) │ · 忠实度 (Faithfulness)│ │ · 精确率 (Precision)│ · 相关性 (Relevance) │ │ · 排序质量 │ · 完整性 (Completeness)│ │ · 上下文相关性 │ · 无害性 (Harmlessness) │ └──────────────────┴──────────────────────┘二、检索层评测指标说明推荐范围RecallKTop-K 结果中命中正确文档的比例≥ 0.80PrecisionKTop-K 结果中真正相关的比例≥ 0.60MRR正确结果在排序中的平均倒数排名≥ 0.65NDCGK考虑排序位置的归一化折损累积增益≥ 0.75Context RelevanceLLM 判断检索片段与问题的相关度0–5 分制评测方法# 检索评测示例使用 ragasfromragasimportevaluatefromragas.metricsimportcontext_relevance metrics{context_relevance:context_relevance,answer_relevancy:answer_relevancy,}resultevaluate(dataset,metrics,responseanswer)三、生成层评测核心指标指标说明忠实度 (Faithfulness)答案是否严格基于检索上下文无幻觉答案相关性 (Answer Relevancy)答案是否直接回答了用户问题答案完整性 (Answer Completeness)答案是否覆盖了所有必要信息引用准确性 (Citation Accuracy)引用的文档片段是否确实支撑答案评测方法推荐 RAGAS 框架# 完整评测fromragasimportevaluatefromragas.metricsimport(faithfulness,answer_relevancy,context_relevance)resultsevaluate(dataset,# 包含 question, contexts, answermetrics[faithfulness,answer_relevancy,context_relevance])RAGAS 评分体系faithfulness0.0–1.01.0 完全基于上下文answer_relevancy0.0–1.01.0 完全切题context_relevance0.0–1.01.0 检索结果全部相关四、端到端评测方法一LLM-as-Judge使用大模型作为裁判对答案进行多维度打分# 典型 Prompt 模板judge_prompt 根据以下标准评估答案质量 1. 忠实度答案是否基于提供的上下文 2. 相关性是否回答了问题 3. 完整性信息是否完整 4. 有害性是否有误导或有害内容 [问题]: {question} [上下文]: {context} [答案]: {answer} 评分1-5分: ... 理由: ... 方法二人工评测适用于关键场景建立评测矩阵维度评分标准权重准确性答案事实正确40%完整性覆盖要点25%相关性切题不跑偏20%流畅度表达自然10%引用准确性引用合理5%五、常见评测数据集数据集用途规模TRQA长文本问答法律、医疗等1000MuSiQue多跳推理25000HotpotQA多跳问答113kNatural Questions真实搜索引擎问题58k自建领域数据集覆盖业务场景自定义六、推荐的评测工作流┌──────────┐ ┌──────────────┐ ┌───────────┐ ┌─────────┐ │ 构建评测集 │ → │ 运行 RAG 管道 │ → │ 计算指标 │ → │ 分析报告 │ └──────────┘ └──────────────┘ └───────────┘ └─────────┘ ↑ │ └──────────── 迭代优化 ←────────────────┘具体步骤构建评测集每个问题标注question / context / answer至少 100 条覆盖核心场景自动化运行批量推理后用ragas.evaluate()计算全指标异常定位找出 faithfulness 0.6 的样本分析是检索问题还是生成问题对比实验调整 chunk 大小、embedding 模型、Top-K 值量化影响持续监控在 CI/CD 中集成评测每次模型/检索策略变更触发评测七、开源工具推荐工具特点推荐场景RAGAS最流行的 RAG 评测框架指标丰富通用首选DeepEval支持多种 LLM 评测指标需要更多自定义指标Arize Phoenix集成追踪与评测生产环境监控LangSmith与 LangChain 深度集成LangChain 生态TruLens简单直观的 RAG 质量跟踪快速验证RAGAS 框架评测指标表格指标分类指标名称说明评分范围关注点检索指标context_precisionTop-K 检索结果中相关文档的比例0–1检索精确度context_recall相关文档在所有检索结果中被覆盖的比例0–1检索召回率context_reciprocal_rank首个相关文档的倒数排名0–1排序首命中率context_normalized_mutual_information检索结果的相关性分布新旧度0–1结果多样性生成指标answer_relevancy答案与问题的相关度0–1切题度faithfulness答案是否严格基于检索上下文无幻觉0–1忠实度/事实正确性answer_correctness答案与参考答案的一致性0–1答案正确性answer_embedding_similarity答案向量与参考答案的相似度0–1语义相似度综合/端到端指标answer_similarity答案与参考答案的整体相似度0–1生成质量整体评估faithfulness_with_citations包含引用忠实度检查的忠实度0–1有引用时的忠实度coherence答案的逻辑连贯性与流畅度0–1表达连贯性特定场景指标citation_precision引用片段与答案的精确匹配度0–1引用准确性citation_recall答案所需引用在检索结果中被覆盖的比例0–1引用全面性strategy_accuracy检索策略对答案的贡献准确性0–1策略有效性指标详细说明检索相关指标context_precision: 在 top-k 结果中有多少是真正相关的文档context_recall: 所有相关文档中有多少被成功检索出来context_reciprocal_rank (MRR): 第一个相关文档出现的位置奖励排名越靠前得分越高生成相关指标faithfulness:最核心指标——判断生成的答案是否“忠实”于提供的上下文没有产生未在上下文中出现的信息即消除幻觉answer_relevancy: 答案是否直接、切题地回答了用户的问题answer_correctness: 与人工标准答案或黄金答案的匹配度评分解读分数质量等级0.8–1.0优秀0.6–0.8良好0.4–0.6需要改进0.0–0.4差/有问题使用示例Pythonfromragasimportevaluatefromragas.metricsimport(faithfulness,answer_relevancy,context_precision,context_recall)resultsevaluate(dataset,# 数据集[{question, contexts, answer, reference_answer}]metrics[faithfulness,answer_relevancy,context_precision,context_recall])print(results)# 输出: DataFrame每行是一个样本每列是一个指标的得分实践建议组合使用不要单一依赖某一个指标建议同时查看faithfulnessanswer_relevancycontext_precisioncontext_recall设定基线针对你的业务场景设定最低可接受阈值如 faithfulness ≥ 0.7人工验证自动指标有局限性关键样本建议进行人工二次核查迭代对比在调整检索策略、嵌入模型、prompt模板后对比评测前后指标的变化八、关键最佳实践1. 不要只看单一指标— Faithfulness 高但 Answer Relevancy 低 答非所问但说了废话2. 检索和生成分开调优— 先确保检索召回正确文档再调生成3. 分领域建立评测集— 通用数据集可能无法反映业务问题4. 关注长尾查询— 简单问题容易掩盖系统在复杂查询上的缺陷5. 设置基线— 对比无检索的纯 LLM 回答量化 RAG 的增益