RAG 评估体系

Catalogue
  1. 1. 保存评估输入
  2. 2. 五项指标各自检查什么
    1. Context Precision 有用资料是否靠前
    2. Context Recall(上下文召回率)所需证据是否齐全
    3. Faithfulness(忠实度)回答是否有依据
    4. Answer Relevancy 回答是否切题
    5. Factual Correctness(事实正确性)回答是否正确、完整
  3. 3. 用 RAGAs 评分
    1. 核心评分调用
  4. 4. 比较前后结果并定位问题

RAG 评估要分开检查检索是否提供了足够的证据、回答是否正确使用了证据。本篇用五项核心指标定位问题,再用 RAGAs(Python 包名 ragas)比较优化前后的输出。

1. 保存评估输入

生成模型实际收到的资料称为上下文(context)。每条问答保存四个字段:

字段 内容
user_input 用户原始问题
retrieved_contexts 筛选、重排和截断后实际使用的有序原文,类型为 list[str]
response 系统生成的回答
reference 人工整理的正确参考答案,只用于评估,不交给被测系统

用虚构退款资料举例,用户问:“显示已退款,为什么银行卡还没到账?”

文本块 资料内容(简化)
c01 退款通常需要三个工作日,节假日可能顺延。
c02 已退款表示平台已发起操作,不代表银行卡实时到账;未到账时可核对支付渠道处理记录。
c10 发票修改说明。

参考答案应覆盖三个事实:状态不等于到账、退款处理时间、核对支付渠道。c01、c02 提供证据,c10 无关。

2. 五项指标各自检查什么

RAGAs 让模型担任评估裁判,判断资料是否有用、拆分事实并核对依据。下面的数字按人工判断计算,仅用于解释指标。

Context Precision 有用资料是否靠前

ContextPrecision 根据问题与参考答案判断每块资料是否有用。在每个相关块的位置,计算“截至此处,相关块数 / 已返回块数”,再取平均:

1
2
[相关,无关,相关] → (1/1 + 2/3) / 2 ≈ 0.833
[相关,相关,无关] → (1/1 + 2/2) / 2 = 1

它衡量相关资料的排序,不是简单的“相关块数 / 返回块数”;末尾有无关资料也可能得 1。官方定义

Context Recall(上下文召回率)所需证据是否齐全

ContextRecall 衡量“回答所需的证据,找全了多少”,计算方式为 有上下文依据的参考事实数 / 参考事实总数。

只找到 c01,仅支持参考答案中的处理时间,示意分数为 1/3;找到 c01、c02,三个事实都有依据,示意分数为 1。它计数的是参考事实,而非文本块。官方定义

Faithfulness(忠实度)回答是否有依据

Faithfulness = 有上下文依据的回答事实数 / 回答事实总数。

回答“退款通常需要三个工作日,今天一定到账”,前一项有依据,后一项没有,按两项事实计算的示意分数为 1/2。官方定义

上下文召回率检查参考答案的事实,忠实度检查生成回答的事实。例如,退款问题需要状态含义、处理时间、渠道核对三项证据;系统只找到处理时间,也只回答“通常需要三个工作日”。回答全部有依据,忠实度可以很高;但三项所需证据只找到一项,按这个划分,上下文召回率只有 1/3。

Answer Relevancy 回答是否切题

AnswerRelevancy 根据回答反推几个“这段回答能回答的问题”,再用 Embedding 模型将问题转换成向量,比较反推问题与原问题的含义相似度。

用户问退款到账,回答介绍发票修改,就没有回应问题。回答切题不代表内容正确。官方定义

Factual Correctness(事实正确性)回答是否正确、完整

FactualCorrectness 对照参考答案检查回答中的事实。本篇使用 F1,兼顾多写错误内容与漏写必要内容:

1
2
3
事实精确率 P = 回答中得到参考答案支持的事实数 / 回答事实数
事实召回率 R = 回答覆盖的参考事实数 / 参考事实总数
F1 = 2 × P × R / (P + R)

参考答案有三个事实,回答正确覆盖两个且没有增加其他事实,则 P = 1、R = 2/3,F1 = 0.8。官方定义

Faithfulness (忠实度) 对照上下文,Factual Correctness (事实正确性) 对照参考答案。 引用过时资料可能忠实却错误;参考答案写错或漏项,也会影响正确性评分。

3. 用 RAGAs 评分

下载完整示例包,解压并进入 rag-evaluation-example 目录。cases.jsonl 保存人工整理的问题、参考答案和相关文本块 ID,作为评估基准;before.jsonl、after.jsonl 保存两组手写的检索与回答输出。JSONL 每行是一条 JSON 对象。包内六题及两组输出都是教学数据,不是实际优化成绩。

正式项目中,问题可以从真实用户日志、业务需求或历史工单中抽样,检索上下文和回答则从系统运行中自动导出;参考答案与相关文本块 ID 仍需人工或领域专家审核。模型可以辅助整理初稿,但未经审核的内容不能直接作为评估基准。

使用 Python 3.12、ragas==0.4.3。默认裁判为 gpt-4o-mini-2024-07-18,评估用向量模型为 text-embedding-3-small,只参与回答相关性计算,与检索模型独立。

安装依赖并先评一道题的两组输出:

1
2
3
4
5
6
7
8
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
export OPENAI_API_KEY='替换为自己的密钥'
export RAGAS_DO_NOT_TRACK=true

python eval_ragas.py --limit 1 --output demo-scores.jsonl
python report.py --scores demo-scores.jsonl

模型调用会发送评估文本到 OpenAI,并按用量计费。计费说明 RAGAS_DO_NOT_TRACK 只关闭 RAGAs 使用统计。也可通过适配器接本地模型,速度、资源占用和判断能力取决于硬件与模型。

核心评分调用

这里的四个评估字段是:

  • user_input:用户提出的问题。
  • retrieved_contexts:实际交给生成模型的检索资料。
  • response:系统生成的回答。
  • reference:用于评估的正确参考答案。

不同指标按需读取这些字段。下面以忠实度评分为例:脚本按 id 将 cases.jsonl 与 before.jsonl 或 after.jsonl 的对应记录合并为 row。其中 user_input、reference 来自 cases.jsonl,retrieved_contexts、response 来自对应的输出记录。

judge 是完整脚本通过 llm_factory() 创建的裁判。读取和合并数据的代码见附件 common.py、eval_ragas.py。

1
2
3
4
5
6
7
8
9
10
11
from ragas.metrics.collections import Faithfulness


async def score_faithfulness(row, judge):
scorer = Faithfulness(llm=judge)
result = await scorer.ascore(
user_input=row["user_input"],
response=row["response"],
retrieved_contexts=row["retrieved_contexts"],
)
return result.value

这里没有传入 reference,因为 Faithfulness 只判断回答是否被实际上下文支持;需要参考答案的指标会在完整脚本中读取该字段。ascore() 异步评分,.value 返回分数。完整脚本按同样方式调用五项指标,并为 FactualCorrectness 设置 mode="f1"。确认首题正常后,去掉 --limit 并使用新的输出文件名,即可评全部题目。

附件已验证离线计算与模拟调用;真实模型评分和真实 RAG 前后对比未实测。

4. 比较前后结果并定位问题

固定测试题、语料、生成模型与提示词、最终上下文数量、评估配置,只改变待验证的检索方案。例如沿用混合检索与重排的两个配置:

1
2
before:Embedding 检索 → 最多 2 块 → 生成回答
after: BM25 + Embedding 检索 → 重排 → 最多 2 块 → 生成回答

BM25 补充词语匹配,重排对候选重新排序。用同一批问题运行两个配置,将真实输出按示例格式导出为 actual-before.jsonl、actual-after.jsonl,保留相同题目 ID。接口采集方法见附件 README。

1
2
python eval_ragas.py --before actual-before.jsonl --after actual-after.jsonl --output actual-scores.jsonl
python report.py --before actual-before.jsonl --after actual-after.jsonl --scores actual-scores.jsonl

评估脚本只读取保存的输出,不运行 RAG。查看报告中的 Ragas 分数:delta = after - before;均分只使用同一道题两边都成功的结果。失败记为 null,不当作 0 分,必须同时检查有效配对数。

退款教学样本中,before 检索到 c10、c01,只回答处理时间;after 检索到 c02、c01,补上状态含义和渠道核对方式。应重点检查上下文召回率和事实正确性的变化;before 已有依据,忠实度可能并未明显提高。

以下分数组合提供排查线索,原因需回看逐题记录:

分数表现 优先检查
上下文召回率低 语料缺少事实,或检索、筛选遗漏了关键证据
上下文召回率高、Context Precision 低 有用资料排在无关资料之后
上下文召回率高、忠实度低 回答增加了承诺、编造事实或误用资料
忠实度高、事实正确性低 回答遗漏必要事实,或引用不适用的规则
Answer Relevancy 低 回答跑题、遗漏重点,或属于合理拒答

抽查改善和下降的题;裁判存在波动,小幅提升需重复评分确认。正式验收使用独立于调参的测试题,无答案题单独检查合理拒答,不把 0.8 当作通用合格线。

同时比较请求延迟、失败率和调用成本。RAGAs 评分耗时属于评估实验,不计入用户问答耗时。