用户问“退款报 E1007,怎么处理?”,资料中的错误码需要准确匹配;用户换成“订单上说钱退了,可卡里还没动静”,程序又需要理解口语与政策原文之间的关系。只用一种检索方式,可能顾得上其中一类,漏掉另一类。
上一篇《HyDE 与 Multi-Query 查询改写》调整了送去检索的文字。本篇保持用户问题不变,改进找资料的方式:实现 BM25 + Embedding 混合检索,合并两路候选,再通过 Cohere Rerank 重新排序,挑出交给回答模型的原文。
下面沿用虚构退款业务,用 10 个短文本块逐步实现。完整示例随文提供,先跑本地检索,再接在线重排,不需要先启动前文的问答 API。
1. 先分清“找资料”与“挑资料”
先看两条原文,错误码和规则均为教学虚构:
c02,退款状态:订单页面显示已退款,表示平台已经发起操作,不表示银行卡实时到账。如果支付账户尚未收到款项,需要核对支付渠道的处理记录。
c03,E1007:退款错误码 E1007 表示原支付账户已注销,自动原路退款失败。请联系人工客服核验身份并登记新的收款方式,不要重复提交退款申请。
BM25 是一种根据词语匹配情况给文档打分的方法。问题与原文都出现 E1007,便提供了一条直接的匹配线索。它适合补充错误码、产品名、专业词等明确的文字线索,但不能只靠词语匹配理解“卡里还没动静”和“支付账户尚未收到款项”的关系。
Embedding 检索先把文档和问题分别转换成向量,再比较向量的相似程度。它能够处理一部分说法不同、含义接近的情况。不过,相似度高的原文也可能只是主题相近:讲“退款金额”的资料,未必能解释“为什么还没到账”。
混合检索(Hybrid Search)让两种方式查同一批资料,再合并结果。它想解决的是候选资料覆盖不足的问题。这里把初步找到的文本块叫作“候选”,因为它们还需要继续筛选。
重排(Rerank)发生在候选已经找到之后。重排模型接收用户问题和候选原文,重新计算相关程度,再排序。本例还会只保留前两块,减少送给回答模型的无关资料。Modular RAG 的检索与检索后处理章节
整体流程可以先用这一张图理解,后面逐步实现每个环节:
1 | ┌→ BM25 词语检索 ──┐ |
图中的两路表示分别检索;为了方便逐步观察,示例代码先后调用它们。重排只能处理交给它的候选,知识库里没有的资料,或者两路都没有找到的资料,都不能靠重新排序补出来。
2. 准备一组可以反复比较的资料
下载完整示例包,解压并进入 hybrid-rerank-example 目录:
1 | chunks.jsonl 10 个短文本块,包含固定 ID、原文与来源 |
资料重新整理为较短的文本块,每个文本块都保留原文、来源和固定 ID。例如:
| ID | 文本块内容 | 来源与章节 |
|---|---|---|
c01 |
仓库签收退货并检查通过后,平台发起退款;款项原路返回支付账户,通常需要三个工作日,节假日可能顺延。 | refund.md / 退款到账 |
c02 |
订单页面显示已退款,表示平台已经发起操作,不表示银行卡实时到账;如果支付账户尚未收到款项,需要核对支付渠道记录。 | refund.md / 退款状态 |
c03 |
错误码 E1007 表示原支付账户已注销,自动原路退款失败,需要联系人工客服。 | errors.md / E1007 |
因此,c01、c02 这类 ID 不是本次检索的排名,而是知识库记录的固定标识。某次查询中 c02 排第一,下一次也可能排到第三,但它对应的始终是“退款状态”这段原文;程序可以用这个 ID 去重、追踪和核对来源。
用 Python 3.12 创建环境并安装依赖:
1 | python3.12 -m venv .venv |
Windows PowerShell 用 py -3.12 -m venv .venv 创建环境,再执行 .venv\Scripts\Activate.ps1 激活,然后运行同样的安装命令。
示例使用 rank-bm25==0.2.2 和 jieba==0.42.1 做词语检索,用 sentence-transformers==6.1.0 加载本地中文模型 BAAI/bge-small-zh-v1.5。重排接入使用 llama-index-core==0.14.25 和 llama-index-postprocessor-cohere-rerank==0.10.0,完整依赖以包内记录为准。
本地检索不需要 API Key。 第一次建立文档向量时需要联网下载 Embedding 模型;Cohere 密钥到接入重排时再配置。本例资料很少,文档向量直接保存在内存中,每次启动程序重新编码,不需要安装向量数据库。
后面的代码均节选自 hybrid_demo.py。可以在示例目录启动 python,先执行以下代码,后续操作继续沿用这些对象:
1 | from hybrid_demo import HybridSearch, load_nodes, print_hits |
load_nodes() 读取 chunks.jsonl,返回 list[TextNode]。TextNode 是 LlamaIndex 保存文本块的对象,本例重点看 node_id(固定 ID)、text(原文)和 metadata(来源、章节)。HybridSearch 是示例自己定义的类,保存这批节点和检索所需的数据;此时只建立 BM25 的词语统计,尚未加载 Embedding 模型。
3. 先用 BM25 找出词语匹配的原文
中文分词决定了程序在匹配什么
BM25 接收的是词语列表。英文示例常用空格切词,中文没有这样的天然分隔,因此本例先用 Jieba 分词。问题和文档必须使用同一套处理规则,才能比较词语。rank-bm25 的使用说明
下面是示例中的 tokenize()。lower() 统一英文大小写,jieba.lcut() 返回词语列表;循环去掉空白、标点和少量常见语气词:
1 | import re |
本次输出是 ['退款', '报', 'e1007', '怎么', '处理']。错误码保持为一个词,问题和原文中的 E1007 都转换成 e1007。\w 在这里用于识别中文、字母、数字等字符,过滤纯标点;这不是 Embedding 模型内部的分词器。
BM25 怎样给文本块打分
BM25 会综合考虑:查询词是否出现、出现多少次、这个词在整批文档中是否常见,以及当前文本块的长度。只在少数文档中出现的词,通常更有区分作用;重复很多次也不会无限增加贡献,长文本也不会仅因字多就一直占优。
比如,很多块都写“退款”,这个词未必能区分资料;只有一块写 E1007,它就提供了更明确的线索。但 BM25 仍然是在比较词语,不能据此认定原文一定回答了问题。
HybridSearch 初始化时对所有节点分词,创建 BM25Okapi 对象。查询时用相同的 tokenize() 处理问题,再调用 get_scores():
1 | from rank_bm25 import BM25Okapi |
scores 是按原资料顺序排列的数值数组,第一个数对应 nodes[0],不是已经排序的结果。rank_hits() 是示例的辅助函数:按分数降序排序,将原节点与分数装成 NodeWithScore,返回最多 4 个结果。这个对象的 node 保存原文,score 保存当前步骤的分数。
本次 c03 排第一,BM25 分数约为 2.245339;后面还出现了定制商品等资料,因为它们也匹配了“退款”“处理”之类的词。分数只用于本次排序,不能解释为答案正确率。
k1=1.5 和 b=0.75 沿用该库默认值。它们不是越大越好,可以这样理解:
| 参数 | 调小后 | 调大后 |
|---|---|---|
k1 |
词语第一次出现后,很快进入“重复出现也不再明显加分”的状态;同一个词重复很多次,优势会被压住。k1=0 时基本只关心“出现过没有”,不再奖励出现次数。 |
词语重复出现时,分数增加得更明显,达到饱和需要更多次重复;如果资料里某个词的重复确实有意义,可以适当调大,但模板或免责声明里的重复词也可能因此获得不该有的优势。 |
b |
文本长度影响变弱。b=0 时,短文本和长文本只要词语匹配情况相同,基本不会因为长度不同而调整分数。 |
文本长度影响变强。长文本会因为包含更多无关内容而受到更明显的折扣,短文本会相对占优;b=1 表示完全按文本长度做归一化。这里的“归一化”是指:比较不同长度的文本时,给长文本更容易碰巧匹配到查询词的优势做补偿,并不是把文本截成一样长,也不是简单地把分数除以文本长度。 |
因此,k1=1.5 表示采用中等程度的词频饱和,b=0.75 表示进行较明显但不是完全的长度归一化。实际项目中不必一开始就调参,先用几条短文本、长文本和重复词明显的文本观察排序,再根据业务结果调整;分词方式和资料质量通常比这两个数字更先影响结果。
本例仅保留正分结果,避免把零分文本块补进列表。这个过滤是示例的选择;不同 BM25 实现和语料的分数分布可能不同,零分也不总等于完全没有词语重合,不能把这个阈值照搬成通用规则。
换成口语问题,观察 BM25 的局限
回到前面定义的 search 和 question,用类中的方法执行同一套步骤:
1 | bm25_hits = search.search_bm25(question, top_k=4) |
这次实际只得到两块:c06“个人原因运费”和 c05“质量问题运费”,都没有解释到账状态。检查分词可以看到,口语中的“退”与默认分词把“退货运费”拆出的“退”发生了匹配。
这也说明,中文 BM25 的效果受分词影响。处理自己的业务资料时,可以打印查询词和文档词,必要时用 jieba.add_word("退货运费") 补充领域词表,并用同一词表重新处理全部资料。不过,即使分词合理,词语匹配仍可能漏掉表达不同的相关内容,下一步用向量检索补充这一路。
4. 用 Embedding 补充语义相关的候选
这一步沿用《RAG 向量化与存储》中的中文 BGE 模型。文档输入原文,问题前添加模型推荐的查询指令;两者都使用同一个模型版本,并对向量做归一化。BGE 模型用法
归一化可以理解为把各个向量的长度统一为 1。这时两个向量的点积等于余弦相似度,可以用来比较方向是否接近。向量含义与模型设置必须配套,不能因为维度相同就混用不同模型的结果。
build_dense() 加载模型并编码 10 个文本块。以下是其主要逻辑的节选,固定模型版本和文本长度检查保留在完整文件中:
1 | from sentence_transformers import SentenceTransformer |
doc_vectors 是 10 行、512 列的数组,每行对应一个文本块;query_vector 是包含 512 个数的问题向量。@ 是 Python 的矩阵乘法运算符,在 NumPy 数组中也可以理解为批量计算点积。这里的形状变化是:(10, 512) @ (512,) -> (10,),也就是把每一行文档向量分别与问题向量相乘并求和,最后得到 10 个相似度分数。
它和普通的 * 不一样:* 通常是对应位置相乘,不会自动把 512 个结果加起来;@ 在这里完成的效果接近 np.dot(doc_vectors, query_vector)。由于前面已经把向量归一化,这些点积就可以当作余弦相似度使用。
为了观察数据流,本例直接比较全部 10 个向量。规模增大时,这部分可以交给向量索引或数据库完成;文档、问题分别编码,再取回原文的关系不变。
在之前的交互环境中,通过示例类执行完整编码与查询:
1 | search.build_dense() |
这里也返回 list[NodeWithScore],只是 score 改为余弦相似度。本次实际排序如下,分数取六位小数:
| 排名 | 文本块 | 余弦相似度 |
|---|---|---|
| 1 | c02,退款状态 | 0.661630 |
| 2 | c07,优惠券与退款金额 | 0.596517 |
| 3 | c04,E1008 | 0.573109 |
| 4 | c06,个人原因运费 | 0.572531 |
向量检索找到了 BM25 漏掉的 c02,但也带回退款金额、错误码等候选。“语义相近”与“足以回答当前问题”之间仍有差距。 接下来先合并候选,再处理它们的排序。
5. 用排名合并两路结果
为什么不直接把两种分数相加
现在有 bm25_hits 和 dense_hits 两个列表,它们都按各自的分数排好了序。但 BM25 分数和余弦相似度来自不同计算方法,数值尺度不同。直接写 BM25 分数 + 向量相似度,可能只是让数值较大的那一路主导结果。
本例采用 RRF(Reciprocal Rank Fusion,倒数排名融合):暂时不比较原始分数,改用文本块在每个列表中的名次计算贡献,再累加。RRF 的计算说明
规则很简单,名次从 1 开始:
1 | 某一路的贡献 = 1 / (rrf_k + 名次) |
没有出现在某一路中的块,这一路贡献就是 0。本例将平滑常数 rrf_k 设为常见起点 60;它使前后几个名次的贡献比较接近,减少仅因第一名就获得过大优势的情况。这个 60 是计算分数的常数,与取回多少个文本块无关,也不保证在所有资料上最合适。
沿用刚才的真实结果,c06 在 BM25 中排第 1,在向量检索中排第 4,所以得到 1/61 + 1/64 ≈ 0.032018。c02 只在向量检索中排第 1,得到 1/61 ≈ 0.016393。
c06 因为两路都找到了而排到前面,但它仍然在讲运费。这是 RRF 的边界:它综合不同列表的排序意见,没有重新阅读问题与原文来判断答案是否在里面。
先用固定 ID 去重,再保留候选
两路检索使用同一批 TextNode,因此同一个块无论被哪一路找到,都有相同的 node_id。融合时按这个 ID 去重,才能把 c06 的两次出现合成一条记录,并累加贡献。
下面是 rrf_fuse() 的核心实现。rankings 接收两个已经排序的结果列表,candidate_k 控制最多留下多少个候选:
1 | from llama_index.core.schema import NodeWithScore |
可以把这段代码想成“按 ID 记账”。例如 c06 在 BM25 结果中排第 1,在向量结果中排第 4:
- 处理 BM25 列表时,给
c06记一笔1 / (60 + 1)。 - 处理向量列表时,再给同一个
c06记一笔1 / (60 + 4)。 scores最后保存c06的总分,也就是这两笔贡献相加。nodes_by_id保存c06对应的原始TextNode,这样排序后还能拿回原文。
seen_in_ranking 只负责防止同一个列表内部的同一 ID 被重复记账。如果同一个 ID 同时出现在 BM25 和向量两个列表中,它在两路各记一次,这正是 RRF 想要的效果。
sort_key 返回 (-scores[node_id], node_id)。Python 默认按从小到大排序,加上负号后,原本分数较大的 ID 会排在前面;如果分数相同,再按 ID 排列,让结果稳定、方便复查。
最后,函数用新的 NodeWithScore 包住原节点和融合后的分数,作为下一步 Reranker 的输入。它不会改写 BM25 或向量检索的原始分数,也不会把不同 ID 的相似文本自动合并;这里只合并同一个 ID 的重复结果。
继续在交互环境中调用包内函数:
1 | from hybrid_demo import rrf_fuse |
本次输出顺序为 c06、c02、c05、c07、c04。这里说 c06 重复,是因为两路检索可能分别返回同一个文本块,例如:
1 | BM25 结果:c06、c05、c03 |
合并两个列表时,c06 会先后出现两次,但它们指向的是同一条原文。RRF 会按 ID 把这两次出现合成一条,并把它在两路中的贡献相加;如果不去重,后面的 Reranker 就会收到两份相同内容。上面两路共返回 6 条记录,其中 c06 重复,因此合并后只有 5 个候选。candidate_k=6 表示最多保留 6 个,不会自动凑足数量。
候选规模与最终输出数量需要分开设置:
下面这些参数来自完整示例 hybrid_demo.py 的命令行参数。程序在参数解析处把 top_n 的默认值设为 2,运行时也可以用 --top_n 修改它;进入重排阶段后,这个值会传给 CohereRerank(top_n=...)。为了让调用关系更直观,下面的代码片段直接写成了 top_n=2。
| 参数 | 本例默认值 | 控制哪一步 |
|---|---|---|
bm25_k |
4 | BM25 最多返回多少块 |
dense_k |
4 | 向量检索最多返回多少块 |
candidate_k |
6 | 融合后最多交给重排多少块 |
top_n |
2(--top_n 默认值) |
传给 CohereRerank,控制重排后最多返回多少块 |
如果一开始只取很少的资料,后面的重排就没有选择空间。反过来,候选增加也会增加重排需要处理的文本。应根据实际问题观察遗漏与耗时,而不是把这些数量一起调大。
6. 让 Cohere Rerank 重新判断候选顺序
重排模型多做了哪一步
Embedding 检索将问题和文档分别编码,再比较向量;文档向量可以提前计算。模型重排则接收这次的问题以及候选原文,针对它们的相关程度重新评分。
对“卡里还没动静”这个问题,重排要判断的是:候选是否解释了退款状态与到账的关系,还是只提到了运费或退款金额。它提供一个更细的排序步骤,但模型仍可能判断错误,需要用实际问题验证。
重排会额外处理候选文本,所以通常放在初步检索之后。本例先留下至多 6 个候选,再取重排前 2 个。LlamaIndex 官方示例采用相同的先后关系:先取较多节点,再通过 CohereRerank 选择少量节点。LlamaIndex Cohere Rerank 示例
配置服务并调用后处理器
这两个代码片段不在同一个步骤中,它们处在同一条数据链路的前后位置:
1 | load_nodes() |
先在加载资料时创建 TextNode。这一步发生在检索之前,每条记录都会变成一个带固定 ID、正文和元数据的节点:
1 | node = TextNode( |
metadata=metadata 仍然把来源和章节保存在节点里;excluded_embed_metadata_keys=list(metadata) 则把这些元数据字段列入排除名单。LlamaIndex 为模型准备文本时,就不会把来源字段额外拼到正文后面,候选内容仍以 node.text 为主。这样既能保留来源供页面展示和结果核对,也能避免“来源字段”干扰重排。若只想排除部分字段,也可以把 list(metadata) 改成明确的字段名列表,例如 ["source"]。
随后,前文的 BM25 和 Embedding 检索使用这些节点得到两路结果,rrf_fuse() 再把它们合并成 candidates。candidates 的类型是 list[NodeWithScore],其中每个元素都包含原来的 TextNode 和当前的 RRF 分数;这正是下一步重排要接收的输入。
Cohere Rerank 是在线服务,真正调用它时会将问题和 candidates 中的候选原文发送给服务,需要可用的 Cohere API Key。在终端设置环境变量后启动 Python;如果之前的交互环境已经运行,应退出后重新进入,并执行前面建立候选的代码:
1 | export COHERE_API_KEY="你的 Cohere API Key" |
PowerShell 的写法是 $env:COHERE_API_KEY="你的 Cohere API Key"。
本例明确指定支持中文的多语言模型 rerank-v4.0-fast,不依赖组件的默认模型。也可以通过示例的 DEMO_RERANK_MODEL 环境变量改为账户支持的模型;模型名称和可用性以服务端为准。Cohere 多语言重排说明
接着创建后处理器,把前面的候选交给它:
1 | import os |
后处理器(Postprocessor)是 LlamaIndex 对“检索完成后继续处理节点”的组件称呼;这里使用它执行重排。QueryBundle 是保存查询信息的对象,此处只需要 query_str,值就是最初定义的用户问题。
postprocess_nodes() 接收 list[NodeWithScore],调用 Cohere 服务,返回重新排序后的同一种列表。top_n=2 只限制返回数量,服务收到的仍是整个 candidates 列表。Cohere Rerank API
严格来说,CohereRerank(...) 这一行只是创建后处理器对象;真正发送问题和候选文本的是后面的 postprocess_nodes(...)。因此,TextNode 的配置负责准备输入内容,CohereRerank 负责调用重排模型,top_n 负责限制最终返回数量,三者作用不同但连接在同一条链路上。
返回节点的 score 变成 Cohere 的相关性分数,原来的 candidates 仍保留 RRF 分数。两种分数表达不同含义,应分开记录;Cohere 分数也不能理解为回答正确的概率。
Cohere 在线重排只是本例的一种实现。它需要 COHERE_API_KEY:试用 API Key 可以免费调用,但有额度限制;生产用途的 API Key 会按 Rerank 搜索量计费,具体价格应以 Cohere 计费说明 和 官方价格页 为准。没有密钥时,前面的 BM25、Embedding 和 RRF 仍然可以运行,只是跳过 Cohere 这一步。
Reranker 的接口其实很简单:接收问题和候选节点,返回重新排序后的节点。因此,更换 Reranker 通常不需要改动前面的混合检索和 RRF 代码。常见选择如下,完整列表可参考 LlamaIndex 的 Node Postprocessor 文档:
| 方案 | 是否需要外部 API | 主要取舍 |
|---|---|---|
CohereRerank |
需要 Cohere API Key | 云端接入简单;试用额度有限,生产调用按量计费 |
SentenceTransformerRerank |
不需要 | 模型在本机运行,没有按请求的服务费,但需要下载模型并占用 CPU/GPU;可使用 Qwen/Qwen3-Reranker-0.6B 等模型 |
LLMRerank |
取决于所用大模型 | 可以复用已有的大模型,但通常会增加 Token 成本、延迟和输出不确定性 |
JinaRerank 等云端服务 |
需要对应服务的 API Key | 接入方式类似 Cohere,费用和额度由各服务商单独决定 |
例如,想先在本地验证流程,可以把 Cohere 后处理器替换为 SentenceTransformerRerank:
1 | from llama_index.core.postprocessor import SentenceTransformerRerank |
这段代码不需要 COHERE_API_KEY,但第一次运行通常要下载模型,之后每次查询都要消耗本机计算资源。实际项目应根据数据敏感性、延迟、并发量和机器配置选择云端或本地方案。
验证范围:本文已实际运行本地 BM25、BGE 向量检索和 RRF 融合。本文构建环境未配置 Cohere 密钥,因此没有实测在线重排;接口已核对官方文档和所用适配器实现,并通过模拟服务响应检查了问题传递、返回索引与原节点的对应关系。本文不提供虚构的在线重排分数或效果提升数据。
把重排后的原文交给回答模型
重排返回的仍是原文节点,不是答案,也没有重新生成文档。沿用前文问答程序的做法,把 final_hits 拼成参考资料,再与用户原始问题一起交给回答模型即可:
1 | from hybrid_demo import format_context |
format_context() 为每块添加 [S1]、来源和固定 ID,再用空行连接。S1 表示本次结果中的位置,c02 这样的 ID 表示知识库中的记录;排序变了,位置标签会变,记录 ID 不变。
在《手撕 Naive RAG 文档问答 API》中接入时,需要替换的是“检索并返回原文”这部分。若继续使用 LangChain,应将这里的 TextNode 转成它使用的 Document,保留原文和来源;两个框架的数据对象不能直接当成同一种类型。
7. 连起来运行,再检查有没有改善
先看每一步返回了什么
完整脚本已按前面的顺序连接这些步骤,可以直接在示例目录运行:
1 | python hybrid_demo.py --stage bm25 --question "退款报 E1007,怎么处理?" |
第一条只跑 BM25,其余默认使用开头的口语退款问题。hybrid 打印两路结果、融合后的候选及前两块原文;rerank 在此基础上调用 Cohere,打印重排结果。输出始终保留固定 ID、来源和原文,并明确标记当前分数的类型。
先检查候选,再检查重排后的前两块:如果需要的规则根本不在候选里,应先检查资料、分词或检索数量;如果规则已经在候选里,却排到了后面,再看重排能否改善这个顺序。
比如,本次口语问题找到了讲退款状态的 c02,但没有找到讲到账流程与时间的 c01。如果回答需要两条规则,仅对这 5 个候选重排仍无法补齐 c01。可以先增加向量检索数量,再比较结果:
1 | python hybrid_demo.py --stage hybrid --dense-k 6 --candidate-k 8 |
这条命令是一项观察练习,是否带回 c01 要看实际输出;扩大某一路数量后,也要检查融合阶段有没有再次把它截掉。
用相关文本块衡量结果
“程序成功返回了两个结果”只说明调用成功,不能证明资料找得更准。示例提供了 6 个教学问题,并人工指定各问题需要的文本块,保存在 eval_cases.jsonl。评估程序会让每种方式使用同一批问题、同一批资料和同一个 top_n,这样比较才有意义。
这里用 Recall@K 检查前 K 个结果找回了多少相关块。K 就是要检查的结果数量:
1 | Recall@K = 前 K 个结果中找回的相关块数 / 人工指定的相关块总数 |
例如,口语退款问题指定 c01、c02 两块相关资料,前两名只找到 c02,Recall@2 就是 1/2 = 0.5。这个指标关心相关资料有没有被找回,不直接评估最终回答是否正确。
先看不需要 API Key 的结果
先运行本地评估:
1 | python hybrid_demo.py --stage hybrid --evaluate |
--stage hybrid --evaluate 会在 6 个问题上分别计算 BM25、Embedding 和 RRF 的 Recall@2,同时打印 RRF 候选的 Recall@6。第一条命令已经在 Python 3.12.7、CPU、固定 BGE 模型版本下实际运行。两路最多各取 4 块,融合最多保留 6 块,统一比较最终前 2 块,结果如下:
| 方式 | 6 个问题的平均 Recall@2 |
|---|---|
| BM25 | 0.833 |
| Embedding | 0.917 |
| RRF 混合检索 | 0.917 |
这组小样本中,混合检索没有比向量检索找回更多相关块。 它说明当前实现能够比较各个环节,也提醒我们不能把“多加一个组件”写成必然的效果提升。这些问题与人工标注仅服务教学,不构成业务性能结论;Cohere 重排需要读者配置服务后再比较。
上表没有 Cohere Rerank 一行,因为这次验证没有配置在线服务密钥。配置密钥后,再运行:
1 | python hybrid_demo.py --stage rerank --evaluate |
这条命令会沿用相同的 6 个问题、candidate_k=6 和 top_n=2,在现有表格的基础上增加 Rerank 的平均 Recall@2。它会实际调用 Cohere,因此会受到 API Key、额度、网络和服务计费影响;未运行时不应预先填写或猜测重排分数。
评估还会检查交给 Reranker 的 6 个候选,叫作 Recall@6。以前面的口语退款问题为例,人工标注的相关资料是 c01(到账流程)和 c02(退款状态)。如果 6 个候选里只有 c02,那么 Recall@6 = 1/2 = 0.5:重排之前就已经漏掉 c01,所以后面的 Reranker 无论怎样排序,都不可能把 c01 排进最终结果。
再看最终保留的 2 个结果,叫作 Recall@2。它回答的是“最终结果里找回了几块相关资料”。如果 6 个候选已经同时包含 c01 和 c02,但重排后前 2 个里只剩一个,那么资料已经找到了,问题出在排序或只保留 2 个的限制上。简单说,先看 Recall@6 判断候选是否找全,再看 Recall@2 判断最终留下的结果是否合适。
正式用于自己的资料时,应固定文档、模型与问题集,以相同的最终输出数量比较结果。除了找回相关资料,还要检查无关块是否占位、重排增加了多少耗时和调用成本,以及最终回答是否保留了原文中的条件。例如“没有质量问题”的运费问题,不能被答成“质量问题由商家承担”。
没有 Cohere 密钥时,还可以运行包内检查:
1 | python smoke_check.py |
这份检查已经通过。它验证 RRF 去重、名次贡献、候选限量,以及真实 LlamaIndex 适配器如何把服务返回的索引映射回原节点;Cohere 返回数据由程序模拟,所以通过检查不能证明在线模型的排序质量。
8. 接入 RAG 时,保留每一步的检查入口
《Modular RAG》将检索与检索后处理分开讨论,强调按任务组合不同职责的模块。本文采用的是其中一条简单流程:两路找候选,融合结果,再对候选重排;不需要先实现论文中的全部控制流程。Modular RAG,IV-C 与 IV-D
接入自己的问答程序时,保留两路结果、融合候选与重排结果的固定 ID。这样遇到答错的问题,可以先判断资料在哪一步遗漏或被排后,再调整对应环节。下一步适合做的是换成自己的问题集,比较相同输出数量下的结果,而不是继续往流程里追加组件。