高级数据处理

前文用 PDFReader 读取文字版 PDF,再将文本分块。但扫描页需要先识别文字,双栏报告需要还原阅读顺序,表格需要保留行列关系,图片中的信息也无法仅靠提取文字获得。

本篇分别用 Unstructured 和 MinerU 解析这类 PDF:前者在 Python 中返回正文、表格和图片等元素,后者导出 Markdown 和图片文件。解析后,再检查阅读顺序、表格行列和图片内容,为后续分块与检索准备数据。

Read More

生产级向量数据库 (Milvus)

在前文的向量化与存储示例中,FAISS 索引和 Chroma 数据保存在应用本地,适合单个程序使用。当知识库中的文档会不断新增或修改,同时又有多个问答服务需要读取它时,如果每个服务都维护一份本地副本,就要自行同步数据,并让每个服务重新生成或加载本地索引。

Milvus 以独立服务的方式提供存储和检索:一个程序负责把文档写入数据库,多个问答服务通过 SDK 查询同一份数据,减少应用维护副本的工作。代价是需要额外运行和维护数据库服务;单个脚本的小规模检索可以继续用本地方案。这里比较的是前文使用的本地模式,Chroma 也支持服务部署。

本文用 Docker 启动 Milvus 单机版,再用 Python 完成写入、检索、更新和删除。

Read More

混合检索与重排 (Rerank)

用户问“退款报 E1007,怎么处理?”,资料中的错误码需要准确匹配;用户换成“订单上说钱退了,可卡里还没动静”,程序又需要理解口语与政策原文之间的关系。只用一种检索方式,可能顾得上其中一类,漏掉另一类。

上一篇《HyDE 与 Multi-Query 查询改写》调整了送去检索的文字。本篇保持用户问题不变,改进找资料的方式:实现 BM25 + Embedding 混合检索,合并两路候选,再通过 Cohere Rerank 重新排序,挑出交给回答模型的原文。

下面沿用虚构退款业务,用 10 个短文本块逐步实现。完整示例随文提供,先跑本地检索,再接在线重排,不需要先启动前文的问答 API。

Read More

HyDE 与 Multi-Query 查询改写

用户问:“订单上说钱退了,可卡里还没动静,怎么回事?”资料里写的却是:“订单页面显示已退款,表示平台已经发起操作,不表示银行账户一定实时到账。”两句话说的是同一件事,表达方式却不同。

上一篇《手撕 Naive RAG 文档问答 API》直接用原始问题检索。向量检索能够处理一部分表达差异,但也可能漏掉需要的资料。如果原文没有找到,后面的回答模型就缺少依据。本文从这个环节入手,用 LlamaIndex 实现单查询改写、HyDE 和 Multi-Query,观察送去检索的文字怎样变化,以及最终取回了哪些原文。

Read More

手撕 Naive RAG 文档问答 API

用户问“退款什么时候到账?”,检索程序已经能找出相关规则。接下来,把这些规则交给模型组织回答,再让客户端通过 HTTP 调用,就得到一个文档问答 API。

本文沿用前两篇的虚构退款资料,完成 POST /ask:输入一个问题,返回回答、原文预览与来源。重点看清“检索 → 生成 → 接口”如何连接,完整代码随示例包提供。

Read More

RAG Part 2:向量化与存储

上一篇《RAG 文档加载与文本分块》把 PDF 和 Markdown 整理成了 chunks.jsonl:每一行保存一个文本块,以及文件名、章节或页码。现在有了可以检索的资料,还缺少一步:用户问“退款什么时候到账?”,程序怎样找到讲到账时间的那几段?

直接匹配文字能解决一部分问题,但“钱多久能退回来”和“退款到账时间”可能使用不同的说法。本篇先解释 Embedding 怎样把文字转换成可以比较的向量,再用同一批向量分别构建 FAISS 和 Chroma 本地索引,最后退出程序,重新读取已保存的数据并查询。

可以先把“向量索引”理解为用来组织和查找文本向量的一套结构。例如,用户问“退款什么时候到账?”,程序把问题也转成向量,再找出相近的文档向量,取回对应的退款说明。FAISS 和 Chroma 提供了两种实现方式,帮助程序完成向量的存储与查找;本文会分别演示,实际项目可以选择其中一种。具体用法会在第 4、6 节展开。

完成后得到的是一个能返回相关原文与来源信息的检索程序。如何将检索结果交给大模型生成回答,将在下一篇《用 FastAPI 和 LangChain 构建文档问答 API》中讲解。本篇沿用上一篇的虚构退款资料,无需 API Key。

Read More

RAG Part 1:文档加载与文本分块

《LangChain 检索与 LCEL 入门》用几段手写的退款规则演示了检索。换成真实资料,输入往往是一份 PDF 手册、一篇 Markdown 笔记,甚至是扫描件。程序首先要把文件里的内容读对,才有可供检索的文字。

接着还要决定:一次拿多大一段内容去检索?整份手册包含太多主题;切得过碎,又可能把“支持退款”和“不支持退款的条件”分到两处。加载与分块共同决定了后面的检索器能拿到什么资料。

本篇使用 LlamaIndex 完成一个不调用大模型的练习:加载 PDF 和 Markdown,保留页码、标题等来源信息,切分文本并导出结果。读完后,应当能判断一份文件需要普通文本提取、OCR 还是版面解析,并通过观察输出调整分块策略。文中的退款规则均为虚构教学资料。

Read More

LangChain 检索与 LCEL 入门

上一篇《LangChain 核心概念》已经介绍了“检索资料 → 填入提示词 → 调用模型”的流程,以及各组件之间怎样传递数据。本篇在此基础上,进一步解释向量检索的原理和 LCEL 的实现方式。

假设要做一个退款问答助手。用户问“钱怎么退回来?”,资料中写的是“退款申请步骤”。程序需要把这两种说法联系起来,找到退款规则,再根据规则回答。

本文就用这个例子理解向量、Embedding、VectorStore 和 Retriever,并运行一个简单的检索程序。最后再用 prompt | model | parser 接上回答步骤。示例中的退款规则是虚构的教学资料。

Read More

LangChain 核心概念

上一篇《FastAPI 快速入门》从创建路由开始,介绍了如何读取和校验请求,以及如何用依赖、异常处理和响应模型把一个接口写完整。这一篇继续往路由函数内部看,讨论接入大语言模型后,程序需要怎样组织一次问答。

以技术问答接口为例,收到问题后,程序可能需要先检索文档,把相关资料和对话历史放进提示词,再将模型回复转成接口需要的数据。问题字符串、文档列表和模型消息会在这些步骤之间传递,任何一处接错,都可能让后面的代码无法执行,或让模型拿到错误的上下文。

LangChain 是用于构建大语言模型应用的开发框架。它提供模型调用、提示词模板、检索器和工具等组件,让开发者可以用统一的接口组合这些步骤。在这个问答服务里,FastAPI 负责接收请求和返回响应,LangChain 组织中间的处理流程,具体的大语言模型负责生成回答。

LCEL 的全称是 LangChain Expression Language,是 LangChain 中组合组件的一套写法。它让开发者用 Python 描述步骤的先后顺序、分支和数据传递,例如把“填充模板 → 调用模型 → 解析回答”组成一个可以整体调用的流程。后面代码中的 | 就用来连接相邻步骤。

本文按职责介绍 Models、Prompts、Chains、Indexes、Memory 和 Agents 六类核心功能。学习时重点看两件事:每个对象负责什么,以及前一步的结果怎样交给下一步。最后用一个简单的问答函数把检索、历史和生成连起来。

源码解读和 LangGraph 等扩展放在“选读”折叠区,第一次阅读可以跳过;理解正文示例不需要先掌握它们。代码旁的 Python 语法说明用于帮助读懂例子,不需要当成新的 LangChain 概念记忆。

Read More