本篇分别用 Unstructured 和 MinerU 解析这类 PDF:前者在 Python 中返回正文、表格和图片等元素,后者导出 Markdown 和图片文件。解析后,再检查阅读顺序、表格行列和图片内容,为后续分块与检索准备数据。
1. 先分清 PDF 里有什么
PDF 中的内容可能是文字、扫描图,或两者混合。文字可以直接提取,扫描图需要 OCR(文字识别);即使提取到了文字,也可能丢失双栏的阅读顺序和表格的行列关系。
例如,一张表按“区域、订单数、退货数”三列排版。提取后若变成“区域 订单数 退货数 华东 120 4 华南 80 3”,行列边界就丢失了。后续分块时,数字可能与表头分开,检索到 120 时便缺少“订单数”这一含义。
根据 PDF 的内容选择解析方式:
| PDF 内容 | 普通文本提取 | 额外需要 |
|---|---|---|
| 有文字层,排版简单 | 通常可以得到正文 | 检查段落、页眉页脚和顺序 |
| 页面是扫描图片 | 会得到空文本或很少的文本 | OCR |
| 双栏、表格、图表与正文混排 | 可能丢失阅读顺序和行列关系 | 版面识别、表格识别 |
OCR 识别图像中的文字;版面识别定位标题、段落、表格和图片;表格识别进一步恢复单元格的行列关系。复杂 PDF 通常需要结合这些能力,才能按阅读顺序输出正文,并保留表格结构。
2. 用 Unstructured 读取表格和图片
Unstructured 是开源文档处理库,可以将 PDF 拆成标题(Title)、正文(NarrativeText)、表格(Table)和图片(Image)等元素。程序可以按类别分别处理这些元素:从 text 读取文字,从 metadata 读取页码、表格 HTML 或图片路径。
本节使用 Unstructured 0.27.32 的本地函数 partition_pdf。运行需要 Python 3.11 至 3.13、Poppler 和 Tesseract OCR;处理中文扫描件还需 Tesseract 的简体中文语言包。先用 uv 创建虚拟环境,安装 PDF 扩展:
1 | uv venv --python 3.12 .venv-unstructured |
Poppler 和 Tesseract 需要通过系统包管理器安装。以 Debian/Ubuntu 为例:
1 | sudo apt-get update |
将待解析的文件命名为 report.pdf,在该文件所在目录运行下面的代码。代码用 hi_res 策略分析版面,设置 infer_table_structure=True 识别表格行列,再用 extract_image_block_types=["Image"] 将图片区域保存到 output/images:
1 | from pathlib import Path |
elements 是解析得到的元素列表。循环打印每个元素的类别、页码和文字预览;表格的 metadata.text_as_html 保存 HTML,图片的 metadata.image_path 指向保存的文件。若原页有表格或图片,输出却没有相应元素,就需要检查是否漏检。
对于前面的示例表格,检查 HTML 中的华东行是否将 120 放在订单数列、4 放在退货数列。element.text 只包含表格文字;本例通过 hi_res 和 infer_table_structure=True 生成保留行列结构的 HTML。后续处理表格时应保留这些关系,避免只对一串词和数字分块。PDF 分区说明 · 表格 HTML 输出
保存图片后,仍需人工查看或用图像理解模型识别其中的信息。图片文件本身不会让文本检索获得图表中的数值和趋势。
hi_res 需要运行版面分析模型,扫描页还需要 OCR,因此要准备相应依赖和模型。文字层完整、排版简单的 PDF 可先尝试 fast;需要识别表格行列时,使用本例的 hi_res 与表格结构推断配置。
3. 用 MinerU 导出完整结果包
MinerU 可以通过命令行将 PDF 导出为 Markdown、结构化 JSON 或 ZIP 结果包。本节使用 ZIP 格式,将正文、表格和图片保存到同一个结果包中,便于对照原文检查。
以下命令使用 MinerU 4.0.12,在本机解析 report.pdf 并生成 output/report.zip。单独创建虚拟环境,避免与 Unstructured 的依赖冲突:
1 | uv venv --python 3.12 .venv-mineru |
--format zip 指定输出格式,-o 指定保存位置,--tier standard 选择用于复杂版面的解析配置。首次运行会下载所需模型。该配置包含图像分析和视觉模型,所需内存和运行时间高于单纯提取文字;CPU 也可运行,处理速度取决于机器配置和文档复杂度。
解压 output/report.zip,检查其中的 Markdown、结构化结果和 images/。对照原 PDF 核对 Markdown 中的段落顺序、表格行列和图片引用,再打开图片查看裁切范围。MinerU 安装与快速开始 · 档位与运行环境 · MinerU 4.0.12 输出格式
本例在本机解析,不需要 API Key,PDF 不会上传到 MinerU 云服务;安装依赖和首次下载模型需要联网。如果改用远程解析,需另行确认 PDF 会发送到哪个服务。
4. 检查结果,再决定怎样入库
解析完成后,对照原 PDF 抽查双栏页、表格页和图片页:
- 页码和阅读顺序。 检查双栏正文是否按正确顺序排列,页眉页脚是否混入正文,页码是否与原页对应。
- 表头和单元格。 检查数字与列名的对应关系,合并单元格、跨页表格是否有缺失或错位。重点核对金额、日期、单位和否定词。
- 图片引用和裁切。 检查 Markdown 引用的图片是否存在,坐标轴、图例、脚注或表格边缘是否被截掉。
- 检索所需的内容。 例如,要回答“华东区域有多少订单?退货数是多少?”,解析结果中就必须保留区域、列名与数值的对应关系。需要回答图表趋势时,确认相关信息已经转成可检索的文本。
发现漏字、行列错位或图片裁切不完整时,先修正解析结果,再进行分块。分块器不会补回丢失的表头或图片信息。
其他参考工具
- PDF-Extract-Kit:提供版面、OCR、公式和表格识别模型组件,用于搭建解析流程。
- Docling:将文档转换为统一的结构化表示,并支持多种导出格式,可作为另一种文档解析工具。
- GOT-OCR2.0:侧重识别图像区域中的文字;完整 PDF 的阅读顺序、表格结构和图片文件仍需在解析流程中组织。