高级数据处理

Catalogue
  1. 1. 先分清 PDF 里有什么
  2. 2. 用 Unstructured 读取表格和图片
  3. 3. 用 MinerU 导出完整结果包
  4. 4. 检查结果,再决定怎样入库
  5. 其他参考工具
前文用 PDFReader 读取文字版 PDF,再将文本分块。但扫描页需要先识别文字,双栏报告需要还原阅读顺序,表格需要保留行列关系,图片中的信息也无法仅靠提取文字获得。

本篇分别用 Unstructured 和 MinerU 解析这类 PDF:前者在 Python 中返回正文、表格和图片等元素,后者导出 Markdown 和图片文件。解析后,再检查阅读顺序、表格行列和图片内容,为后续分块与检索准备数据。

1. 先分清 PDF 里有什么

PDF 中的内容可能是文字、扫描图,或两者混合。文字可以直接提取,扫描图需要 OCR(文字识别);即使提取到了文字,也可能丢失双栏的阅读顺序和表格的行列关系。

例如,一张表按“区域、订单数、退货数”三列排版。提取后若变成“区域 订单数 退货数 华东 120 4 华南 80 3”,行列边界就丢失了。后续分块时,数字可能与表头分开,检索到 120 时便缺少“订单数”这一含义。

根据 PDF 的内容选择解析方式:

PDF 内容 普通文本提取 额外需要
有文字层,排版简单 通常可以得到正文 检查段落、页眉页脚和顺序
页面是扫描图片 会得到空文本或很少的文本 OCR
双栏、表格、图表与正文混排 可能丢失阅读顺序和行列关系 版面识别、表格识别

OCR 识别图像中的文字;版面识别定位标题、段落、表格和图片;表格识别进一步恢复单元格的行列关系。复杂 PDF 通常需要结合这些能力,才能按阅读顺序输出正文,并保留表格结构。

2. 用 Unstructured 读取表格和图片

Unstructured 是开源文档处理库,可以将 PDF 拆成标题(Title)、正文(NarrativeText)、表格(Table)和图片(Image)等元素。程序可以按类别分别处理这些元素:从 text 读取文字,从 metadata 读取页码、表格 HTML 或图片路径。

本节使用 Unstructured 0.27.32 的本地函数 partition_pdf。运行需要 Python 3.11 至 3.13、Poppler 和 Tesseract OCR;处理中文扫描件还需 Tesseract 的简体中文语言包。先用 uv 创建虚拟环境,安装 PDF 扩展:

1
2
3
uv venv --python 3.12 .venv-unstructured
source .venv-unstructured/bin/activate
uv pip install "unstructured[pdf]==0.27.32"

Poppler 和 Tesseract 需要通过系统包管理器安装。以 Debian/Ubuntu 为例:

1
2
sudo apt-get update
sudo apt-get install -y poppler-utils tesseract-ocr tesseract-ocr-chi-sim

将待解析的文件命名为 report.pdf,在该文件所在目录运行下面的代码。代码用 hi_res 策略分析版面,设置 infer_table_structure=True 识别表格行列,再用 extract_image_block_types=["Image"] 将图片区域保存到 output/images:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from pathlib import Path

from unstructured.partition.pdf import partition_pdf

image_dir = Path("output/images")
image_dir.mkdir(parents=True, exist_ok=True)

elements = partition_pdf(
filename="report.pdf",
strategy="hi_res",
infer_table_structure=True,
languages=["chi_sim", "eng"],
extract_image_block_types=["Image"],
extract_image_block_output_dir=str(image_dir),
)

for element in elements:
metadata = element.metadata
print(f"{element.category} | page={metadata.page_number} | {element.text[:80]}")

if element.category == "Table" and metadata.text_as_html:
print("表格 HTML:", metadata.text_as_html[:300])

if element.category == "Image":
print("图片文件:", metadata.image_path)

elements 是解析得到的元素列表。循环打印每个元素的类别、页码和文字预览;表格的 metadata.text_as_html 保存 HTML,图片的 metadata.image_path 指向保存的文件。若原页有表格或图片,输出却没有相应元素,就需要检查是否漏检。

对于前面的示例表格,检查 HTML 中的华东行是否将 120 放在订单数列、4 放在退货数列。element.text 只包含表格文字;本例通过 hi_res 和 infer_table_structure=True 生成保留行列结构的 HTML。后续处理表格时应保留这些关系,避免只对一串词和数字分块。PDF 分区说明 · 表格 HTML 输出

保存图片后,仍需人工查看或用图像理解模型识别其中的信息。图片文件本身不会让文本检索获得图表中的数值和趋势。

hi_res 需要运行版面分析模型,扫描页还需要 OCR,因此要准备相应依赖和模型。文字层完整、排版简单的 PDF 可先尝试 fast;需要识别表格行列时,使用本例的 hi_res 与表格结构推断配置。

3. 用 MinerU 导出完整结果包

MinerU 可以通过命令行将 PDF 导出为 Markdown、结构化 JSON 或 ZIP 结果包。本节使用 ZIP 格式,将正文、表格和图片保存到同一个结果包中,便于对照原文检查。

以下命令使用 MinerU 4.0.12,在本机解析 report.pdf 并生成 output/report.zip。单独创建虚拟环境,避免与 Unstructured 的依赖冲突:

1
2
3
4
5
uv venv --python 3.12 .venv-mineru
source .venv-mineru/bin/activate
uv pip install "mineru==4.0.12"

mineru-kit parse report.pdf -o output/report.zip --format zip --tier standard

--format zip 指定输出格式,-o 指定保存位置,--tier standard 选择用于复杂版面的解析配置。首次运行会下载所需模型。该配置包含图像分析和视觉模型,所需内存和运行时间高于单纯提取文字;CPU 也可运行,处理速度取决于机器配置和文档复杂度。

解压 output/report.zip,检查其中的 Markdown、结构化结果和 images/。对照原 PDF 核对 Markdown 中的段落顺序、表格行列和图片引用,再打开图片查看裁切范围。MinerU 安装与快速开始 · 档位与运行环境 · MinerU 4.0.12 输出格式

本例在本机解析,不需要 API Key,PDF 不会上传到 MinerU 云服务;安装依赖和首次下载模型需要联网。如果改用远程解析,需另行确认 PDF 会发送到哪个服务。

4. 检查结果,再决定怎样入库

解析完成后,对照原 PDF 抽查双栏页、表格页和图片页:

  1. 页码和阅读顺序。 检查双栏正文是否按正确顺序排列,页眉页脚是否混入正文,页码是否与原页对应。
  2. 表头和单元格。 检查数字与列名的对应关系,合并单元格、跨页表格是否有缺失或错位。重点核对金额、日期、单位和否定词。
  3. 图片引用和裁切。 检查 Markdown 引用的图片是否存在,坐标轴、图例、脚注或表格边缘是否被截掉。
  4. 检索所需的内容。 例如,要回答“华东区域有多少订单?退货数是多少?”,解析结果中就必须保留区域、列名与数值的对应关系。需要回答图表趋势时,确认相关信息已经转成可检索的文本。

发现漏字、行列错位或图片裁切不完整时,先修正解析结果,再进行分块。分块器不会补回丢失的表头或图片信息。

其他参考工具

  • PDF-Extract-Kit:提供版面、OCR、公式和表格识别模型组件,用于搭建解析流程。
  • Docling:将文档转换为统一的结构化表示,并支持多种导出格式,可作为另一种文档解析工具。
  • GOT-OCR2.0:侧重识别图像区域中的文字;完整 PDF 的阅读顺序、表格结构和图片文件仍需在解析流程中组织。