0

0

如何高效提取PDF中交易表格的所有行数据

碧海醫心

碧海醫心

发布时间:2026-02-22 09:14:01

|

616人浏览过

|

来源于php中文网

原创

如何高效提取PDF中交易表格的所有行数据

本文介绍一种基于金额符号($)定位的轻量级策略,利用 pdfplumber 精准提取PDF中所有含交易金额的行文本,避开复杂表头匹配与正则陷阱,显著提升结构化金融披露文档的解析鲁棒性与覆盖率。

本文介绍一种基于金额符号(`$`)定位的轻量级策略,利用 `pdfplumber` 精准提取pdf中所有含交易金额的行文本,避开复杂表头匹配与正则陷阱,显著提升结构化金融披露文档的解析鲁棒性与覆盖率。

在处理美国国会职员财务披露报告(如 House Clerk 公开的 PTR PDF 文件)时,常见挑战是:交易数据虽以表格形式呈现,但PDF底层并无真正的表格结构(无边框、无单元格坐标),导致传统基于 extract_table() 或强正则匹配表头的方案极易漏行或错位。原问题中尝试通过匹配模糊表头(如 "iD owner asset transaction Date...")再捕获后续内容,因PDF文本抽取后换行断裂、大小写混杂、空格不规则,致使正则无法稳定锚定多行数据边界。

更可靠的做法是转向语义特征驱动——交易记录最稳定、最具区分度的共性特征并非表头文字,而是金额字段本身:每条有效交易行均包含 $ 符号(如 "$15,001 - $50,000")。该特征几乎零误报,且不受排版偏移、OCR噪声或标题冗余干扰。

以下为优化后的完整实现:

Pix2Pix
Pix2Pix

使用Prompt编辑视频

下载
import io
import requests
import pdfplumber

pdf_url = "https://disclosures-clerk.house.gov/public_disc/ptr-pdfs/2016/20005444.pdf"

response = requests.get(pdf_url)
response.raise_for_status()  # 确保网络请求成功

transactions = []
with io.BytesIO(response.content) as f:
    with pdfplumber.open(f) as pdf:
        for page in pdf.pages:
            # 提取纯文本并按行分割(保留原始换行逻辑)
            text = page.extract_text()
            if not text:
                continue
            for line in text.splitlines():
                line = line.strip()
                # 关键判断:仅保留含美元符号的行,并清理前缀噪声(如 "JT ")
                if "$" in line:
                    cleaned_line = line.removeprefix("JT ").removeprefix("FIlINg STATuS: New").strip()
                    if cleaned_line:  # 避免空行
                        transactions.append(cleaned_line)

print(f"共提取 {len(transactions)} 条交易记录:")
for i, t in enumerate(transactions, 1):
    print(f"{i:2d}. {t}")

优势说明

  • 高召回率:不再依赖易变的表头匹配,直接捕获所有含 $ 的行,覆盖原文档全部 20 条交易;
  • 低维护成本:无需反复调试正则表达式,适应不同年份/格式的PTR PDF;
  • 抗噪性强:自动忽略页眉、页脚、签名栏等不含金额的干扰区域。

⚠️ 注意事项

  • 若PDF中存在非交易类 $ 文本(如注释“>$200?”),需增加二次校验(例如检查是否包含日期格式 MM/DD/YYYY 和交易类型 S/P);
  • pdfplumber 的 extract_text() 对扫描版PDF无效,本方案仅适用于文本型PDF(该链接文档为可选中文本);
  • removeprefix() 是 Python 3.9+ 特性,若使用旧版本,请替换为 line.lstrip("JT ").lstrip("FIlINg STATuS: New").strip()。

总结而言,在PDF文本解析任务中,优先选择业务语义上最稳定、最稀疏的锚点(如金额、唯一ID、固定代码),而非视觉上最显眼的表头,往往能获得更简洁、更健壮的解决方案。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

524

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

256

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

758

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

219

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

354

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

293

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

244

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

541

2023.12.06

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号