
本教程详细介绍了如何使用python的`pypdf`库从pdf文档中高效提取文本,并重点讲解了在提取过程中处理不需要内容(如页码或特定页面)的两种主要策略。文章将通过代码示例,演示如何根据页码选择性地跳过整个页面,以及如何通过字符串处理技术从已提取的页面文本中过滤掉嵌入的特定内容,从而生成更干净、更符合需求的文本输出。
在使用Python处理PDF文档时,pypdf库是一个强大且常用的工具,可以方便地读取PDF内容并提取文本。然而,在实际应用中,我们常常会遇到需要对提取的文本进行清洗的情况。例如,PDF页面中可能包含页码、页眉、页脚、水印或其他非内容性信息,这些元素在文本提取后可能会干扰后续的数据处理或分析。
以下是使用pypdf进行基本文本提取的示例:
from pypdf import PdfReader
# 假设我们有一个名为 "pdf-examples/kurdish-sample-2.pdf" 的PDF文件
reader = PdfReader("pdf-examples/kurdish-sample-2.pdf")
full_text = ""
for page in reader.pages:
full_text += page.extract_text() + "\n"
print(full_text)在某些情况下,上述代码的输出可能包含不希望出现的页码,例如:
5 دوارۆژی ئەم منداڵه بکەنەوە کە چۆن و چی بەسەر دێت و دووچاری
这里的数字“5”即为页面内容的一部分,而非我们希望提取的实际文本。为了解决这个问题,我们可以采用不同的策略。
如果某个页面包含的绝大部分内容都是不相关的(例如,仅有页码、版权信息或空白页),或者我们确定某个页面的文本完全不需要,最直接的方法是完全跳过该页面的文本提取。这可以通过在遍历页面时引入一个计数器并进行条件判断来实现。
实现方法:
以下是实现这一策略的示例代码:
from pypdf import PdfReader
def extract_text_excluding_pages(pdf_path, pages_to_exclude=None):
"""
从PDF中提取文本,并跳过指定的页面。
Args:
pdf_path (str): PDF文件的路径。
pages_to_exclude (list or int, optional): 一个整数或整数列表,表示要跳过的页面索引(从1开始)。
如果为None,则提取所有页面。
Returns:
str: 提取到的所有页面的合并文本。
"""
reader = PdfReader(pdf_path)
extracted_text = ""
# 确保 pages_to_exclude 是一个列表,方便处理单个或多个页面
if isinstance(pages_to_exclude, int):
pages_to_exclude = [pages_to_exclude]
elif pages_to_exclude is None:
pages_to_exclude = []
for i, page in enumerate(reader.pages, start=1): # enumerate从1开始计数,与实际页码对应
if i in pages_to_exclude:
# 如果当前页码在排除列表中,则跳过该页
pass
else:
# 否则,提取并添加页面文本
extracted_text += page.extract_text() + "\n"
return extracted_text
# 示例用法:跳过第5页
pdf_file = "pdf-examples/kurdish-sample-2.pdf"
filtered_text = extract_text_excluding_pages(pdf_file, pages_to_exclude=5)
print(filtered_text)
# 示例用法:跳过第1页和第3页
# filtered_text_multiple = extract_text_excluding_pages(pdf_file, pages_to_exclude=[1, 3])
# print(filtered_text_multiple)注意事项:
如果页码或不需要的字符是页面实际文本的一部分,并且我们仍然需要该页面的其他内容,那么仅仅跳过整个页面是不够的。在这种情况下,我们需要在提取页面文本后,对其进行字符串处理,以移除或替换特定的模式。
实现方法:
以下是使用lstrip()和正则表达式移除页码的示例:
import re
from pypdf import PdfReader
def extract_text_and_filter_content(pdf_path):
"""
从PDF中提取文本,并尝试从每页文本的开头移除页码。
Args:
pdf_path (str): PDF文件的路径。
Returns:
str: 提取并过滤后的所有页面的合并文本。
"""
reader = PdfReader(pdf_path)
extracted_text = ""
for i, page in enumerate(reader.pages, start=1):
page_text = page.extract_text()
if page_text:
# 尝试移除开头的数字和空格,假设页码在开头
# 例如 "5 دوارۆژی..." -> "دوارۆژی..."
# 使用正则表达式匹配开头的数字和可能的空格
# r"^\s*\d+\s*" 匹配字符串开头(^)的零个或多个空格(\s*),
# 跟着一个或多个数字(\d+),再跟着零个或多个空格。
filtered_page_text = re.sub(r"^\s*\d+\s*", "", page_text, 1) # 替换一次
# 如果页码不总是在开头,或者格式更复杂,可能需要更复杂的正则表达式
# 例如,移除所有单独的数字行或者页脚中的特定模式
# 示例:移除所有只有数字的行 (假设每行以\n结尾)
# filtered_page_text = "\n".join([line for line in filtered_page_text.split('\n') if not re.fullmatch(r'\s*\d+\s*', line)])
extracted_text += filtered_page_text + "\n"
return extracted_text
# 示例用法:
pdf_file = "pdf-examples/kurdish-sample-2.pdf"
filtered_content_text = extract_text_and_filter_content(pdf_file)
print(filtered_content_text)注意事项:
在选择上述两种策略时,应根据具体需求和PDF文档的特点进行判断:
更复杂的场景:
pypdf库为Python用户提供了强大的PDF文本提取能力。通过结合页面迭代计数器进行条件判断,我们可以灵活地选择性地跳过不需要的页面。而当需要从页面文本中移除嵌入的特定元素时,Python强大的字符串处理功能和正则表达式则能提供精确的控制。理解并熟练运用这些策略,将有助于我们更高效、更准确地从PDF文档中获取所需的文本数据。
以上就是使用PyPDF进行PDF文本提取:选择性页面处理与内容过滤的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号