本教程详细介绍了如何使用python的requests和beautifulsoup库，从动态asp网站抓取pdf文件。文章涵盖了http post请求、html解析、pdf链接识别，以及如何利用网页显示文本作为文件名保存下载内容，实现自动化且智能的文档管理。
引言
在日常工作中，我们经常需要从网站下载大量文件，尤其是PDF文档。然而，网站提供的下载链接通常只包含技术性的文件名，而非用户友好的显示名称。本教程旨在解决这一问题，指导您如何利用Python编写脚本，从特定网页（例如ASP站点）抓取PDF文件，并将其保存为网页上显示的标题名称，从而实现更智能、更高效的文档管理。我们将重点关注如何解析HTML以获取正确的下载链接和对应的显示名称，以及如何利用Python的HTTP库完成文件下载。
环境准备
在开始之前，请确保您的Python环境中安装了以下库：
- requests: 用于发送HTTP请求，包括POST和GET请求。
- BeautifulSoup4: 用于解析HTML和XML文档，方便提取所需数据。
- lxml: BeautifulSoup的解析器，通常推荐安装以提高解析速度和兼容性。
您可以使用pip命令进行安装：
pip install requests beautifulsoup4 lxml
核心技术概览
本教程将综合运用以下Python库和技术：
立即学习“Python免费学习笔记（深入）”；
- requests库:
-
BeautifulSoup库:
- BeautifulSoup(html_content, "lxml"): 初始化解析器，将HTML内容转换为可操作的对象。
- find_all('a', {'href': True}): 查找所有带有href属性的标签。
- link.get('href'): 获取标签的href属性值（即链接）。
- link.text: 获取标签的文本内容（即显示名称）。
-
os模块:
- os.path.join(): 安全地拼接文件路径，自动处理不同操作系统的路径分隔符。
- os.makedirs(path, exist_ok=True): 创建目录，exist_ok=True参数确保如果目录已存在不会抛出错误。
-
文件操作:
- with open(full_path, 'wb') as fh:: 以二进制写入模式打开文件，确保正确保存下载的二进制内容。
实现步骤详解
我们将通过一个具体的例子来演示如何实现从ASP网站下载PDF并自定义文件名。假设我们需要从一个ASP网站根据“班级”和“科目”筛选后，下载其中列出的PDF文件。
淄博分类信息港程序seo特别版
下载
seo特别版程序介绍：注意：普通用户建议使用淄博分类信息港程序普通版本。主要针对seo需要增加了自定义功能：自定义文件路径；自定义文件名；自定义关键字。这些功能的作用，只有自己体会了。以下是淄博分类信息港程序的介绍：淄博分类信息港程序一套现成的城市分类信息网站发布系统。发布管理房屋、人才、招租、招聘、求购、求租、搬迁、运输、二手交易、招生培训、婚介交友等各类信息的发布和查询。淄博分类信息港发布程序
1. 定义配置与初始化
首先，导入必要的库，并定义目标URL、请求头以及文件保存路径。
import os
import requests
from bs4 import BeautifulSoup
from urllib import parse as urlparse # 尽管本例中不直接使用urlparse.quote，但了解其用途很重要
# 定义目标网站URL
BASE_URL = "https://www.svpo.nl/curriculum.asp"
# 定义请求头，模拟浏览器行为
HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
# 定义PDF文件保存的根目录
OUTPUT_ROOT_PATH = r'c:ooks' # 使用原始字符串避免反斜杠转义问题
# 定义需要遍历的班级和科目
klassen = ['1e klas']
vakken = ['Wiskunde']
# 可以扩展为更多班级和科目
# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis',
# 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',
# 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal',
# 'Loopbaanorientatie','NLT']
downloaded_links = [] # 用于存储已下载的链接，可选2. 遍历筛选条件并发送POST请求
网站内容通常是根据用户选择动态生成的。我们需要模拟用户选择“班级”和“科目”的过程，通过发送POST请求获取对应的HTML内容。
for klas in klassen:
for vak in vakken:
# 构建当前班级和科目的保存路径
# os.path.join 会智能处理路径分隔符
current_save_path = os.path.join(OUTPUT_ROOT_PATH, klas, vak)
# 创建目录，如果目录已存在则不报错
os.makedirs(current_save_path, exist_ok=True)
print(f"正在处理: 班级 '{klas}', 科目 '{vak}'")
print(f"文件将保存到: {current_save_path}")
# 构建POST请求的表单数据
payload = {'vak': vak, 'klas_en_schoolsoort': klas}
# 发送POST请求获取网页内容
try:
response = requests.post(BASE_URL, data=payload, headers=HEADERS)
response.raise_for_status() # 检查HTTP请求是否成功 (200 OK)
html_content = response.text
except requests.exceptions.RequestException as e:
print(f"请求失败，跳过: {e}")
continue3. 解析HTML并提取PDF链接及显示名称
获取到HTML内容后，使用BeautifulSoup进行解析，找出所有指向PDF文件的标签，并提取它们的href属性（下载链接）和text内容（显示名称）。
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, "lxml")
# 查找所有带有href属性的<a>标签
all_links = soup.find_all('a', {'href': True})
for link_tag in all_links:
url_raw = link_tag.get('href') # 获取原始链接
# 检查链接是否指向PDF文件（不区分大小写）
if url_raw and url_raw.lower().endswith('.pdf'):
# 某些网站的URL可能包含反斜杠，需要替换为正斜杠以确保URL有效
download_url = url_raw.replace('\', '/')
# 提取<a>标签的文本内容作为文件名
# 注意：这里直接使用link_tag.text作为文件名，然后添加.pdf后缀
# 需要对文件名进行清理，以防包含非法字符
raw_filename = link_tag.text.strip()
# 简单清理文件名，移除Windows不允许的字符
# 实际应用中可能需要更复杂的清理逻辑
invalid_chars = r'<>:"/|?*'
cleaned_filename = "".join(c for c in raw_filename if c not in invalid_chars)
# 组合最终的文件名
final_filename = f"{cleaned_filename}.pdf"
print(f" 发现PDF: {final_filename}")
print(f" 下载链接: {download_url}")
# 构造完整的本地文件路径
full_local_path = os.path.join(current_save_path, final_filename)
print(f" 保存路径: {full_local_path}")4. 下载PDF文件并保存到本地
使用requests.get()下载PDF文件的内容，并将其写入到之前构造的本地文件路径中。
# 检查文件是否已存在，避免重复下载
if os.path.exists(full_local_path):
print(f" 文件 '{final_filename}' 已存在，跳过下载。")
continue
try:
# 发送GET请求下载PDF内容
pdf_response = requests.get(download_url, headers=HEADERS, stream=True)
pdf_response.raise_for_status() # 检查下载请求是否成功
# 将下载内容写入文件
with open(full_local_path, 'wb') as fh:
for chunk in pdf_response.iter_content(chunk_size=8192):
fh.write(chunk)
print(f" 成功下载 '{final_filename}'")
downloaded_links.append(download_url) # 记录已下载的链接
except requests.exceptions.RequestException as e:
print(f" 下载 '{final_filename}' 失败: {e}")
print('---') # 分隔符，便于查看输出完整示例代码
将上述步骤整合到一起，形成一个完整的Python脚本：
import os
import requests
from bs4 import BeautifulSoup
from urllib import parse as urlparse
# 定义目标网站URL
BASE_URL = "https://www.svpo.nl/curriculum.asp"
# 定义请求头，模拟浏览器行为
HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
# 定义PDF文件保存的根目录
OUTPUT_ROOT_PATH = r'c:ooks' # 使用原始字符串避免反斜杠转义问题
# 定义需要遍历的班级和科目
klassen = ['1e klas']
vakken = ['Wiskunde']
# 可以扩展为更多班级和科目
# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis',
# 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',
# 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal',
# 'Loopbaanorientatie','NLT']
downloaded_links = [] # 用于存储已下载的链接，可选
print("开始PDF下载任务...")
for klas in klassen:
for vak in vakken:
# 构建当前班级和科目的保存路径
current_save_path = os.path.join(OUTPUT_ROOT_PATH, klas, vak)
os.makedirs(current_save_path, exist_ok=True) # 创建目录，如果目录已存在则不报错
print(f"
--- 正在处理: 班级 '{klas}', 科目 '{vak}' ---")
print(f"文件将保存到: {current_save_path}")
# 构建POST请求的表单数据
payload = {'vak': vak, 'klas_en_schoolsoort': klas}
try:
# 发送POST请求获取网页内容
response = requests.post(BASE_URL, data=payload, headers=HEADERS, timeout=10) # 设置超时
response.raise_for_status() # 检查HTTP请求是否成功 (200 OK)
html_content = response.text
except requests.exceptions.RequestException as e:
print(f" 请求网页失败，跳过当前组合: {e}")
continue
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, "lxml")
# 查找所有带有href属性的<a>标签
all_links = soup.find_all('a', {'href': True})
for link_tag in all_links:
url_raw = link_tag.get('href') # 获取原始链接
# 检查链接是否指向PDF文件（不区分大小写）
if url_raw and url_raw.lower().endswith('.pdf'):
# 某些网站的URL可能包含反斜杠，需要替换为正斜杠以确保URL有效
download_url = url_raw.replace('\', '/')
# 提取<a>标签的文本内容作为文件名
raw_filename = link_tag.text.strip()
# 清理文件名：移除Windows不允许的字符
# 实际应用中可能需要更复杂的清理逻辑，例如处理过长文件名
invalid_chars = r'<>:"/|?*'
cleaned_filename = "".join(c for c in raw_filename if c not in invalid_chars)
if not cleaned_filename: # 如果清理后文件名为空，则使用URL中的文件名作为备用
cleaned_filename = os.path.basename(download_url).split('?')[0] # 移除URL参数
cleaned_filename = cleaned_filename.rsplit('.', 1)[0] if '.' in cleaned_filename else cleaned_filename
# 组合最终的文件名，确保有.pdf后缀
final_filename = f"{cleaned_filename}.pdf"
print(f" 发现PDF: '{final_filename}'")
print(f" 下载链接: {download_url}")
# 构造完整的本地文件路径
full_local_path = os.path.join(current_save_path, final_filename)
print(f" 保存路径: {full_local_path}")
# 检查文件是否已存在，避免重复下载
if os.path.exists(full_local_path):
print(f" 文件 '{final_filename}' 已存在，跳过下载。")
continue
try:
# 发送GET请求下载PDF内容，使用stream=True和iter_content分块下载
pdf_response = requests.get(download_url, headers=HEADERS, stream=True, timeout=30)
pdf_response.raise_for_status() # 检查下载请求是否成功
# 将下载内容写入文件
with open(full_local_path, 'wb') as fh:
for chunk in pdf_response.iter_content(chunk_size=8192):
fh.write(chunk)
print(f" 成功下载 '{final_filename}'")
downloaded_links.append(download_url) # 记录已下载的链接
except requests.exceptions.RequestException as e:
print(f" 下载 '{final_filename}' 失败: {e}")
except IOError as e:
print(f" 写入文件 '{final_filename}' 失败: {e}")
print("
所有任务完成。")
print(f"共下载了 {len(downloaded_links)} 个PDF文件。")注意事项与最佳实践
- 文件名合法性:
-
错误处理:
- 网络请求可能失败（如连接超时、DNS解析失败）。使用try-except requests.exceptions.RequestException可以捕获这些错误。
- response.raise_for_status()是一个好习惯，它会在HTTP状态码表示错误时（如4xx或5xx）抛出异常。
- 文件写入也可能失败（如磁盘空间不足、权限问题），应使用try-except IOError捕获。
-
User-Agent:
- 许多网站会检查User-Agent请求头，以识别请求来源。模拟常见的浏览器User-Agent可以有效避免被网站阻止。
-
URL编码与解码:
- 虽然requests库通常能很好地处理URL编码，但如果URL中包含非ASCII字符或特殊符号，确保它们被正确编码（例如使用urllib.parse.quote）是重要的。本例中，requests自动处理了大部分情况。
-
网站访问频率与爬虫道德:
- 自动化脚本应遵守网站的robots.txt协议，并控制访问频率，避免对网站服务器造成过大负担。过于频繁的请求可能导致IP被封禁。
-
URL中的反斜杠:
- 在Windows环境下，某些网站的URL路径可能错误地使用反斜杠作为分隔符。Python的requests库通常期望URL使用正斜杠/。因此，url_raw.replace('\', '/')是一个重要的处理步骤。
-
分块下载:
- 对于大型文件，使用stream=True参数和iter_content()方法进行分块下载，可以有效管理内存，避免一次性将整个文件加载到内存中。
总结
通过本教程，您学习了如何利用Python的requests和BeautifulSoup库，高效地从动态网站下载PDF文件，并根据网页上显示的标题自定义文件名。这不仅提升了自动化能力，也使得下载的文档更具可读性和管理性。结合错误处理和最佳实践，您可以构建出稳定可靠的网页内容抓取和下载解决方案。请记住，在进行任何网络爬取活动时，始终要尊重网站的使用条款和robots.txt协议。
