理解ASP.NET网站的数据抓取挑战
在尝试从某些动态网页（特别是基于asp.net框架构建的网站）抓取数据时，开发者常常会遇到困难。传统的静态html解析方法（如直接使用beautifulsoup查找元素）或基于浏览器自动化的selenium方法可能无法奏效。这通常是因为asp.net网站为了维护页面状态和处理用户交互，会大量使用隐藏字段（如__viewstate、__eventvalidation、__viewstategenerator等）。这些字段的值是动态生成的，并且在每次页面请求或用户操作时都会被发送到服务器，以确保服务器能够正确理解客户端的状态。
当目标表格并非在首次页面加载时直接包含在HTML源码中，而是通过JavaScript异步加载，或者在用户与页面交互（如点击按钮、选择下拉菜单）后才由服务器响应生成时，直接的BeautifulSoup解析会返回None。即使使用Selenium，如果表格的加载依赖于特定的POST请求参数，而这些参数又依赖于页面的动态状态，那么简单地等待页面加载完成可能也无法捕获到最终的表格内容。更进一步，Selenium虽然功能强大，但其启动浏览器、模拟用户行为的开销较大，对于大规模或高频率的数据抓取任务而言，效率较低。
基于请求模拟的解决方案
针对上述挑战，一种更高效且专业的解决方案是模拟HTTP请求。其核心思想是：
- 分析网站行为：通过浏览器开发者工具（Network标签页）观察目标网站在加载或用户交互时发出的HTTP请求，特别是那些包含目标数据的POST请求。
- 提取动态参数：首次GET请求页面，解析HTML以提取如__VIEWSTATE、__EVENTVALIDATION等关键的动态隐藏字段值。
- 构建请求负载：结合这些动态值以及通过分析获得的固定表单参数，构建一个完整的POST请求负载（payload）。
- 发送模拟请求：使用requests库发送这个POST请求。
- 解析响应数据：从POST请求的响应中提取包含目标表格的HTML内容，并使用pandas等库进行解析和数据清洗。
这种方法避免了启动整个浏览器环境的开销，使得数据抓取过程更加轻量和高效。
实现细节与代码示例
下面将通过一个具体的ASP.NET网站表格抓取案例来演示这一过程。目标是从一个西班牙政府网站（https://serviciosede.mineco.gob.es/indeco/reports/verSerieGraf.aspx/?codigo=230400&frec=-1）中提取包含“Fecha”和“Valor”列的表格数据。
from io import StringIO
import pandas as pd
import requests
from bs4 import BeautifulSoup
from tabulate import tabulate
# 目标URL
url = "https://serviciosede.mineco.gob.es/indeco/reports/verSerieGraf.aspx/?codigo=230400&frec=-1"
# 预设的POST请求负载数据，这些是分析网络请求后得到的固定参数
# 某些值可能在每次请求中固定，某些需要从首次GET请求中提取
payload_data = {
"__EVENTTARGET": "ReportViewer1$_ctl9$Reserved_AsyncLoadTarget",
"__VIEWSTATE": "", # 动态值，需要从首次GET请求中提取
"__VIEWSTATEGENERATOR": "4B866612", # 固定值或半动态值
"__EVENTVALIDATION": "", # 动态值，需要从首次GET请求中提取
"ReportViewer1:_ctl11": "standards",
"ReportViewer1:AsyncWait:HiddenCancelField": "False",
"ReportViewer1:ToggleParam:collapse": "false",
"ReportViewer1:_ctl7:collapse": "false",
"ReportViewer1:_ctl9:VisibilityState:_ctl0": "None",
"ReportViewer1:_ctl9:ReportControl:_ctl4": "100"
}
# 使用requests.Session保持会话状态
with requests.Session() as s:
# 第一次GET请求：获取页面的初始HTML内容
# 目的是为了提取动态生成的__VIEWSTATE和__EVENTVALIDATION值
initial_response = s.get(url)
soup = BeautifulSoup(initial_response.text, "lxml")
# 从首次GET请求的HTML中提取动态参数
# 使用CSS选择器定位这些隐藏的input元素
viewstate_element = soup.select_one("#__VIEWSTATE")
if viewstate_element:
payload_data["__VIEWSTATE"] = viewstate_element["value"]
else:
print("警告：未找到__VIEWSTATE字段。")
eventvalidation_element = soup.select_one("#__EVENTVALIDATION")
if eventvalidation_element:
payload_data["__EVENTVALIDATION"] = eventvalidation_element["value"]
else:
print("警告：未找到__EVENTVALIDATION字段。")
# 第二次POST请求：发送包含动态参数的表单数据
# 这次请求的响应中应该包含目标表格的HTML
table_response = s.post(url, data=payload_data)
# 使用pandas解析响应中的HTML表格
# pd.read_html会返回一个DataFrame列表，因为HTML中可能包含多个表格
# 经过分析，目标表格是列表中的倒数第三个
df_list = pd.read_html(StringIO(table_response.text))
if len(df_list) >= 3:
df = df_list[-3]
else:
print("错误：未找到预期的表格。")
exit()
# 数据清洗和格式化
# 移除第一列（通常是序号或不必要的辅助列）
df = df.drop(df.columns[0], axis=1)
# 移除包含NaN值的行
df.dropna(inplace=True)
# 将第一行设置为列名
df.columns = df.iloc[0]
# 移除作为列名的第一行数据
df = df.iloc[1:]
# 打印格式化后的表格
print(tabulate(df, headers='keys', tablefmt='psql', showindex=False))
代码解析
-
导入库:
- StringIO：用于将字符串视为文件对象，pandas.read_html可以直接处理文件对象。
- pandas：强大的数据处理库，特别是read_html函数，能够自动从HTML中识别并解析表格。
- requests：用于发送HTTP请求，替代Selenium进行网页内容获取。
- BeautifulSoup：用于解析HTML内容，以便提取动态生成的表单字段。
- tabulate：用于将pandas DataFrame以美观的文本格式打印到控制台。
payload_data: 这是一个字典，包含了POST请求需要发送的所有表单数据。这些数据通常可以通过浏览器的开发者工具（Network标签页，查看POST请求的Form Data或Payload）
