本文旨在提供一个清晰、高效的解决方案，用于从动态 ASP.NET 网站抓取表格数据。通过模拟网站的 POST 请求，绕过 Selenium 的使用，直接获取包含表格数据的 HTML 源码。结合 BeautifulSoup 和 Pandas 库，实现数据的解析、清洗和提取，最终以易于阅读的表格形式呈现。该方法适用于需要自动化抓取此类网站数据的场景，能有效提高数据获取的效率和稳定性。
从 ASP.NET 网站抓取数据，特别是表格数据，有时会遇到一些挑战。传统的 requests 结合 BeautifulSoup 可能无法直接获取到动态加载的内容，而使用 Selenium 虽然可以解决动态加载的问题，但效率相对较低。本文介绍一种更高效的方法，通过分析网站的请求，模拟 POST 请求直接获取包含表格数据的 HTML 源码，然后利用 BeautifulSoup 和 Pandas 库进行解析和提取。
步骤详解
-
分析网站请求
首先，需要分析目标网站的请求方式和参数。使用浏览器的开发者工具（通常按 F12 键打开），在 Network 选项卡中观察网页加载过程中发送的请求。特别是 POST 请求，通常包含一些关键的参数，例如 __VIEWSTATE、__EVENTVALIDATION 等。这些参数是 ASP.NET 用来维护页面状态的，需要在后续的请求中携带。
立即学习“前端免费学习笔记（深入）”；
-
获取关键参数
使用 requests 库获取网页的初始 HTML 源码，然后使用 BeautifulSoup 解析 HTML，提取 __VIEWSTATE 和 __EVENTVALIDATION 的值。
import requests from bs4 import BeautifulSoup url = "https://serviciosede.mineco.gob.es/indeco/reports/verSerieGraf.aspx/?codigo=230400&frec=-1" with requests.Session() as s: soup = BeautifulSoup(s.get(url).text, "lxml") # Get the viewstate and eventvalidation values first payload_data["__VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"] payload_data["__EVENTVALIDATION"] = soup.select_one("#__EVENTVALIDATION")["value"]这段代码使用 requests.Session() 创建一个会话，以便在后续的请求中保持 Cookie 等信息。然后，使用 BeautifulSoup 解析 HTML，通过 CSS 选择器 soup.select_one("#__VIEWSTATE")["value"] 提取 __VIEWSTATE 和 __EVENTVALIDATION 的值。
-
构造 POST 请求
构造一个字典，包含需要 POST 的数据。除了 __VIEWSTATE 和 __EVENTVALIDATION，可能还需要包含其他参数，例如 __EVENTTARGET、控件的 ID 等。这些参数通常可以在开发者工具的 Network 选项卡中找到。
payload_data = { "__EVENTTARGET": "ReportViewer1$_ctl9$Reserved_AsyncLoadTarget", "__VIEWSTATE": "", "__VIEWSTATEGENERATOR": "4B866612", "__EVENTVALIDATION": "", "ReportViewer1:_ctl11": "standards", "ReportViewer1:AsyncWait:HiddenCancelField": "False", "ReportViewer1:ToggleParam:collapse": "false", "ReportViewer1:_ctl7:collapse": "false", "ReportViewer1:_ctl9:VisibilityState:_ctl0": "None", "ReportViewer1:_ctl9:ReportControl:_ctl4": "100" }请注意，payload_data 中的值需要根据实际情况进行调整。
-
发送 POST 请求并解析表格数据
使用 requests.post() 方法发送 POST 请求，并将构造好的数据作为参数传递。然后，使用 Pandas 库的 read_html() 方法解析返回的 HTML 源码，提取表格数据。
import pandas as pd from io import StringIO with requests.Session() as s: soup = BeautifulSoup(s.get(url).text, "lxml") # Get the viewstate and eventvalidation values first payload_data["__VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"] payload_data["__EVENTVALIDATION"] = soup.select_one("#__EVENTVALIDATION")["value"] # Now the table should be in the source HTML table_data = s.post(url, data=payload_data) # Do some pandas magic to get the table data df = pd.read_html(StringIO(table_data.text))[-3] df = df.drop(df.columns[0], axis=1) df.dropna(inplace=True) df.columns = df.iloc[0] df = df.iloc[1:] print(tabulate(df, headers='keys', tablefmt='psql', showindex=False))pd.read_html() 方法会返回一个包含所有表格数据的列表。根据实际情况，选择正确的表格索引。然后，对表格数据进行清洗，例如删除不需要的列、删除空行、设置列名等。
-
数据清洗和格式化
根据实际需求，对提取到的表格数据进行清洗和格式化。例如，删除不需要的列、删除空行、修改数据类型等。
注意事项
- User-Agent: 某些网站会检查 User-Agent，可以设置请求头模拟浏览器访问。
- Cookies: 有些网站依赖 Cookies 来跟踪会话，需要正确处理 Cookies。requests.Session() 可以方便地管理 Cookies。
- 动态参数: __VIEWSTATE 和 __EVENTVALIDATION 等参数可能会动态变化，每次请求前都需要重新获取。
- 错误处理: 添加适当的错误处理机制，例如捕获 requests.exceptions.RequestException 异常。
- 网站协议: 遵守网站的robots.txt协议，尊重网站的爬取规则。
总结
本文介绍了一种从 ASP.NET 网站抓取表格数据的高效方法，通过模拟 POST 请求直接获取包含表格数据的 HTML 源码，避免了使用 Selenium 的开销。结合 BeautifulSoup 和 Pandas 库，可以方便地解析和提取表格数据。在实际应用中，需要根据目标网站的具体情况进行调整，例如修改 POST 数据、处理 Cookies 等。
