如何高效抓取动态加载的网页表格数据

当`pandas.read_html`无法识别网页表格时，通常是由于表格内容通过JavaScript动态加载。本教程将指导您使用浏览器开发者工具定位数据源的XHR请求，并通过Python的`requests`库模拟该请求，直接获取原始JSON数据，最终利用`pandas`库将其转换为结构化的DataFrame，从而高效、准确地提取动态网页表格数据。

1. 理解pandas.read_html的局限性

pandas.read_html是一个非常便捷的函数，用于从HTML页面中解析

即使使用Selenium等自动化工具模拟浏览器行为，如果只是简单地获取元素的outerHTML属性，也可能因为数据是通过独立的API请求获取并渲染的，导致获取到的HTML字符串仍不包含实际数据，或者只包含一个空的表格结构。解决这类问题的关键在于绕过HTML解析，直接与数据源进行交互。

2. 定位动态数据源：使用浏览器开发者工具

要成功抓取动态加载的表格数据，核心步骤是找到网页背后获取数据的API请求。这通常可以通过浏览器的开发者工具（Developer Tools）来完成。

2.1 打开开发者工具

• Chrome: 右键点击页面 -> 检查 (Inspect)，或按 F12。
• Firefox: 右键点击页面 -> 检查元素 (Inspect Element)，或按 F12。

2.2 监控网络请求

1. 在开发者工具面板中，切换到 “Network”（网络） 标签页。
2. 刷新您要抓取数据的网页。
3. 在网络请求列表中，通常会看到大量的请求。为了聚焦于数据请求，可以使用过滤器。在过滤器中输入 “XHR” 或 “Fetch/XHR”，这将只显示XMLHttpRequest和Fetch API发出的异步请求，这些请求通常用于获取动态数据。
4. 观察在表格数据出现时，哪些XHR请求被触发。点击这些请求，查看其 “Headers”（请求头）、“Payload”（请求载荷/表单数据） 和 “Response”（响应）。
   • Headers: 包含请求的URL、请求方法（GET/POST）、User-Agent等信息。
   • Payload: 如果是POST请求，这里会显示发送到服务器的数据（例如查询参数）。
   • Response: 这是服务器返回的原始数据，通常是JSON格式，也可能是XML或纯文本。这就是我们最终想要获取的数据。

通过分析这些请求，您将能够确定数据请求的URL、请求方法（GET或POST）、需要发送的任何参数以及响应数据的格式。

XYCMS建站系统php版1.4

XYCMS建站系统PHP版非MVC框架,自己手写原生态普通代码，作为企业用，已经绰绰有余。软件运行效率中等，加入数据缓存后性能提高。假如用来学习，下载可以慢慢研究的，假如用来建站，可以选择购买商业版就行建站用。栏目类别：文章，人员信息，专题项目，招聘，下载，相册，单页【支持无限极分类】文章：可用作添加新闻，资讯，列表信息类栏目信息人员信息：可用作企业员工信息栏目内容添加或者维护专题项目：可用作企业

下载

3. 使用requests库模拟数据请求

一旦识别出数据源的API请求，我们就可以使用Python的requests库来模拟这个请求，直接获取原始数据。

3.1 准备请求参数

根据开发者工具中观察到的XHR请求信息，提取以下关键参数：

• url: 请求的完整URL。
• method: 请求方法，通常是GET或POST。
• payload (或 params): 如果是POST请求，需要提供data参数（表单数据）；如果是GET请求，需要提供params参数（URL查询参数）。
• headers: 某些网站可能需要特定的请求头，例如User-Agent，以模拟浏览器行为，防止被服务器识别为爬虫。

以本例为例，通过开发者工具分析，我们发现数据是通过一个POST请求发送到https://anex.us/grades/getData/，并带有一些表单数据。

3.2 编写Python代码获取数据

import requests
import pandas as pd

# 1. 定义数据请求的URL
url = 'https://anex.us/grades/getData/'

# 2. 定义请求的载荷（payload），对应开发者工具中看到的Form Data
# 在本例中，查询ENGR 102的成绩数据
payload = {'dept': 'ENGR', 'number': '102'}

# 3. 定义请求头，模拟浏览器行为
# 包含User-Agent通常能有效避免部分反爬机制
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0'}

# 4. 发送POST请求并获取响应
# 对于GET请求，使用 requests.get(url, params=payload, headers=headers)
response = requests.post(url, data=payload, headers=headers)

# 5. 检查请求是否成功
response.raise_for_status() # 如果请求失败（例如4xx或5xx状态码），会抛出HTTPError

# 6. 解析JSON响应数据
# 大多数动态数据API返回JSON格式
data = response.json()

# 7. 将JSON数据转换为Pandas DataFrame
# 根据JSON结构，提取包含表格数据的部分。
# 在本例中，数据位于 'classes' 键下
df = pd.DataFrame(data['classes'])

# 打印DataFrame的前几行以验证数据
print(df.head())

3.3 代码输出示例

     dept number section   A   B   C  D  F  I  S  U   Q  X           prof  year semester               gpa
0    ENGR    102      20  18  17   8  2  3  0  0  0   1  0        AMINI N  2018     FALL            2.9375
1    ENGR    102      21  18  31  15  4  1  0  0  0   0  0        KOOLA P  2018     FALL  2.88405797101449
2    ENGR    102      22  10  28  16  2  3  0  0  0   0  0         SHAW S  2018     FALL  2.67796610169492
3    ENGR    102      26   9  24  10  4  6  0  0  0   0  0  SUBRAMANIAN R  2018     FALL  2.49056603773585
4    ENGR    102     201  21  12   1  1  0  0  0  0   0  0         IJAZ M  2018     FALL  3.51428571428571

4. 注意事项与最佳实践

• User-Agent头部: 很多网站会检查User-Agent头部来识别请求来源。如果缺少或使用了默认的requests库的User-Agent，可能会被拒绝访问。因此，模拟一个常见的浏览器User-Agent是良好的实践。
• 请求方法: 仔细区分GET和POST请求。GET请求的参数通常在URL中，而POST请求的参数在请求体中。
• 数据格式: 虽然JSON是最常见的API响应格式，但也可能遇到XML、CSV或纯文本。requests库提供了多种解析方法，例如response.text、response.content。
• 错误处理: 始终加入错误处理机制，例如使用try-except块捕获requests.exceptions.RequestException，以应对网络问题、服务器错误或API响应异常。
• API限制与使用条款: 在抓取数据时，务必遵守网站的服务条款和API使用政策。过度频繁的请求可能会导致IP被封禁。对于大型抓取任务，考虑设置请求间隔、使用代理IP等策略。
• 动态参数: 有些API请求的payload或params可能包含动态生成的令牌（token）或时间戳。如果遇到这种情况，可能需要更复杂的逻辑来模拟，例如先访问页面获取令牌，再进行数据请求。

总结

当pandas.read_html无法满足动态网页表格抓取的需求时，最有效的方法是深入其背后，通过浏览器开发者工具识别并直接调用数据接口（XHR请求）。利用requests库模拟这些请求，获取原始结构化数据（通常是JSON），再结合pandas进行数据清洗和分析，可以高效、准确地提取所需信息。掌握这一技巧，将极大地扩展您从网络获取数据的能力。