使用Python爬取动态加载的CSV数据：TfL自行车数据案例

本教程旨在解决使用Python爬虫抓取动态加载的CSV数据时遇到的问题。我们将以伦敦交通局(TfL)自行车使用数据为例，演示如何通过分析XHR/API请求，找到包含数据链接的XML文件，并使用BeautifulSoup解析XML，最终提取所需的CSV文件URL。本文将提供详细的代码示例和步骤，帮助读者掌握爬取动态加载数据的通用方法。

网络爬虫在面对静态网页时通常表现良好，但当网页内容通过JavaScript动态加载时，传统的爬取方法可能无法获取完整的数据。本教程将介绍如何应对这种情况，以伦敦交通局(TfL)的自行车使用数据为例，演示如何抓取动态加载的CSV文件链接。

1. 问题分析：动态加载与传统爬取的局限性

当使用requests和BeautifulSoup等库直接请求包含动态内容的网页时，服务器返回的HTML可能不包含完整的数据。这是因为数据是通过JavaScript在客户端加载的，而requests只获取服务器返回的初始HTML。例如，直接爬取TfL自行车数据页面时，只能获取到条款和条件链接，而无法获取到实际的CSV文件链接。

2. 解决方案：分析XHR/API请求

解决动态加载问题的关键在于找到加载数据的API接口。现代浏览器提供了开发者工具，可以用来检查网络请求（包括XHR/API请求）。

立即学习“Python免费学习笔记（深入）”；

步骤：

1. 打开目标网页（例如：https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d）。
2. 打开浏览器的开发者工具（通常按F12键）。
3. 切换到“Network”选项卡。
4. 刷新页面。
5. 在“Network”选项卡中，筛选XHR或Fetch/XHR请求。
6. 寻找与数据相关的请求。通常，请求的响应类型为JSON或XML。

通过分析TfL自行车数据页面，可以发现一个名为https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500的请求，其响应是一个包含CSV文件链接的XML文件。

3. 代码实现：提取CSV文件链接

找到包含数据链接的XML文件后，可以使用requests获取XML内容，并使用BeautifulSoup解析XML，提取所需的CSV文件链接。

PathFinder

AI驱动的销售漏斗分析工具

下载

import requests
from bs4 import BeautifulSoup

# 获取XML内容
url = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功

# 使用BeautifulSoup解析XML
soup = BeautifulSoup(response.text, 'xml')

# 提取CSV文件链接
for content in soup.find_all('Contents'):
    key = content.find('Key').text
    if key.startswith('usage-stats') and key.endswith('.csv'):
        csv_url = 'https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d' + key
        print(csv_url)

代码解释：

1. requests.get(url)：向XML文件的URL发送GET请求，获取XML内容。
2. response.raise_for_status()：检查HTTP响应状态码，如果请求失败（状态码不是200），则抛出异常。
3. BeautifulSoup(response.text, 'xml')：使用BeautifulSoup解析XML内容。注意，需要指定解析器为xml。
4. soup.find_all('Contents')：查找所有名为Contents的XML标签。
5. content.find('Key').text：在每个Contents标签中，查找名为Key的标签，并获取其文本内容。Key标签包含了CSV文件的路径。
6. if key.startswith('usage-stats') and key.endswith('.csv')：过滤出以usage-stats开头，以.csv结尾的路径，这些路径是所需的CSV文件。
7. csv_url = 'https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d' + key：构建完整的CSV文件URL。
8. print(csv_url)：打印CSV文件URL。

4. 扩展应用：处理大量数据

上面的代码可以提取所有CSV文件链接。如果只需要特定时间段的数据（例如，2021年到2023年），可以在代码中添加额外的过滤条件。

import requests
from bs4 import BeautifulSoup

# 获取XML内容
url = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功

# 使用BeautifulSoup解析XML
soup = BeautifulSoup(response.text, 'xml')

# 提取CSV文件链接
for content in soup.find_all('Contents'):
    key = content.find('Key').text
    if key.startswith('usage-stats') and key.endswith('.csv'):
        # 增加时间段过滤条件
        if '2021' in key or '2022' in key or '2023' in key:
            csv_url = 'https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d' + key
            print(csv_url)

注意：

• 时间段的判断可能需要根据实际的文件命名规则进行调整。
• 可以根据需要将提取的URL保存到文件中，或者直接使用pandas等库读取CSV数据。

5. 总结与注意事项

本教程介绍了如何使用Python爬取动态加载的CSV数据。关键步骤包括：

1. 使用浏览器开发者工具分析XHR/API请求。
2. 找到包含数据链接的API接口。
3. 使用requests获取API响应。
4. 使用BeautifulSoup或其他合适的库解析API响应，提取所需的数据。

注意事项：

• 在进行网络爬虫时，请务必遵守网站的robots.txt协议，并尊重网站的服务条款。
• 频繁的请求可能会给服务器带来负担，请合理设置请求频率，避免对网站造成不必要的影响。
• 不同的网站可能使用不同的动态加载技术，需要根据实际情况进行分析和调整。

通过本教程的学习，读者应该能够掌握爬取动态加载数据的基本方法，并能够应用于其他类似场景。