使用Python和API高效抓取TechCrunch动态加载文章教程

本文详细介绍了如何在不使用selenium或beautifulsoup等模拟点击工具的情况下，利用python的`requests`库和网站的api接口，高效抓取techcrunch等网站动态加载的文章内容。通过浏览器开发者工具识别隐藏的api请求，并循环调用分页api，实现对大量文章的自动化数据采集，克服了“加载更多”按钮的限制。

识别动态加载内容的API接口

在许多现代网站上，为了提升用户体验，内容通常是动态加载的。这意味着当你首次访问页面时，浏览器接收到的HTML可能只包含一部分内容。当用户滚动页面或点击“加载更多”按钮时，网站会通过JavaScript向后端发送请求，获取更多数据，然后动态地插入到页面中。对于爬虫而言，如果仅抓取初始HTML，就无法获取到全部内容。

传统的网页抓取方法，如结合requests和BeautifulSoup，主要针对静态HTML内容。当网站内容依赖于JavaScript动态加载时，这些工具就显得力不从心。虽然Selenium等自动化测试工具可以模拟用户行为（如点击按钮、滚动页面）来触发JavaScript执行，进而获取动态内容，但它们通常资源消耗较大，运行速度较慢，并且在某些环境下可能无法使用。

为了在不使用Selenium等工具的情况下获取动态加载的内容，关键在于找到网站用来获取这些数据的API接口。这些API请求通常返回JSON格式的数据，其中包含了我们所需的内容。

如何发现这些API接口？

立即学习“Python免费学习笔记（深入）”；

最有效的方法是利用浏览器的“开发者工具”（Developer Tools）。以下是具体步骤：

1. 打开目标网站： 在浏览器中访问 https://techcrunch.com/。
2. 打开开发者工具：
   • 在Chrome、Firefox等浏览器中，右键点击页面任意位置，选择“检查”（Inspect）或“检查元素”（Inspect Element）。
   • 或者使用快捷键：F12（Windows/Linux）或 Cmd + Option + I（macOS）。
3. 切换到“网络”（Network）选项卡： 这个选项卡会显示浏览器与服务器之间所有的网络请求。
4. 过滤请求类型： 为了更容易找到API请求，可以过滤请求类型。通常，动态加载的数据请求属于“XHR”或“Fetch”类型。点击“XHR”或“Fetch/XHR”按钮进行过滤。
5. 模拟用户行为： 在网页上找到“加载更多”（Load More）按钮并点击它。
6. 观察网络请求： 当你点击“加载更多”后，在“网络”选项卡中会看到新的请求出现。仔细观察这些新请求的URL。寻找那些看起来像数据接口的URL，它们通常包含api、json或特定的路径段。

对于TechCrunch网站，当你点击“加载更多”按钮后，在“网络”选项卡中，你会发现一个形如 https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0 的请求。这就是我们需要的API接口。

解析TechCrunch的API结构

通过上述步骤，我们识别出了TechCrunch用于分页加载文章的API接口：

Mokker AI

AI产品图添加背景

下载

https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0

仔细观察这个URL，我们可以发现几个关键点：

• wp-json/tc/v1/magazine: 这是API的路径，表明它是一个WordPress JSON API，用于获取杂志（文章）内容。
• page={page}: 这是一个非常重要的查询参数，它控制了要获取的页码。通过改变{page}的值，我们可以请求不同页的文章。
• _embed=true, es=true, cachePrevention=0: 这些是其他查询参数，它们可能控制返回数据的详细程度、搜索行为或缓存行为。在我们的场景中，保持它们不变即可。

这个API返回的数据是JSON格式，每一页的响应都包含一个文章列表，每篇文章又是一个字典，其中包含了标题、链接、摘要等详细信息。

使用Python requests库进行数据抓取

有了API接口，我们就可以使用Python的requests库来发送HTTP请求，获取并解析数据了。

以下是一个完整的Python示例代码，演示如何迭代抓取TechCrunch的多页文章标题：

import requests
import time
import json # 用于美观打印JSON数据，可选

# 定义API的基础URL，其中{page}是页码的占位符
api_url_template = "https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0"

# 定义要抓取的页数范围
# 注意：这里我们抓取1到9页，共9页。实际应用中可根据需求调整。
# 网站可能没有无限页，抓取过多不存在的页码可能会返回空列表或错误。
num_pages_to_fetch = 10 

print(f"开始抓取TechCrunch文章，预计抓取 {num_pages_to_fetch-1} 页...")

all_articles_data = []

for page_num in range(1, num_pages_to_fetch): # 从第1页开始
    current_api_url = api_url_template.format(page=page_num)
    print(f"\n正在请求第 {page_num} 页: {current_api_url}")

    try:
        # 发送GET请求
        response = requests.get(current_api_url)
        response.raise_for_status() # 检查请求是否成功，如果状态码不是200，则抛出HTTPError

        # 解析JSON响应
        data = response.json()

        if not data:
            print(f"第 {page_num} 页没有返回数据，可能已到达最后一页或请求有误。")
            break # 如果返回空列表，则认为没有更多文章了，退出循环

        # 遍历当前页的所有文章
        for article in data:
            title = article.get("title", {}).get("rendered", "无标题")
            link = article.get("link", "无链接")
            # 可以根据需要提取更多字段，例如摘要、发布日期等
            # summary = article.get("excerpt", {}).get("rendered", "无摘要")
            # published_date = article.get("date", "无日期")

            print(f"  - 标题: {title}")
            # print(f"    链接: {link}")
            # print(f"    摘要: {summary}")
            # print(f"    发布日期: {published_date}")

            all_articles_data.append({
                "title": title,
                "link": link,
                # ... 其他需要存储的数据
            })

    except requests.exceptions.RequestException as e:
        print(f"请求第 {page_num} 页时发生错误: {e}")
    except json.JSONDecodeError:
        print(f"解析第 {page_num} 页的JSON响应时发生错误。")

    # 为了避免给服务器造成过大压力，建议在每次请求后暂停一段时间
    time.sleep(1) # 暂停1秒

print(f"\n抓取完成！共抓取到 {len(all_articles_data)} 篇文章。")

# 示例：打印所有抓取到的文章标题（或存储到文件）
# for article in all_articles_data:
#     print(f"最终文章列表 - 标题: {article['title']}")

# 可以将数据保存到JSON文件
# with open("techcrunch_articles.json", "w", encoding="utf-8") as f:
#     json.dump(all_articles_data, f, ensure_ascii=False, indent=4)
# print("文章数据已保存到 techcrunch_articles.json")

代码解析：

1. import requests 和 import time: 导入HTTP请求库和时间库（用于控制请求频率）。
2. api_url_template: 定义了API的模板URL，{page}是一个占位符，后续会用实际页码填充。
3. num_pages_to_fetch: 设置你希望抓取的页数。请注意，网站的实际页数是有限的，如果请求的页码超出范围，API可能会返回空数据或错误。
4. for page_num in range(1, num_pages_to_fetch): 循环遍历所需的页码。
5. current_api_url = api_url_template.format(page=page_num): 构建当前页的完整API URL。
6. requests.get(current_api_url): 发送HTTP GET请求到API。
7. response.raise_for_status(): 这是一个非常重要的错误检查，如果HTTP响应状态码表示请求失败（例如4xx或5xx），它会抛出HTTPError。
8. data = response.json(): 将API响应解析为Python字典或列表（因为API返回的是JSON数据）。
9. if not data:: 检查返回的数据是否为空。如果API返回一个空列表，通常意味着没有更多文章了，此时可以提前退出循环。
10. for article in data:: 遍历当前页返回的文章列表。
11. article.get("title", {}).get("rendered", "无标题"): 从每篇文章的字典中提取标题。这里使用了.get()方法来安全地访问嵌套字典的键，避免在键不存在时引发KeyError。
12. time.sleep(1): 在每次请求之间暂停1秒。这是为了避免请求过于频繁，给服务器造成过大压力，从而降低被封禁IP的风险。

注意事项与优化

1. 页数限制的确定： 上述代码中num_pages_to_fetch是手动设置的。在实际应用中，你可能需要动态确定最大页数。一种方法是持续请求，直到API返回空列表或错误。更高级的API可能会在响应中包含总页数或下一页的链接。
2. 错误处理： 务必添加健壮的错误处理机制。除了response.raise_for_status()外，还应捕获requests.exceptions.RequestException（网络连接错误、超时等）和json.JSONDecodeError（JSON解析失败）。
3. 请求频率与反爬机制： 许多网站都有反爬虫机制。频繁、快速的请求可能导致你的IP被暂时或永久封禁。
   • time.sleep(): 这是最简单的限速方法。
   • 随机User-Agent: 模拟不同的浏览器User-Agent，让请求看起来更像来自真实用户。
   • 代理IP池: 使用代理IP轮换，进一步避免IP被封。
4. 数据存储： 抓取到的文章数据可以存储在多种格式中，如：
   • JSON文件: 适合结构化数据，易于读写。
   • CSV文件: 适合表格数据，易于用电子表格软件打开。
   • 数据库: 对于大量数据或需要频繁查询的场景，可以考虑SQLite、MySQL或MongoDB等数据库。
5. 网站结构变化： API接口和返回的数据结构可能会随着网站的更新而改变。你的爬虫代码可能需要定期检查和维护。
6. 遵守Robots协议和网站政策： 在进行任何爬取活动之前，请务必查看网站的robots.txt文件和使用条款，确保你的行为合法合规。

总结

通过利用Web开发者工具发现网站的隐藏API接口，并结合Python的requests库，我们能够高效、灵活地抓取动态加载的内容，而无需依赖资源密集型的浏览器自动化工具。这种方法不仅速度更快，资源消耗更少，而且更隐蔽。掌握这一技巧，是进行现代网页数据采集的关键能力之一。