本教程详细阐述了如何在不使用selenium或beautifulsoup等浏览器自动化工具的情况下，通过python的requests库抓取techcrunch网站上动态加载的“隐藏”文章。核心方法是识别并利用网站后端的分页api，通过模拟api请求来获取多页文章数据，从而解决“加载更多”按钮限制的问题。文章将提供具体的代码示例和操作指南，帮助读者高效地获取所需文章信息。
引言：动态加载内容与传统爬取挑战
在现代网页中，许多网站为了提升用户体验，采用JavaScript动态加载内容。例如，点击“加载更多”按钮或滚动到页面底部时，新内容才会显示。对于传统的网页抓取工具（如仅基于HTML解析的BeautifulSoup），这些初始未加载的内容是“隐藏”的，无法直接获取。虽然Selenium等浏览器自动化工具可以模拟用户行为（如点击按钮），但它们通常资源消耗较大，且在某些受限环境中可能无法使用。
本文将介绍一种更高效、更轻量级的方法：直接与网站的后端API交互。当网站使用“加载更多”机制时，往往是通过向某个API端点发送请求来获取新数据，然后用JavaScript将这些数据渲染到页面上。只要我们能识别出这个API，就可以直接模拟这些请求来获取数据。
识别网站分页API
识别动态加载内容的API是解决问题的关键一步。这通常需要借助浏览器的开发者工具：
- 打开目标网站： 访问 https://techcrunch.com/。
- 打开开发者工具： 在Chrome、Firefox等浏览器中，右键点击页面任意位置，选择“检查”（Inspect）或按 F12 键。
- 切换到“网络”（Network）选项卡： 这个选项卡会显示浏览器与服务器之间所有的网络请求。
- 过滤请求类型： 为了更容易找到API请求，可以过滤请求类型，通常选择“XHR”（XMLHttpRequest）或“Fetch/XHR”，因为API请求多通过这两种方式发送。
- 触发“加载更多”： 在网页上找到并点击“加载更多”（Load More）按钮。
-
观察网络请求： 点击后，在开发者工具的“网络”选项卡中会看到新的请求出现。仔细查看这些请求的URL、请求方法（GET/POST）和响应内容。
- 通常，你会发现一个URL中包含 page= 或 offset= 等参数，并且响应内容是JSON格式的数据。
- 对于TechCrunch，通过观察可以发现一个形如 https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0 的URL模式，其中 {page} 参数就是控制页码的关键。
Python实现：通过Requests库获取文章数据
一旦识别出API的URL模式，我们就可以使用Python的 requests 库来模拟这些请求并获取数据。
首先，确保你已经安装了 requests 库：
pip install requests
接下来，编写Python代码来循环请求不同页码的数据：
import requests
import json # 用于美化输出，可选
# 定义API的基础URL模板
# 注意：{page} 是一个占位符，用于插入页码
api_url_template = "https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0"
# 定义要抓取的页数。根据需要调整这个数字。
# 例如，抓取10页，每页可能包含20篇文章，总共200篇文章。
num_pages_to_fetch = 10
all_articles_data = []
print(f"开始抓取TechCrunch文章，预计抓取 {num_pages_to_fetch} 页...")
for page_number in range(1, num_pages_to_fetch + 1):
# 构建当前页的完整API URL
current_page_url = api_url_template.format(page=page_number)
try:
print(f"正在请求第 {page_number} 页：{current_page_url}")
# 发送GET请求到API端点
response = requests.get(current_page_url)
# 检查请求是否成功（状态码200）
response.raise_for_status()
# 将JSON响应解析为Python列表或字典
page_data = response.json()
# 如果当前页没有数据，可能已经到达了末尾
if not page_data:
print(f"第 {page_number} 页没有数据，停止抓取。")
break
for article in page_data:
# 提取文章标题
title = article.get("title", {}).get("rendered", "无标题")
# 提取文章链接
link = article.get("link", "无链接")
print(f" - 标题: {title}")
print(f" 链接: {link}")
# 将提取到的文章数据添加到总列表中
all_articles_data.append({
"title": title,
"link": link,
# 可以根据API响应结构添加更多字段，例如摘要、作者等
# "excerpt": article.get("excerpt", {}).get("rendered", ""),
# "author_name": article.get("_embedded", {}).get("author", [{}])[0].get("name", "")
})
except requests.exceptions.RequestException as e:
print(f"请求第 {page_number} 页时发生错误: {e}")
# 可以选择跳过当前页继续下一页，或者在此处停止
print(f"\n抓取完成！共获取到 {len(all_articles_data)} 篇文章数据。")
# 可以将所有数据保存到JSON文件或进行进一步处理
# with open("techcrunch_articles.json", "w", encoding="utf-8") as f:
# json.dump(all_articles_data, f, ensure_ascii=False, indent=4)
# print("所有文章数据已保存到 techcrunch_articles.json")代码解释：
- api_url_template: 这是TechCrunch分页API的URL模板。{page} 是一个占位符，我们将使用 str.format() 方法在每次循环时替换为当前的页码。
- num_pages_to_fetch: 定义了你希望抓取的总页数。你可以根据需要获取的文章数量来调整这个值。
- requests.get(current_page_url): 发送HTTP GET请求到指定的API URL。
- response.raise_for_status(): 这是一个非常有用的方法，如果HTTP请求返回了错误状态码（如4xx或5xx），它会抛出一个 HTTPError 异常。
- response.json(): 将API响应的内容解析为Python字典或列表，因为API通常返回JSON格式的数据。
- article.get("title", {}).get("rendered", "无标题"): 从文章数据字典中安全地提取标题。使用 .get() 方法可以避免键不存在时引发 KeyError，并提供默认值。_embed=true 参数通常意味着API响应中会包含更多嵌入式数据，如完整的标题 (title"]["rendered"]) 和链接 (link)。
进一步的数据提取与处理
上述代码主要演示了如何获取文章的标题和链接。根据API响应的结构，你还可以提取更多信息：
- 文章摘要/内容预览： API响应中可能包含 excerpt 字段，其中有文章的简短摘要。
- 发布日期、作者： 查找 date、author 或 _embedded 字段，这些字段可能包含发布时间、作者名称等信息。
- 完整文章HTML内容： 如果你需要文章的完整HTML内容（而不是API提供的摘要），你需要使用从API中获取到的 link 字段，对每个文章链接再次发送 requests.get() 请求，然后使用BeautifulSoup等库解析返回的HTML。
- PDF获取： 获取文章的PDF版本通常更为复杂。网站通常不会直接提供PDF下载链接，可能需要将抓取到的HTML内容转换为PDF，这需要额外的库（如 weasyprint）或服务。
注意事项与最佳实践
- 页数限制： 在实际应用中，你可能需要确定网站总共有多少页。如果没有明确的API参数指示总页数，你可以通过循环请求直到API返回空数据来判断。
- 错误处理： 网络请求可能会失败（例如，网络中断、服务器错误）。在代码中加入 try-except 块来捕获 requests.exceptions.RequestException 是一个好习惯，可以提高程序的健壮性。
- 遵守网站规则： 在进行任何网页抓取活动之前，务必查看网站的 robots.txt 文件（例如 https://techcrunch.com/robots.txt）和使用条款。遵守这些规则，避免对网站服务器造成不必要的负担。
- 请求频率： 避免在短时间内发送大量请求，这可能导致你的IP被暂时或永久封禁。可以在每次请求之间添加 time.sleep() 来设置延时。
- User-Agent： 有时网站会检查请求的 User-Agent 头。在 requests.get() 中添加 headers={'User-Agent': 'Your Custom User-Agent'} 可以模拟浏览器请求。
- API变更： 网站的API结构可能会发生变化。如果你的抓取代码突然失效，请重新检查开发者工具，确认API端点或响应结构是否有所调整。
总结
通过直接与网站的API交互，我们可以绕过前端动态加载的限制，高效地获取大量结构化数据，而无需依赖资源密集型的浏览器自动化工具。这种方法不仅速度更快，而且对服务器的负担也更小（如果合理控制请求频率）。掌握如何识别和利用网站API是现代网页数据抓取中一项非常重要的技能。
