本文旨在帮助开发者解决在使用Beautiful Soup库提取网页文本时遇到的常见问题，特别是当目标文本位于<script>标签内或动态加载时。我们将通过实际案例，深入探讨如何利用正则表达式和JSON解析，结合Beautiful Soup，高效、准确地提取所需信息。
在使用Beautiful Soup进行网页抓取时，有时会遇到无法直接提取所需文本的情况，这通常是因为：
- 文本位于<script>标签内： 一些网站会将数据嵌入到JavaScript代码中，例如存储在全局变量或JSON对象中。
- 文本是动态加载的： 部分网站使用JavaScript在客户端动态生成内容，这些内容可能在初始HTML中不存在。
针对以上情况，我们需要采取一些额外的步骤来提取目标文本。
1. 分析网页结构
首先，我们需要仔细分析网页的HTML源代码，确定目标文本的存储方式。常见的存储方式包括：
- 直接嵌入在HTML标签中 (例如 <p>, <div>)
- 存储在<script>标签内的JavaScript变量中
- 通过AJAX请求动态加载
2. 提取<script>标签中的数据
如果目标文本存储在<script>标签内，我们可以使用正则表达式来提取相关数据。以下是一个示例，演示如何提取存储在window.__INITIAL_STATE__变量中的JSON数据：
import re
import json
import requests
from bs4 import BeautifulSoup
URL = "https://habr.com/ru/hubs/gamedev/articles/" # 目标网站URL
page = requests.get(URL).text
# 使用正则表达式匹配 window.__INITIAL_STATE__ 变量
data = re.search(r"window\.__INITIAL_STATE__=(.*}});", page).group(1)
# 将提取的字符串转换为JSON对象
data = json.loads(data)
# 遍历文章列表，提取标题和描述
for a in sorted(
data["articlesList"]["articlesList"].values(),
key=lambda k: k["timePublished"],
reverse=True,
):
print(a["titleHtml"])
print(BeautifulSoup(a["leadData"]["textHtml"], "html.parser").text)
# 只提取第一篇文章
break代码解释：
- re.search(r"window\.__INITIAL_STATE__=(.*}});", page).group(1)：使用正则表达式查找以window.__INITIAL_STATE__=开头，以}}结尾的字符串，并提取括号内的内容。
- json.loads(data)：将提取的JSON字符串转换为Python字典。
- BeautifulSoup(a["leadData"]["textHtml"], "html.parser").text：使用Beautiful Soup解析HTML字符串，并提取文本内容。
3. 处理动态加载的内容
对于通过AJAX请求动态加载的内容，我们需要模拟AJAX请求，获取返回的数据。可以使用requests库发送GET或POST请求，然后解析返回的JSON或HTML数据。
4. 注意事项
- 网页结构变化： 网站的HTML结构可能会发生变化，导致代码失效。因此，需要定期检查和更新代码。
- 反爬虫机制： 一些网站会采取反爬虫措施，例如限制访问频率或使用验证码。我们需要遵守网站的robots.txt协议，并采取适当的措施来避免被屏蔽。例如，可以设置User-Agent，添加请求头，或者使用代理IP。
- 数据清洗： 提取的数据可能包含HTML标签、特殊字符或其他不需要的信息。我们需要对数据进行清洗，以获得干净、可用的数据。
总结
使用Beautiful Soup提取网页文本，需要根据网页的实际结构和数据存储方式，选择合适的方法。对于存储在<script>标签内或动态加载的数据，可以使用正则表达式、JSON解析和AJAX请求等技术来提取目标文本。同时，需要注意网页结构变化、反爬虫机制和数据清洗等问题。通过掌握这些技巧，可以更加高效、准确地从网页中提取所需信息。
