1. 理解问题：为什么直接定位元素无效？
在网页抓取任务中，我们经常遇到需要从html页面中提取特定数据的情况。对于那些以“键:值”形式（如"isrc":"gb-ffm-19-0853"）存在的数据，它们往往不是标准的html元素（如<div>、<span>），而是以json格式嵌入在页面的<script>标签内部。在这种情况下，传统的selenium元素定位方法（如通过id、类名、xpath、css选择器直接查找数据本身）通常会失败，因为这些数据并非独立的dom元素，而是作为javascript代码或数据结构的一部分存在。
要解决这个问题，我们需要改变策略：首先定位包含这些JSON数据的<script>标签，然后提取该标签的文本内容，最后将其解析为Python可操作的数据结构。
2. 核心技术：定位、提取与解析
从HTML页面中抓取嵌入式JSON数据主要分为以下几个步骤：
- 使用Selenium加载页面：像往常一样，启动WebDriver并导航到目标URL。
- 定位包含JSON的<script>标签：这是关键一步。需要找到页面中存储目标JSON数据的特定<script>标签。这可能需要检查页面源代码以确定其位置或特征（例如，它可能是页面中第一个<script>标签，或者包含某些特定文本）。
- 提取<script>标签的内部文本：一旦定位到<script>元素，就可以使用get_attribute('innerHTML')或get_attribute('textContent')方法来获取其包含的字符串内容。
- 解析JSON字符串：使用Python内置的json模块将提取到的字符串解析为Python字典或列表。
- 访问所需数据：通过字典键或列表索引，导航到JSON结构中您需要的具体数据点。
3. 示例代码
以下代码演示了如何从指定网页中提取嵌入在<script>标签内的JSON数据，并获取其中的isrc值。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import json
import time
# 初始化WebDriver
# 确保您的ChromeDriver路径正确配置，或者ChromeDriver已添加到系统PATH中
driver = webdriver.Chrome()
try:
# 导航到目标URL
target_url = "https://www.audionetwork.com/browse/m/track/purple-beat_1008534"
driver.get(target_url)
# 等待页面加载完成，这里可以根据实际情况等待特定的元素出现
# 例如，等待body标签加载，或者等待某个关键元素出现
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.TAG_NAME, "body"))
)
# 定位包含JSON数据的<script>标签
# 在本例中，目标JSON位于body内的第一个script标签
# 注意：这个XPath可能因网站结构变化而需要调整
script_element = driver.find_element(By.XPATH, "/html/body/script[1]")
# 提取script标签的innerHTML内容
json_content_str = script_element.get_attribute('innerHTML')
# 将JSON字符串解析为Python字典
content_as_dict = json.loads(json_content_str)
# 根据JSON结构访问所需数据
# 这里的路径 'props' -> 'pageProps' -> 'track' -> 'isrc' 是根据目标网站的JSON结构确定的
isrc_value = content_as_dict['props']['pageProps']['track']['isrc']
print(f"成功提取到 ISRC 值: {isrc_value}")
except Exception as e:
print(f"发生错误: {e}")
finally:
# 关闭浏览器
driver.quit()4. 通用化与注意事项
为了使上述方法更具通用性并提高其鲁棒性，请考虑以下几点：
立即学习“前端免费学习笔记（深入）”；
- 脚本标签的定位：
- JSON结构分析：
-
错误处理：
- 使用try-except块来捕获可能发生的异常，例如NoSuchElementException（如果脚本标签未找到）或KeyError（如果JSON路径不正确）。
- 在解析JSON时，json.loads()可能会因为字符串格式不正确而抛出JSONDecodeError，也应进行捕获。
-
等待策略：
- 在driver.get()之后，页面内容可能不会立即完全加载。使用WebDriverWait结合expected_conditions（如EC.presence_of_element_located或EC.visibility_of_element_located）来等待关键元素（包括包含JSON的脚本标签）出现，可以有效避免因页面加载不完全导致的错误。
-
资源管理：
- 始终在finally块中调用driver.quit()来关闭浏览器进程，释放系统资源。
5. 总结
通过本教程，您应该已经掌握了使用Selenium从HTML页面中提取嵌入式JSON数据的核心技术。关键在于识别数据并非标准的HTML元素，而是作为字符串存在于<script>标签中。通过定位这些脚本标签、提取其文本内容，并利用Python的json模块进行解析，我们可以有效地访问这些隐藏的数据。在实际应用中，结合健壮的元素定位策略、详细的JSON结构分析和完善的错误处理，将使您的网页抓取任务更加高效和稳定。
