Python爬虫requests库与浏览器渲染差异及解决方案
在使用Python的requests库进行网页数据抓取时，经常会遇到获取到的内容与浏览器显示结果不一致的情况。这是因为许多网站使用JavaScript动态加载数据，而requests库仅获取网页的初始HTML源码，无法执行JavaScript代码。
案例分析：物流信息抓取
例如，尝试使用requests库获取特定物流单号（d89f3a35931c386956c1a402a8e09941@11339833）的物流信息，代码如下：
import requests
url = 'http://qqb3c.cn/webapp/orderdetail.html?ordernumber=d89f3a35931c386956c1a402a8e09941@11339833&openid='
headers = {
'user-agent': 'mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58'
}
response = requests.get(url, headers=headers)
content = response.content.decode('utf-8')
print(content)
由于目标网站可能使用JavaScript动态加载物流信息，上述代码仅获取初始HTML，导致结果与浏览器显示差异很大。
解决方案：Selenium模拟浏览器行为
为了获取动态加载的数据，可以使用selenium库模拟浏览器行为。以下代码演示如何使用selenium获取物流信息：
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 创建浏览器实例 (请确保已安装ChromeDriver并配置好环境变量)
driver = webdriver.Chrome()
# 打开页面
url = "http://qqb3c.cn/webapp/orderDetail.html?orderNumber=D89F3A35931C386956C1A402A8E09941@11339833&openid="
driver.get(url)
# 使用显式等待，等待物流信息元素加载完成 (避免因页面加载速度过慢导致错误)
try:
logistics_info_element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, 'logisticsInfo'))
)
logistics_info = logistics_info_element.text
print(logistics_info)
except Exception as e:
print(f"获取物流信息失败: {e}")
# 关闭浏览器
driver.quit()
这段代码使用selenium打开网页，并使用WebDriverWait进行显式等待，确保物流信息元素加载完成后再进行提取。 By.ID, 'logisticsInfo' 指定了目标元素的ID，请根据实际网页结构进行修改。 错误处理机制也加入其中，以应对可能出现的元素未找到等异常情况。 记住安装selenium以及对应的浏览器驱动(如ChromeDriver)。
通过selenium模拟浏览器行为，可以有效解决requests库无法获取动态加载网页内容的问题。 注意替换'logisticsInfo'为实际网页中包含物流信息的元素ID或其他合适的定位方式。 并且，长时间运行selenium脚本可能会触发反爬虫机制，需要根据实际情况调整策略。
