抓取动态网页需采用模拟浏览器或分析接口的方法，优先推荐分析XHR请求获取JSON数据以提高效率。2. 对于复杂交互场景可使用Selenium或Playwright驱动浏览器执行JavaScript并获取渲染后页面内容。3. 获取完整HTML后可结合BeautifulSoup进行精准数据提取，同时应遵守网站爬虫协议并控制请求频率避免封禁。
动态网页内容通常由JavaScript在浏览器中运行后生成，传统的requests + BeautifulSoup方式无法获取这些异步加载的数据。要抓取这类页面，需要模拟浏览器行为或分析数据接口。以下是几种实用的解决方案。
1. 使用Selenium模拟浏览器操作
Selenium可以驱动真实浏览器（如Chrome、Firefox）加载页面，自动执行JavaScript，适合处理复杂的动态内容。
安装依赖：pip install selenium
下载对应浏览器的WebDriver（如ChromeDriver）
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome() # 启动浏览器
driver.get("https://example.com")
time.sleep(3) # 等待页面加载
# 获取动态渲染后的HTML
html = driver.page_source
print(html)
driver.quit() # 关闭浏览器
适用于登录、点击翻页、滚动加载等交互场景。
2. 分析XHR/Fetch网络请求
很多动态网页通过Ajax从后端API获取数据。可以直接抓包找出真实接口，用requests调用返回JSON数据。
立即学习“Python免费学习笔记（深入）”；
操作步骤：- 打开浏览器开发者工具（F12），切换到Network选项卡
- 刷新页面，观察XHR或Fetch请求
- 找到返回结构化数据的接口（通常是JSON格式）
- 复制请求头和参数，在Python中复现请求
import requests
url = "https://api.example.com/data"
headers = {
"User-Agent": "Mozilla/5.0",
"Referer": "https://example.com"
}
params = {"page": 1, "size": 20}
response = requests.get(url, headers=headers, params=params)
data = response.json()
print(data)
这种方式效率高，但需注意接口是否需要登录态或加密参数。
3. 使用Playwright进行高级自动化
Playwright是微软开发的现代化浏览器自动化工具，支持多浏览器、无头模式、拦截请求等功能，比Selenium更稳定。
安装与使用：pip install playwright
playwright install # 安装浏览器驱动
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("https://example.com")
page.wait_for_timeout(3000) # 等待JS执行
content = page.content()
print(content)
browser.close()
支持等待元素出现、模拟移动端、截图等高级功能。
4. 结合BeautifulSoup解析渲染后的内容
无论使用Selenium还是Playwright获取到完整HTML后，都可以用BeautifulSoup做精细提取。
示例：
from bs4 import BeautifulSoup
soup = BeautifulSoup(content, 'html.parser')
titles = soup.find_all('div', class_='title')
for title in titles:
print(title.text.strip())
这样既能处理动态加载，又能利用BS4强大的选择器能力。
基本上就这些。选择哪种方法取决于目标网站的技术实现。优先尝试抓接口，复杂交互再用浏览器自动化。注意遵守robots协议，控制请求频率，避免被封IP。
