动态网页爬取需结合selenium与requests：selenium模拟浏览器执行js并获取渲染后html或提取api参数，requests高效调用接口；登录等交互用selenium，后续数据请求交由requests，并注意cookie、headers一致性及反爬规避。
动态网页爬取不能只靠 requests，因为很多内容由 JavaScript 渲染，服务器返回的 HTML 源码里压根没有目标数据。这时候得让浏览器“真打开页面、执行 JS、等加载完”，再把渲染后的 HTML 或接口数据拿回来——Selenium 负责模拟真实浏览行为，requests 负责高效获取接口或静态资源，二者配合才是实用解法。
先用 Selenium 获取渲染后的真实 HTML
适用于页面结构依赖 JS 初始化（比如点击加载、滚动触底、Vue/React 渲染的列表），且你只需要最终 DOM 内容。
- 启动 ChromeDriver（推荐无头模式：
options.add_argument('--headless=new')） - 用
driver.get(url)打开页面，再用WebDriverWait等待关键元素出现（别用time.sleep） - 调用
driver.page_source获取完整渲染后的 HTML，之后可交给BeautifulSoup解析 - 示例：等 class="item-list" 的 div 加载完成再取源码
用 Selenium 提取请求参数，再用 requests 发起真实 API 调用
很多动态页背后是 Ajax 接口（如 XHR/Fetch），Selenium 可以帮你“看懂”这些请求怎么发的，而 requests 更快更轻量，适合批量抓取。
- 在 Selenium 中打开开发者工具（Network → XHR），手动操作触发目标数据加载，记下请求 URL、Headers（尤其是 Cookie、User-Agent、X-Requested-With）、Query 参数和 POST Body
- 用
driver.get_cookie('name')或driver.execute_script("return document.cookie")提取登录态 Cookie - 用
requests.Session()复用会话，设置相同 headers 和 cookies，直接调用接口获取 JSON 数据 - 优势：绕过浏览器渲染，速度快；适合翻页、分页拉取大量数据
混合策略：Selenium 做登录/跳转，requests 接管后续所有接口
登录态往往需要交互（验证码、滑块、OAuth 跳转），Selenium 更可靠；但登录成功后，几乎所有业务数据都走接口，这时切回 requests 更稳。
立即学习“Python免费学习笔记（深入）”；
- 用 Selenium 完成账号密码输入、点击登录、等待跳转到首页或用户中心
- 提取当前 driver 的 cookies 和 headers（注意保留
Authorizationtoken 或sessionid） - 把 cookies 转为 requests 可用格式：
requests.utils.dict_from_cookiejar(driver.get_cookies()) - 后续所有数据请求全部交给 requests，不用再开浏览器，内存和时间成本大幅下降
注意事项与避坑点
结合使用不是简单拼凑，几个关键细节决定成败：
- Cookie 时效性：Selenium 获取的 cookie 可能含
HttpOnly，requests 无法自动携带，需显式传入；部分站点还校验User-Agent或Referer，headers 必须一致 - 反爬识别：Selenium 默认特征明显（如
webdriver属性），需加配置隐藏：options.add_experimental_option("excludeSwitches", ["enable-automation"])并禁用useAutomationExtension - 请求频率控制：requests 接口调用比浏览器快得多，务必加
time.sleep或使用ratelimit库，避免被封 IP - 异常兜底：Selenium 可能超时或崩溃，requests 可能返回 401/403，建议用 try-except 包裹关键步骤，并设计重试逻辑
