本文介绍在 python 中利用 selenium 4.8 提取嵌套在 `
要从动态渲染的网页中可靠提取特定链接（如每个 <li> 内部的 <a> 标签 href），仅靠 find_elements() 简单调用可能因页面加载延迟或 DOM 未就绪而失败。推荐采用显式等待（Explicit Wait）机制，结合精准的 XPath 定位器，确保元素完全加载并可交互。
以下是一个完整、健壮的实现示例：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
# 可选：无头模式（适合服务器环境）
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)
try:
driver.get("https://example.com") # 替换为目标网站 URL
# 显式等待：等待所有匹配的 <a> 元素出现在 DOM 中（不需可点击，仅需存在）
wait = WebDriverWait(driver, 25) # 最长等待 25 秒
link_elements = wait.until(
EC.presence_of_all_elements_located((
By.XPATH,
'//li//h4[@class="programme titles"]/a[@class="br-blocklink__link"]'
))
)
# 提取所有 href 属性，自动过滤 None 值（若某元素无 href，get_attribute 返回 None）
href_list = [elem.get_attribute('href') for elem in link_elements if elem.get_attribute('href')]
print(f"成功提取 {len(href_list)} 个有效链接：")
for i, url in enumerate(href_list, 1):
print(f"{i}. {url}")
# ✅ 此时 href_list 即为可直接迭代的 Python 列表，例如：
# for url in href_list:
# driver.get(url)
# # 进行详情页解析...
finally:
driver.quit()关键说明与注意事项：
- XPath 精准性：//li//h4[@class="programme titles"]/a[@class="br-blocklink__link"] 使用了 @class 的全值匹配，适用于 class 名固定且无动态拼接的场景。若实际 HTML 中 class 含多个值（如 class="programme titles featured"），建议改用 contains(@class, 'programme titles') 或更鲁棒的 CSS 选择器（如 li h4.programme.titles a.br-blocklink__link）。
- 显式等待优于 time.sleep()：presence_of_all_elements_located 确保元素已存在于 DOM，但不保证可见或可点击；如需进一步交互（如点击），应改用 element_to_be_clickable。
- 空 href 防御：get_attribute('href') 在元素无 href 属性时返回 None，代码中已通过 if elem.get_attribute('href') 过滤，避免无效链接混入结果。
- 异常处理建议：生产环境中应包裹 try/except 捕获 TimeoutException、NoSuchElementException 等，提升脚本健壮性。
- 性能提示：若页面含大量 <li>，可考虑限制 XPath 范围（如添加父容器 ID）或分页加载，避免定位耗时过长。
通过该方法，你将获得一个纯净、可用的 href 字符串列表，无缝对接后续的多页面抓取、并发请求或数据持久化流程。
立即学习“Python免费学习笔记（深入）”；
