使用 Selenium 高效提取网页表格中的多行文本数据

AOXO_CMS建站系统企业通用版1.0

一个功能强大、性能卓越的企业建站系统。使用静态网页技术大大减轻了服务器负担、加快网页的显示速度、提高搜索引擎推广效果。本系统的特点自定义模块多样化、速度快、占用服务器资源小、扩展性强，能方便快捷地建立您的企业展示平台。简便高效的管理操作从用户使用的角度考虑，对功能的操作方便性进行了设计改造。使用户管理的工作量减小。网站互动数据可导出Word文档，邮件同步发送功能可将互动信息推送到指定邮箱，加快企业

下载

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = 'https://www.tippmix.hu/sportfogadas#?q=nba&page=1'
driver = webdriver.Chrome()
driver.maximize_window()
driver.get(url)

# 显式等待：确保所有比赛链接完全加载并可见
wait = WebDriverWait(driver, 10)
game_links = wait.until(
    EC.visibility_of_all_elements_located((By.XPATH, "//tbody/tr/td[@class='title']/a"))
)

cimek = []
for link in game_links:
    # 每个链接文本形如 "Kosárlabda, NBA\nCleveland - Dallas\n02.27. 18:00"
    lines = link.text.strip().split("\n")
    if len(lines) >= 2:
        opponent_pair = lines[1].strip()  # 取第二行：对阵双方
        cimek.append(opponent_pair)
        print(opponent_pair)

driver.quit()

✅ 关键改进点说明：

• ✅ 避免手动索引与 XPath 拼接：原逻辑中 for i in range(...) 却始终使用 number_of_pages_to_enter，导致循环体实际只处理最后一行；改用 find_elements 直接获取全部匹配元素，天然规避索引越界与逻辑错乱。
• ✅ 消除不必要的页面跳转：button.click() → browser.back() 不仅慢，还易触发反爬机制或状态丢失；而目标文本已在当前页 DOM 中，直接 .text 即可。
• ✅ 增强健壮性：使用 visibility_of_all_elements_located 替代 presence_of_element_located，确保元素不仅存在，而且可见、可交互；配合 WebDriverWait 防止因加载延迟导致 NoSuchElementException。
• ✅ 安全解析文本：对 .text 结果做 strip() 和 split("\n") 防御性处理，避免空行或格式异常引发 IndexError。

⚠️ 注意事项：

• 若页面使用前端路由（如本例中的 #?q=nba&page=1），需确认 Selenium 加载后 JavaScript 已完成渲染；必要时可添加 time.sleep(1) 或监听特定元素出现。
• //tbody/tr/td[@class='title']/a 是相对稳定的选择器，但若网站改版，建议优先使用语义化属性（如 data-testid）或 CSS 选择器（如 table tbody td.title a）提升可维护性。
• 生产环境中应加入异常捕获（如 try/except StaleElementReferenceException），并在循环内对每个 link 做 .is_displayed() 校验。

综上，Selenium 数据提取的核心原则是：尽可能减少 DOM 状态变更（如点击、跳转），优先利用静态结构批量定位，辅以显式等待与防御性解析。这不仅能提升脚本稳定性与执行速度，也大幅降低后期维护成本。