0

0

如何使用 Selenium 正确获取篮球参考网站球员名单元素列表

碧海醫心

碧海醫心

发布时间:2026-01-01 14:39:36

|

644人浏览过

|

来源于php中文网

原创

如何使用 Selenium 正确获取篮球参考网站球员名单元素列表

本文详解如何通过 selenium 精准定位并获取动态加载的 html 表格中所有球员行元素,重点解决因页面未就绪或 xpath 不精确导致 `find_elements` 返回空列表的问题。

在使用 Selenium 抓取 Basketball-Reference 等结构化体育数据网站时,一个常见误区是:直接调用 find_elements_by_xpath 而未等待目标内容加载完成,或使用过于宽泛/不稳定的 XPath 表达式(如 //tr/td[@data-stat="player"]),导致匹配失败或返回空列表。

例如,原始代码:

players_list = driver.find_elements_by_xpath('//tr/td[@data-stat="player"]')
print(len(players_list))  # 常常输出 0,即使页面上明显存在该列

问题根源有二:

  1. 时机问题: 是异步渲染或依赖 JS 动态注入的,页面 GET 完成后 DOM 可能尚未就绪;
  2. 定位粒度问题://tr/td[@data-stat="player"] 匹配的是
  3. ;而 find_elements 若返回的是分散的 行为单位抓取,再从中提取所需 中无 data-stat),因此建议加过滤条件 [.//td[@data-stat='player']] 确保只取有效数据行;
  4. 若需处理分页或懒加载内容,请额外检查是否存在“Show More”按钮并触发点击;
  5. 生产环境建议添加异常处理(如 TimeoutException, NoSuchElementException)提升鲁棒性。
  6. 通过结合精准 XPath + 显式等待 + 语义化元素层级选择,即可稳定获取动态表格中的完整球员列表,彻底规避“长度为 0”的陷阱。

    单元格,而非整行
    ,不仅语义不清,还可能因表格嵌套、隐藏行(如注释、分隔符)干扰匹配结果。

    ✅ 正确做法是:

    超能文献
    超能文献

    超能文献是一款革命性的AI驱动医学文献搜索引擎。

    下载
    • 优先利用唯一 ID 定位父容器(如 //table[@id='roster']);
    或文本,逻辑更健壮;
  7. 强制显式等待(WebDriverWait),确保目标表格已存在于 DOM 中。
  8. 以下是兼容 Selenium 4.17+ 的推荐实现(find_element_by_* 已全面弃用):

    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    driver = webdriver.Firefox()
    driver.get("https://www.php.cn/link/7f5667890e56de28cb734293df7d2c73")
    
    # 等待 roster 表格整体加载完成(比等待单个 td 更可靠)
    wait = WebDriverWait(driver, 10)
    wait.until(EC.presence_of_element_located((By.ID, "roster")))
    
    # 定位 roster 表格的所有数据行(排除 <thead> 和空行)
    players_rows = driver.find_elements(By.XPATH, "//table[@id='roster']/tbody/tr[.//td[@data-stat='player']]")
    print(f"成功找到 {len(players_rows)} 名球员")
    
    # 示例:提取每位球员姓名(位于 data-stat="player" 的 td 内)
    for i, row in enumerate(players_rows[:3]):  # 打印前3名验证
        name_cell = row.find_element(By.XPATH, ".//td[@data-stat='player']")
        print(f"{i+1}. {name_cell.text.strip()}")

    ⚠️ 注意事项:

    • 避免使用 time.sleep() 替代 WebDriverWait —— 效率低且不可靠;
    • //table[@id='roster']/tbody/tr 默认包含表头行(

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

530

2023.06.20

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

514

2023.07.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

678

2023.08.03

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

5905

2023.08.17

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

492

2023.09.01

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

219

2023.09.04

Js中concat和push的区别
Js中concat和push的区别

Js中concat和push的区别:1、concat用于将两个或多个数组合并成一个新数组,并返回这个新数组,而push用于向数组的末尾添加一个或多个元素,并返回修改后的数组的新长度;2、concat不会修改原始数组,是创建新的数组,而push会修改原数组,将新元素添加到原数组的末尾等等。本专题为大家提供concat和push相关的文章、下载、课程内容,供大家免费下载体验。

240

2023.09.14

js截取字符串的方法介绍
js截取字符串的方法介绍

JavaScript字符串截取方法,包括substring、slice、substr、charAt和split方法。这些方法可以根据具体需求,灵活地截取字符串的不同部分。在实际开发中,根据具体情况选择合适的方法进行字符串截取,能够提高代码的效率和可读性 。

296

2023.09.21

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

48

2026.02.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.5万人学习

AngularJS教程
AngularJS教程

共24课时 | 3.9万人学习

CSS教程
CSS教程

共754课时 | 38.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号