如何使用 Selenium 正确抓取动态网页中的表格数据

心靈之曲

发布时间：2026-01-17 11:25:13

979人浏览过

来源于php中文网

原创

如何使用 Selenium 正确抓取动态网页中的表格数据

本文详解 selenium 抓取动态加载表格时常见的定位失败问题，提供基于显式等待的健壮解决方案，并修正过时 api 用法，确保稳定获取 `

` 中的行数。

在使用 Selenium 提取动态网页（如 AJAX 渲染的表格）时，直接调用 find_element 很容易因元素尚未加载而抛出 NoSuchElementException。原始代码中尝试通过 //*[@id="result"]/table 定位表格，但目标页面实际并不存在 ID 为 "result" 的容器元素——这是导致异常的根本原因。此外，find_elements_by_tag_name() 已在 Selenium 4+ 中被彻底弃用，必须改用 By.TAG_NAME 配合 find_elements()。

更可靠的做法是：跳过无效中间容器，直接定位页面中唯一的

，并配合显式等待确保 DOM 完全就绪。以下是优化后的完整示例：
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 启动浏览器（推荐使用 WebDriver Manager 自动管理驱动版本） driver = webdriver.Chrome() # 无需手动指定 chromedriver 路径（需安装 webdriver-manager） url = "https://draft.shgn.com/nfc/public/dp/788/grid" driver.get(url) # 显式等待：等待表格的所有行（
）可见（最多 10 秒） wait = WebDriverWait(driver, 10) table_rows = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "table tr"))) print(f"成功获取 {len(table_rows)} 行数据") # 如需进一步解析，可遍历每行提取单元格文本： # for row in table_rows: # cells = row.find_elements(By.TAG_NAME, "td") # print([cell.text.strip() for cell in cells]) driver.quit() # 推荐使用 quit() 而非 close()，确保会话彻底释放
✅ 关键改进点说明：

移除错误定位器：不再依赖不存在的 #result ID，改用语义明确的 table tr CSS 选择器；

强制显式等待：visibility_of_all_elements_located 确保所有
不仅存在，而且可见、可交互；
API 兼容性升级：全面采用 Selenium 4 标准写法（By.* + find_elements），避免 DeprecationWarning；

资源安全释放：使用 driver.quit() 关闭整个浏览器实例，防止后台进程残留。

⚠️ 注意事项：

动态WEB网站中的PHP和MySQL：直观的QuickPro指南第2版
动态WEB网站中的PHP和MySQL详细反映实际程序的需求，仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联JavaScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法，让网站看起来更专业。另外还引入大量来自PEAR外挂函数库的强大功能，对常用的、强大的包

下载

若页面含 iframe，需先 driver.switch_to.frame(...) 切入对应上下文；

遇到反爬机制（如 Cloudflare 拦截），需添加 options.add_argument("--disable-blink-features=AutomationControlled") 并隐藏 WebDriver 特征；

生产环境建议搭配 webdriver-manager 自动下载匹配版本驱动，避免路径硬编码与版本不兼容问题。

通过以上调整，即可稳定、高效地从动态网页中提取表格结构化数据。

如何在 HTML 中实现多级下拉菜单（嵌套子菜单）

如何实现 HTML 下拉菜单中的嵌套子菜单（二级下拉）

如何仅对网页中的文本和图片元素应用CSS动画

CSS 选择器精确定位 .one 内 select 的首个 option 元素

html空格符号怎么打_非断行空格在html里如何表示【说明】

相关标签:

css ajax 编码浏览器 ai switch webdriver css ajax dom 选择器 table tr iframe

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：如何在 Owl Carousel 中实现悬停时非活动项动态分离效果下一篇：如何正确居中绝对定位的元素

作者最新文章

Go 项目中如何组织同包文件到不同子目录（如 models）

2026-01-15 15:43

国产像素《菲尔纳传说》登陆Steam 5年打造复古RPG

2026-01-15 15:45

如何让按钮在响应式布局中保持固定位置不随屏幕缩放偏移

2026-01-15 15:48

标题：使用 AspectJ 实现对带注解成员变量的读写访问拦截

2026-01-15 15:48

使用 Socket.IO 连接 Node.js 与 Go 服务端的潜在缺陷分析

2026-01-15 15:50

程序员笔记 CherryTree 1.6.3 发布

2026-01-15 15:52

搜打撤热门新游《ARC Raiders》Steam版现已封锁国区

2026-01-15 15:56

美团外卖开学季红包怎么领取

2026-01-15 15:59

Go 项目中如何正确组织多目录结构的同包代码

2026-01-15 16:02

标题：使用 AspectJ 实现基于字段注解的读写访问拦截教程

2026-01-15 16:06

热门AI工具

DeepSeek

幻方量化公司旗下的开源大模型平台

AI大模型

开放平台

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI大模型

通义千问

阿里巴巴推出的全能AI助手

AI大模型

腾讯元宝

腾讯混元平台推出的AI助手

文档处理

Excel 表格

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI大模型

中文写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

中文写作

写作工具

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接

图画生成

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI大模型

中文写作

智谱清言 - 免费全能的AI助手

AI大模型

PDF 文档

相关专题

css

css是层叠样式表，用来表现HTML或XML等文件样式的计算机语言，不仅可以静态地修饰网页，还可以配合各种脚本语言动态地对网页各元素进行格式化。php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容，供大家免费下载使用。

524

2023.06.15

css居中

css居中：1、通过“margin: 0 auto; text-align: center”实现水平居中；2、通过“display:flex”实现水平居中；3、通过“display:table-cell”和“margin-left”实现居中。本专题为大家提供css居中的相关的文章、下载、课程内容，供大家免费下载体验。

263

2023.07.27