0

0

Puppeteer 数据抓取中定位嵌套元素的 CSS 选择器正确写法

碧海醫心

碧海醫心

发布时间:2026-03-08 16:05:03

|

152人浏览过

|

来源于php中文网

原创

本文详解如何在 puppeteer 中精准提取 html 列表中跨兄弟节点的文本内容,重点解决因误判 dom 层级关系导致子元素(如“3 st”)无法获取的问题,并提供两种鲁棒性强、可维护性高的选择器策略。

本文详解如何在 puppeteer 中精准提取 html 列表中跨兄弟节点的文本内容,重点解决因误判 dom 层级关系导致子元素(如“3 st”)无法获取的问题,并提供两种鲁棒性强、可维护性高的选择器策略。

在使用 Puppeteer 进行结构化数据爬取时,一个常见误区是:将某个子容器(如

)错误地当作数据作用域根节点,从而限制了对同级其他区域元素的选择能力。从你提供的 HTML 结构可见,每个 button.css-4od5c4 才是真正的逻辑单元(代表一家门店),其内部包含两个平行的
块:一个承载地址与城市(.css-1tkalz1),另一个承载库存数量(.css-177ui4i)。因此,所有字段的查询都应以 button.css-4od5c4 为基准,而非仅在其第一个子 div 内查找。

✅ 正确做法:以 button 为作用域根,全局相对查询

以下代码修正了原始逻辑中的关键错误——不再将 item 绑定到 .css-1tkalz1,而是直接遍历所有 .css-4od5c4 按钮,并在其上下文中分别定位三类字段:

const storesData = await page.$$eval('.css-4od5c4', buttons => 
  buttons.map(button => {
    const getText = selector => {
      const el = button.querySelector(selector);
      return el ? el.textContent.trim() : 'no value';
    };

    return {
      address: getText('.css-iqfm9l:nth-of-type(1)'), // 第一个 .css-iqfm9l(地址)
      city: getText('.css-1cwtvfm'),                   // 唯一的 .css-1cwtvfm(城市)
      amount: getText('.css-177ui4i .css-iqfm9l')     // .css-177ui4i 下的 .css-iqfm9l(数量)
    };
  })
);

console.log(storesData);
// 输出示例:
// [
//   { address: 'Sisjön', city: 'Askim', amount: '3 st' },
//   { address: 'random address...', city: 'some city...', amount: '3 st' }
// ]

? 关键点解析

  • page.$$eval(selector, fn) 是更简洁、更安全的写法,它自动将匹配的 DOM 元素数组传入浏览器上下文,避免手动 Array.from(document.querySelectorAll(...)) 和额外 waitForSelector 的冗余;
  • button.querySelector('.css-177ui4i .css-iqfm9l') 能成功命中目标,是因为它从按钮出发,跨越兄弟结构,精准进入右侧
    再找其内部的

  • 使用空值合并操作符 ?? 或条件判断(如示例中的 getText() 封装)可防止 textContent 报错,提升健壮性。
  • ⚠️ 注意事项与进阶建议

    • 避免过度依赖动态类名:你观察到的 css-* 类名极可能是 CSS-in-JS(如 Emotion)生成的哈希类,在页面更新后易失效。若站点结构稳定但类名多变,推荐改用语义化定位方式,例如:

      立即学习前端免费学习笔记(深入)”;

      • 利用文本内容锚定:button:has(p:text-is("Välj butik"))
      • 或结合层级位置(需 Puppeteer v22+ 支持 :has()):
        amount: getText(':scope > div:nth-child(2) p')
    • 备选方案:按

      序号提取(适用于结构绝对固定)

      Colossyan
      Colossyan

      AI虚拟人出镜视频生成

      下载

      若各字段在按钮内

      标签中的顺序恒定(如始终为第1、第2、第4个

      ),可用以下无类名依赖方式:

      const paragraphs = [...button.querySelectorAll('p')].map(p => p.textContent.trim());
      return {
        address: paragraphs[0] || 'no value',
        city: paragraphs[1] || 'no value',
        amount: paragraphs[3] || 'no value' // 注意:跳过中间的 "Välj butik" <p>
      };

      此法牺牲部分可读性,但大幅增强抗样式变更能力。

    • 调试技巧:在 page.evaluate 中临时插入 console.log(button.outerHTML) 或使用 Chrome DevTools 的 Elements → Right-click → Copy → Copy selector 验证真实路径,切勿直接复制开发者工具高亮显示的“完整路径”(常含 :nth-child() 等不可靠索引)。

    总之,成功的 Puppeteer 抓取始于对 HTML 语义结构的准确理解——找到真正的数据容器(container),再在其范围内做最小必要选择(scoped query),远胜于盲目堆砌复杂选择器或依赖延迟等待。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
chrome什么意思
chrome什么意思

chrome是浏览器的意思,由Google开发的网络浏览器,它在2008年首次发布,并迅速成为全球最受欢迎的浏览器之一。本专题为大家提供chrome相关的文章、下载、课程内容,供大家免费下载体验。

1051

2023.08.11

chrome无法加载插件怎么办
chrome无法加载插件怎么办

chrome无法加载插件可以通过检查插件是否已正确安装、禁用和启用插件、清除插件缓存、更新浏览器和插件、检查网络连接和尝试在隐身模式下加载插件方法解决。更多关于chrome相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

831

2023.11.06

chrome什么意思
chrome什么意思

chrome是浏览器的意思,由Google开发的网络浏览器,它在2008年首次发布,并迅速成为全球最受欢迎的浏览器之一。本专题为大家提供chrome相关的文章、下载、课程内容,供大家免费下载体验。

1051

2023.08.11

chrome无法加载插件怎么办
chrome无法加载插件怎么办

chrome无法加载插件可以通过检查插件是否已正确安装、禁用和启用插件、清除插件缓存、更新浏览器和插件、检查网络连接和尝试在隐身模式下加载插件方法解决。更多关于chrome相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

831

2023.11.06

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

438

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

601

2023.08.10

class在c语言中的意思
class在c语言中的意思

在C语言中,"class" 是一个关键字,用于定义一个类。想了解更多class的相关内容,可以阅读本专题下面的文章。

829

2024.01.03

python中class的含义
python中class的含义

本专题整合了python中class的相关内容,阅读专题下面的文章了解更多详细内容。

28

2025.12.06

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

59

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Sass 教程
Sass 教程

共14课时 | 0.9万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.5万人学习

CSS教程
CSS教程

共754课时 | 41.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号