0

0

如何使用 WebScraper 自动输入城市并选择半径下拉选项进行数据抓取

聖光之護

聖光之護

发布时间:2025-12-29 15:18:11

|

791人浏览过

|

来源于php中文网

原创

如何使用 WebScraper 自动输入城市并选择半径下拉选项进行数据抓取

本文介绍在 webscraper.io 中实现自动填写搜索框与触发下拉菜单选择的操作方法,包括 selectorelementclick 配置技巧、实际 json 代码示例及替代方案建议,助你高效抓取 alberta 地区脊医列表。

WebScraper.io 是一款功能强大的浏览器扩展型爬虫工具,适用于结构化网页的可视化采集,但其原生能力不支持直接模拟键盘输入(如 typing into a text field)或动态交互式表单提交。不过,它提供了 SelectorElementClick 类型选择器,可模拟真实点击行为——这正是解决你问题的关键突破口。

✅ 正确思路:绕过“输入”,改用预设筛选项触发结果

目标网站 的搜索逻辑通常依赖于:

  • 文本输入框(如 #search-city 或类似)
  • 半径下拉框(如
  • 提交按钮(或回车/自动搜索)

由于 WebScraper 无法执行 .sendKeys() 类操作,我们应优先检查该页面是否支持URL 参数驱动筛选(例如 ?city=Edmonton&radius=25),或是否存在静态可点击的区域链接/筛选卡片(如“Edmonton”、“Calgary”等城市标签)。若存在,推荐优先使用 URL 参数 + 分页组合方式,最稳定可靠。

若必须通过表单交互,则需借助 SelectorElementClick 模拟点击已渲染的

{
  "id": "select-radius-25km",
  "parentSelectors": ["_root"],
  "type": "SelectorElementClick",
  "clickActionType": "real",
  "clickElementSelector": "select[name='radius'] option[value='25']",
  "clickElementUniquenessType": "uniqueCSSSelector",
  "clickType": "clickOnce",
  "delay": 1500,
  "discardInitialElements": "do-not-discard",
  "multiple": false,
  "selector": "body"
}

⚠️ 注意事项:

  • clickElementSelector 必须精准匹配页面加载完成后已存在的 DOM 节点;建议先在 Chrome DevTools 中验证 document.querySelector("select[name='radius'] option[value='25']") 是否返回有效元素;
  • 若下拉框使用 JS 动态渲染(如 React/Vue 组件),原生 WebScraper 可能无法捕获,此时需切换至 Playwright 或 Selenium + Python 方案;
  • 输入城市名称无法直接模拟?可尝试:① 查看是否有“热门城市”可点击区域;② 检查网络请求,找到 /api/search?city=... 类接口,直接构造 API 请求(WebScraper 支持 JSON API 抓取);③ 改用 Playwright(推荐)编写自动化脚本,完整支持 page.fill(), page.selectOption() 和显式等待。

? 推荐进阶方案(当 WebScraper 不足时)

对于需要强交互的场景(如输入+回车+等待 AJAX 加载+翻页),建议迁移到 Playwright(Python),代码简洁且稳定性高:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto("https://chiropractic.ca/find-a-chiro/alberta/")

    # 输入城市
    page.fill("#search-city", "Edmonton")
    # 选择半径(支持 value/text 多种方式)
    page.select_option("select[name='radius']", value="25")
    # 触发搜索(可能为按钮或回车)
    page.press("#search-city", "Enter")

    # 等待结果加载
    page.wait_for_selector(".chiropractor-list-item", timeout=10000)

    # 提取数据(示例)
    chiropractors = page.eval_on_selector_all(
        ".chiropractor-list-item",
        "els => els.map(el => ({name: el.querySelector('h3')?.innerText, phone: el.querySelector('.phone')?.innerText}))"
    )
    print(chiropractors)
? 小结:WebScraper.io 适合静态或简单交互页面;涉及输入框+下拉+异步加载的复合操作,建议转向 Playwright/Selenium。同时务必查阅 WebScraper 官方论坛 和 Dropdown Variation 教程视频,获取最新 selector 配置实践。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

450

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

326

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

166

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

170

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

124

2023.11.15

ajax网站有哪些
ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

250

2024.09.24

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

48

2026.02.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Sass 教程
Sass 教程

共14课时 | 0.9万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.5万人学习

CSS教程
CSS教程

共754课时 | 38.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号