0

0

怎么抓取下拉加载_PHP抓取滚动加载页面数据方法【指南】

星夢妙者

星夢妙者

发布时间:2026-02-17 13:31:02

|

706人浏览过

|

来源于php中文网

原创

滚动加载页面抓取本质是用php模拟前端xhr请求,需通过浏览器开发者工具分析分页参数、请求头及签名逻辑并复现,而非让php执行js或滚动。

怎么抓取下拉加载_php抓取滚动加载页面数据方法【指南】

滚动加载页面本质是 AJAX 请求,PHP 本身不执行 JS,不能直接触发下拉加载

PHP 是服务端语言,无法运行浏览器环境中的 JavaScript,也就没法自动滚动、监听 scroll 事件或触发 fetch/XMLHttpRequest。所谓“抓取滚动加载页面”,实际是逆向分析前端发起的分页/增量加载请求,用 PHP 模拟这些请求去拿数据。

关键不是“让 PHP 滚动”,而是找出浏览器开发者工具 Network 面板里那些带 offsetpagelimitcursor 的 XHR/Fetch 请求,然后复现它们。

用 cURL 抓取带分页参数的接口(最常用且可靠)

多数滚动加载背后是 RESTful 分页接口,比如 /api/items?page=2&size=20/api/feed?cursor=abcd1234。PHP 只需构造正确 URL + 请求头(尤其是 User-Agent 和可能需要的 RefererCookie),用 curl_exec 获取 JSON 响应。

  • 必须带上 User-Agent,否则很多接口返回 403 或空数据
  • 如果登录态敏感(如个人动态流),需从浏览器复制完整 Cookie 字符串,设为 Cookie 请求头
  • 注意接口是否校验 RefererX-Requested-With,缺失会导致 400/403
  • 响应通常是 JSON,用 json_decode($response, true) 解析,检查 datalistitems 等字段名,别硬写固定键名

遇到签名参数(如 sign_tstoken)时不能硬编码

部分站点对请求参数做前端签名(例如拼接时间戳+密钥+参数后 MD5),这类接口无法靠抓包一次搞定。PHP 必须复现签名逻辑——这意味着你要把 JS 中的加密函数(如 hmacSHA256base64EncodegetSign())用 PHP 重写。

立即学习PHP免费学习笔记(深入)”;

Visual Studio IntelliCode
Visual Studio IntelliCode

微软VS平台的 AI 辅助开发工具

下载

常见坑:

  • JS 里 new Date().getTime() 返回毫秒,PHP 要用 round(microtime(true) * 1000)
  • JS 的 encodeURIComponent 和 PHP 的 rawurlencode 行为基本一致,但空格、斜杠等细节要对齐
  • 密钥(secret)可能藏在 JS 文件里被混淆,需搜索 signtokencrypto 相关字符串定位
  • 签名结果大小写敏感(如 hex 编码全小写),PHP 用 md5() 默认小写,但 sha1()hash_hmac() 输出需确认格式

不要尝试用 PHP 内置 DOMDocument 解析滚动后的内容

DOMDocument::loadHTMLFilefile_get_contents 只能拿到初始 HTML,里面没有滚动加载出来的内容——那些是 JS 运行后动态插入的。想绕过逆向直接“渲染”,唯一可行路径是调用无头浏览器(如 Chrome + Puppeteer),但那是 Node.js 场景;PHP 中强行集成 Chromium(如 chrome-php/chrome)成本高、不稳定、内存占用大,生产环境慎用。

真正轻量又可控的方式,永远是:打开 F12 → 切到 Network → 刷出几屏数据 → 找出重复出现的 XHR 请求 → 看 Query String 和 Request Payload → 复现它。

签名难、参数多、反爬严?那说明你还没找到真正的数据出口,继续翻 JS 文件比改 PHP 更有效。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
PHP API接口开发与RESTful实践
PHP API接口开发与RESTful实践

本专题聚焦 PHP在API接口开发中的应用,系统讲解 RESTful 架构设计原则、路由处理、请求参数解析、JSON数据返回、身份验证(Token/JWT)、跨域处理以及接口调试与异常处理。通过实战案例(如用户管理系统、商品信息接口服务),帮助开发者掌握 PHP构建高效、可维护的RESTful API服务能力。

173

2025.11.26

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

442

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

164

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

166

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

119

2023.11.15

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

462

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.2万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号