0

0

Python爬虫怎么抓Ajax请求_Chrome开发者工具Network找接口与XHR过滤

P粉602998670

P粉602998670

发布时间:2026-03-11 17:23:02

|

643人浏览过

|

来源于php中文网

原创

chrome network面板看不到xhr请求,主要是因未手动勾选xhr/fetch过滤器、请求被缓存或过快被过滤、或使用fetch但未启用对应过滤;需禁用缓存、清空记录、持续观察滚动加载,并注意请求头、动态参数及js解密逻辑。

python爬虫怎么抓ajax请求_chrome开发者工具network找接口与xhr过滤

Chrome Network 面板里根本看不到 XHR 请求?

不是接口没发,是它被缓存了、或者发得特别快被过滤掉了、又或者压根没走 XHR(比如用了 fetch 但没勾选 Fetch/XHR 过滤器)。Network 面板默认不自动勾选 XHR 类型,得手动点一下左上角的 XHR 按钮(旁边还有 Fetch/XHR,新版 Chrome 已合并显示为这个)。

常见错误现象:
– 页面点了按钮没反应,Network 一片空白
– 切换标签页后刷新,XHR 请求消失
– 接口在页面加载完才触发,但你只看了 Page Load 那一下

  • 操作前先点 Disable cache(右键 Network 标题栏可调出)
  • 清空记录再操作:点左上角圆形 Record 按钮让它变红,再点一次清空,然后点页面触发动作
  • 如果目标是滚动加载或懒加载,别只盯着“刚打开那几秒”,要持续观察 Network 列表滚动新增的条目
  • 注意看请求方法:有些接口用 POST 发数据,但响应体是 JSON;有些用 GET 带一堆参数,Query String Parameters 里藏着关键字段

找到请求了,但复制出来 Python 里 403 或 401?

浏览器能通,requests.get() 直接报错,大概率是服务端做了基础反爬:校验 User-AgentRefererCookie,甚至要求带 X-Requested-With(标示 AJAX 请求)。

使用场景:你右键点击 Network 里的某条请求 → CopyCopy as cURL,再转成 Python 代码,结果跑不通。

立即学习Python免费学习笔记(深入)”;

一帧秒创
一帧秒创

基于秒创AIGC引擎的AI内容生成平台,图文转视频,无需剪辑,一键成片,零门槛创作视频。

下载
  • 必须复制完整请求头,尤其 Cookie 字段——登录态通常靠它维持,过期或缺失就 401
  • User-Agent 不能用 requests 默认值,得从浏览器请求里复制真实的,比如 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36...
  • 有些接口强制要求 X-Requested-With: XMLHttpRequest,缺了直接拒掉
  • 如果接口返回 302 跳转,requests 默认会跟跳,但目标服务器可能只认“原始 Referer”,这时要加 allow_redirects=False

接口返回的是加密数据或需要解密字段?

不是所有 Ajax 接口都直接吐明文 JSON。Response 标签页看着是乱码或长字符串,不代表它没数据——可能是前端用 JS 解密、Base64、AES、RSA,甚至整个响应体是 gzip 压缩过的(但 Content-Encoding: gzip 已被 Chrome 自动解压显示)。

性能 / 兼容性影响:硬啃前端 JS 解密逻辑,比写爬虫还费时间;有些加密 key 是动态生成的,每次页面加载都不一样。

  • 先看 ResponsePreview 是否一致:如果不一致,说明有 JS 渲染逻辑,得查页面源码里怎么处理的
  • 搜索页面 HTML 或 JS 文件(在 Sources 面板里 Ctrl+F),找关键词如 atobdecryptAEScrypto
  • 留意接口 URL 里有没有 token=sign=ts= 这类参数——它们往往由前端拼接,得逆向生成逻辑
  • 如果只是 Base64,Python 里 base64.b64decode() 试试;如果是 gzip,响应头有 Content-Encoding: gzip 才需要手动解压(但 Chrome 已帮你干了)

Python 用 requests 抓不到,是不是得换 Selenium?

不一定。Selenium 启动慢、资源重、容易被检测,是最后手段。多数所谓“必须用浏览器”的情况,其实只是漏看了请求链路或动态参数来源。

容易踩的坑:
– 看到页面有“加载中…”就以为是 JS 渲染,其实只是等一个 XHR 返回后再填 DOM
– 把接口请求顺序搞反了:比如先要调 /api/token 拿临时票据,再带着它调主接口,但你只抄了主接口

  • 在 Network 面板按 Waterfall 列排序,看哪些请求是串行发起的,关注“Initiator”列,点开能看到是哪个 JS 文件哪一行触发的
  • 检查 Response 里是否有 set-cookie,后续请求是否依赖这个 cookie
  • requests.Session() 复用连接和 Cookie,比反复新建 requests 更贴近浏览器行为
  • 真要上 Selenium,也别直接渲染整页,可以配合 driver.execute_script("return window.performance.getEntries()") 或监听 performance API 快速定位真实 XHR

最麻烦的从来不是“怎么抓”,而是“怎么判断这个接口到底依赖哪些前置状态”。多看 Initiator、多比对两次请求的 Header 差异、别急着写代码——先把浏览器里每一步网络行为和 JS 调用链理清楚。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

455

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

334

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

166

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

170

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

124

2023.11.15

ajax网站有哪些
ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

257

2024.09.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号