0

0

如何处理重定向_PHP爬虫处理302跳转页面方法【解答】

看不見的法師

看不見的法師

发布时间:2026-02-23 20:40:23

|

836人浏览过

|

来源于php中文网

原创

php curl 默认不跟随302重定向,需显式设置curlopt_followlocation为true,并注意open_basedir限制、手动解析location头、使用guzzle等更稳妥方案。

如何处理重定向_php爬虫处理302跳转页面方法【解答】

PHP cURL 默认不跟随 302 重定向

cURL 在 PHP 中默认关闭自动跳转,CURLOPT_FOLLOWLOCATION 是禁用状态。这意味着发起请求后,即使服务器返回 302 Found,cURL 也不会自动请求新 Location 头里的地址,而是直接返回跳转响应体(通常是空或一段 HTML),你拿到的不是目标页面内容。

解决方法是显式开启跳转支持,并注意关联限制:

  • 必须同时设置 CURLOPT_FOLLOWLOCATIONtrue
  • 若启用了 open_basedirsafe_mode(已废弃但某些旧环境仍有影响),CURLOPT_FOLLOWLOCATION 会被强制禁用,此时只能手动解析 Location 头并递归请求
  • 建议搭配 CURLOPT_MAXREDIRS 限制跳转次数,防止循环重定向(如 A→B→A)

手动处理 302 响应头中的 Location

当无法启用 CURLOPT_FOLLOWLOCATION(例如共享主机禁用该选项),就得自己读响应头、提取 Location、再发新请求。关键点在于分离响应头与响应体,并避免被压缩或 chunked 编码干扰:

  • 务必设置 CURLOPT_HEADERtrue,让 cURL 返回头+体混合内容
  • strpos($response, "\r\n\r\n") 或正则匹配 /\r\n\r\n/ 分割头与体,不要依赖 get_headers() —— 它不经过 cURL 的实际传输过程,可能拿不到真实跳转头
  • 从头部分用 preg_match('/Location:\s*(.+)/i', $headers, $matches) 提取跳转地址,注意 trim 空格和换行
  • 跳转地址可能是相对路径(如 /login?next=/admin),需用 dirname($url) . '/' . $locationhttp_build_url()(PECL 扩展)补全为绝对 URL

使用 Guzzle HTTP 客户端更稳妥

Guzzle 默认开启重定向跟随,且自动处理相对 Location、跳转次数限制、Cookie 透传等细节,比裸 cURL 更少出错:

Dreamina
Dreamina

字节跳动推出的AI绘画工具,用简单的文案创作精美的图片

下载

立即学习PHP免费学习笔记(深入)”;

  • 安装:composer require guzzlehttp/guzzle
  • 基础用法:$client->get($url, ['allow_redirects' => true]),其中 allow_redirects 可设为布尔值或数组(含 maxstrictreferer 等键)
  • 注意:若目标站对 Referer 敏感,Guzzle 默认不携带,可加 'headers' => ['Referer' => $url] 模拟来源
  • 跳转过程中 Cookie 默认跨域丢失,如需保持会话,确保 allow_redirects['track_redirects'] 开启并检查 Set-Cookie 是否被正确解析

重定向链中 Cookie 和 Referer 的行为差异

不同客户端对跳转时的请求头继承策略不同,这直接影响登录态或权限校验类页面的抓取结果:

  • cURL 开启 CURLOPT_FOLLOWLOCATION 后,Cookie 会自动带上(前提是之前设置了 CURLOPT_COOKIEJARCURLOPT_COOKIEFILE),但 Referer 不会自动设为上一跳 URL —— 需手动在每次请求前设置 CURLOPT_REFERER
  • Guzzle 默认不发送 Referer,也不自动把上一跳 URL 当作当前跳转的 Referer;若需模拟浏览器行为,必须显式配置 allow_redirects['referer'] = true
  • 某些站点(如微信 OAuth 回调)严格校验 Referer 或跳转链完整性,此时手动实现跳转比依赖自动跟随更可控

重定向看着只是换个 URL,但 Cookie 生命周期、Referer 链路、相对路径解析、跳转深度限制这些细节,任何一个没对齐都可能导致“明明跳了却拿不到数据”。别只盯着 302 状态码本身。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
composer是什么插件
composer是什么插件

Composer是一个PHP的依赖管理工具,它可以帮助开发者在PHP项目中管理和安装依赖的库文件。Composer通过一个中央化的存储库来管理所有的依赖库文件,这个存储库包含了各种可用的依赖库的信息和版本信息。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

159

2023.12.25

require的用法
require的用法

require的用法有引入模块、导入类或方法、执行特定任务。想了解更多require的相关内容,可以阅读本专题下面的文章。

483

2023.11.27

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6477

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

363

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

437

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

curl_exec
curl_exec

curl_exec函数是PHP cURL函数列表中的一种,它的功能是执行一个cURL会话。给大家总结了一下php curl_exec函数的一些用法实例,这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。他的返回值成功时返回TRUE, 或者在失败时返回FALSE。

452

2023.06.14

linux常见下载安装工具
linux常见下载安装工具

linux常见下载安装工具有APT、YUM、DNF、Snapcraft、Flatpak、AppImage、Wget、Curl等。想了解更多linux常见下载安装工具相关内容,可以阅读本专题下面的文章。

182

2023.10.30

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1127

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12.3万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号