0

0

短链接怎么批量还原php_用多线程脚本提升处理速度【指南】

星夢妙者

星夢妙者

发布时间:2025-12-31 23:14:02

|

134人浏览过

|

来源于php中文网

原创

file_get_contents()无法批量还原短链接,因其默认跟随重定向且不返回响应头,导致无法获取location字段;串行调用效率极低。应使用curl多路复用,禁用自动跳转、只取响应头、提取location,并处理3xx状态码、超时及反爬限制(如referer、ua、dns缓存等)。

短链接怎么批量还原php_用多线程脚本提升处理速度【指南】

为什么 file_get_contents() 不能直接批量还原短链接

短链接还原本质是发起 HTTP 请求并读取重定向目标(Location 响应头),而 file_get_contents() 默认不返回响应头,且无法控制跟随重定向的深度和行为。直接用它会拿到跳转后的页面内容,而非原始长 URL;更严重的是,串行调用会极慢,100 个链接可能耗时几十秒甚至分钟。

cURL + curl_multi_exec() 实现真正并发请求

PHP 原生支持多路复用 cURL 句柄,比开进程/线程更轻量、更可控。关键点在于:禁用自动跳转、只取响应头、提取 Location 字段,并正确处理 3xx 状态码和空/无效重定向。

  • 必须设置 CURLOPT_FOLLOWLOCATION = false,否则拿不到原始响应头
  • 必须启用 CURLOPT_HEADER = true,但注意响应体和头混在一起,需手动分离
  • 对返回状态码非 3xx 的链接(如已失效、404、被拦截),应返回原短链或空值,避免误判
  • 建议加 CURLOPT_TIMEOUT = 5 防止单个请求拖垮整批任务
$urls = ['https://t.co/abc123', 'https://bit.ly/xyz789'];
$mh = curl_multi_init();
$chs = [];

foreach ($urls as $i => $url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_NOBODY, true);
    curl_setopt($ch, CURLOPT_HEADER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 5);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0');
    curl_multi_add_handle($mh, $ch);
    $chs[$i] = $ch;
}

$running = null;
do {
    curl_multi_exec($mh, $running);
} while ($running > 0);

$results = [];
foreach ($urls as $i => $url) {
    $header = curl_multi_getcontent($chs[$i]);
    $redirect = '';
    if (preg_match('/^Location:\s*(.+)$/mi', $header, $m)) {
        $redirect = trim($m[1]);
    }
    $results[] = ['short' => $url, 'long' => $redirect];
    curl_multi_remove_handle($mh, $chs[$i]);
    curl_close($chs[$i]);
}
curl_multi_close($mh);

var_dump($results);

遇到 302 但 Location 为空?检查 Referer 和 UA 限制

很多短链服务(如微博微信)会校验 Referer 或拒绝非常规 User-Agent,导致返回 302 却不带 Location,或直接返回 403。这不是代码问题,而是反爬策略。

Moshi Chat
Moshi Chat

法国AI实验室Kyutai推出的端到端实时多模态AI语音模型,具备听、说、看的能力,不仅可以实时收听,还能进行自然对话。

下载
  • 加上 CURLOPT_REFERER(例如设为 https://www.google.com)可绕过部分检测
  • CURLOPT_USERAGENT 必须设为真实浏览器标识,不能留空或用默认值
  • 某些平台(如 dwz.cn)还要求携带 Cookie 或额外 Header,需抓包确认

别忽略 DNS 和连接复用开销

批量还原上百个不同域名的短链时,DNS 解析和 TCP 连接建立本身就会成为瓶颈。cURL 多路复用虽共享 event loop,但默认不复用 DNS 缓存和连接池。

立即学习PHP免费学习笔记(深入)”;

  • CURLOPT_DNS_CACHE_TIMEOUT = 300 避免重复查 DNS
  • CURLOPT_TCP_KEEPALIVE = 1CURLOPT_FORBID_REUSE = false 提升复用率
  • 如果目标域名高度集中(如全是 t.co),效果更明显;若分散在 50+ 不同根域,仍建议分组限速(如每批 ≤20 个)

真正卡住的地方往往不是 PHP 逻辑,而是网络层响应质量——超时、丢包、WAF 拦截,这些没法靠“加线程”解决。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6500

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

368

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

445

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

curl_exec
curl_exec

curl_exec函数是PHP cURL函数列表中的一种,它的功能是执行一个cURL会话。给大家总结了一下php curl_exec函数的一些用法实例,这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。他的返回值成功时返回TRUE, 或者在失败时返回FALSE。

454

2023.06.14

linux常见下载安装工具
linux常见下载安装工具

linux常见下载安装工具有APT、YUM、DNF、Snapcraft、Flatpak、AppImage、Wget、Curl等。想了解更多linux常见下载安装工具相关内容,可以阅读本专题下面的文章。

183

2023.10.30

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

764

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

376

2025.12.24

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

22

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 13.3万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号