0

0

Python 网络大文件传输的性能瓶颈

舞夢輝影

舞夢輝影

发布时间:2026-02-16 14:26:48

|

881人浏览过

|

来源于php中文网

原创

大文件上传卡在requests.post()主因是默认内存加载和缓冲区阻塞;应改用data=file_obj流式上传、手动设buffering、复用连接池、检查中间件限制并控制异步并发。

python 网络大文件传输的性能瓶颈

大文件上传卡在 requests.post() 里不动?不是网络慢,是默认缓冲区拖垮了

Python 默认用 requests 发送大文件时,会先把整个文件读进内存再发出去——1GB 文件就占 1GB 内存,还可能触发系统 OOM。更隐蔽的问题是:它默认不流式读取,files 参数背后调用 open() 时没加 buffering=0 或分块逻辑,导致 I/O 阻塞在用户态缓冲区里。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 永远用 open(..., 'rb', buffering=8192) 手动控制缓冲区大小,别依赖默认值
  • 改用 requests.post(url, data=file_obj) 替代 files=...,绕过 requests 自带的 multipart 封装开销(尤其对单文件上传)
  • 加上 timeout=(30, 300):短连接超时 + 长传输超时,避免卡死在 socket write 阶段

urllib3 底层连接复用失效,每传一个分片都新建 TCP 连接

requests 基于 urllib3,但默认 PoolManagermaxsize 是 10,且不自动复用上传中的连接。大文件切片上传时,如果每个分片都走独立 requests.post(),很可能每请求都新建连接,三次握手 + TLS 握手叠加,吞吐直接掉一半。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 显式复用 urllib3.PoolManager 实例,设置 maxsize=20block=True
  • 上传前预热连接:pool.urlopen('HEAD', base_url, preload_content=False)
  • 分片上传时,确保所有请求共用同一个 sessionpool,别每次 new 一个 requests.Session()

服务端接收不到完整数据,客户端却显示“200 OK”

常见于 Nginx 或云厂商 LB 默认限制:比如 client_max_body_size 1m、或阿里云 SLB 默认 POST body 上限 10MB。客户端收到 200 是因为 LB 返回了自定义错误页(伪装成成功),实际后端根本没收到请求体。

科海网络企业网站管理系统2011.5.17
科海网络企业网站管理系统2011.5.17

科海网络企业网站管理系统支持ASP+ACCESS数据库的虚拟主机即可,上传至服务器上,请把lxlweb文件夹放在网站根目录。 前台功能介绍:企业网站通用七大栏目 网站首页:综合性的显示网站相关信息;公司简介:显示与公司相关内容:公司简介、企业文化、发展策略、人才政策、联系方式等,栏目可以后台无限添加;新闻中心:按新闻类别显示新闻信息、新闻搜索功能,新闻分类后台可无限添加;产品展示:按产品分类显示

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 上传前先发个 HEAD 请求检查服务端返回的 Content-Length 或自定义 header(如 X-Upload-Limit
  • 捕获响应 body 中是否含明显 HTML 错误片段(如 <title>413 Request Entity Too Large</title>),别只看 status_code
  • curl -v 对比验证:如果 curl 也失败,问题一定在链路中间件,不是 Python 代码

aiohttp 异步上传反而更慢?协程调度压垮了磁盘 I/O

异步库只加速网络等待,不加速磁盘读。如果同时启动 50 个 aiohttp.ClientSession.post() 上传 50 个 200MB 文件,操作系统会瞬间产生大量随机读请求,SSD 队列深度溢出,IOPS 反而暴跌。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 并发数严格限制在 min(8, os.cpu_count() * 2),优先保磁盘顺序读
  • 每个上传任务内用 async with aiofiles.open(..., 'rb') as f + await f.read(64*1024) 分块,别 await f.read() 一锅端
  • asyncio.Semaphore 控制全局并发,比靠事件循环“自觉”更可靠

真正卡住大文件传输的,往往不是带宽,而是你没意识到 Python 的文件对象、HTTP 库、中间网关三者之间那几处默认行为的隐式耦合——比如 requests 怎么把 open() 结果转成 stream,urllib3 怎么决定复用哪个 socket,还有 Nginx 怎么悄悄截断并伪造响应。这些地方不细看文档、不抓包验证,光调参数没用。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

239

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

515

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

566

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

238

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

478

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3585

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

49

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

65

2026.01.13

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

145

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号