0

0

Python 流式处理网络数据的正确方式

冷炫風刃

冷炫風刃

发布时间:2026-02-06 16:00:55

|

239人浏览过

|

来源于php中文网

原创

用 requests.iter_content() 流式处理大响应体,需设 stream=True、合理 chunk_size,JSON 流需逐段解码,注意服务端分块规范与 Nginx 缓冲配置,高并发推荐 aiohttp 而非多线程 requests。

python 流式处理网络数据的正确方式

requests.iter_content() 处理大响应体,别用 .text.json()

一旦响应体超过几 MB,用 .text.json() 会把整个响应加载进内存,容易触发 MemoryError,尤其在低配容器或边缘设备上。流式处理的核心是「边收边用」,不攒全量。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • requests.get(url, stream=True) 必须显式传 stream=True,否则 iter_content() 退化为一次性读取
  • r.iter_content(chunk_size=8192) 按固定块读取,chunk_size 设为 4KB–64KB 较稳妥;太小增加系统调用开销,太大削弱流控效果
  • 若需解析 JSON 流(如服务端 SSE 或 NDJSON),不能直接 r.json(),得用 json.JSONDecoder().raw_decode() 逐段解码,或借助 ijson

遇到 ChunkedEncodingError 或连接提前关闭,检查服务端 Transfer-Encoding 和 keep-alive 策略

流式请求失败常不是客户端代码问题,而是服务端返回了不规范的分块编码、中途断连,或反向代理(如 Nginx)默认缓冲整个响应再转发。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • timeout=(3.05, 30):短 connect timeout 防卡死,长 read timeout 容忍慢流
  • 手动设置 headers={'Connection': 'keep-alive'},避免某些网关误判为短连接
  • Nginx 场景下,在 location 块中加 proxy_buffering off;proxy_cache off;,否则它会攒满缓冲区才吐给 Python

并发流式请求要用 aiohttp.ClientSession + async for,别套 ThreadPoolExecutor

用多线程跑多个 requests.get(..., stream=True) 看似并行,实则每个线程仍阻塞在 socket read 上,无法真正压满带宽,还易耗尽本地端口和文件描述符。

华友协同办公自动化OA系统
华友协同办公自动化OA系统

华友协同办公管理系统(华友OA),基于微软最新的.net 2.0平台和SQL Server数据库,集成强大的Ajax技术,采用多层分布式架构,实现统一办公平台,功能强大、价格便宜,是适用于企事业单位的通用型网络协同办公系统。 系统秉承协同办公的思想,集成即时通讯、日记管理、通知管理、邮件管理、新闻、考勤管理、短信管理、个人文件柜、日程安排、工作计划、工作日清、通讯录、公文流转、论坛、在线调查、

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • aiohttp 是更自然的选择:async with session.get(url) as r: 后接 async for chunk in r.content.iter_chunked(8192)
  • 注意 aiohttp 默认不复用 TCP 连接,需显式创建 connector = aiohttp.TCPConnector(limit=100) 并传入 ClientSession
  • 若必须用 requests,至少设 pool_connections=10pool_maxsize=10requests.adapters.HTTPAdapter,但效果仍弱于异步

写入文件或转发到下游时,别用 open(...).write() 直接拼接 chunk

流式数据写磁盘或发给另一个 HTTP 服务时,如果对每个 chunk 都打开/关闭文件、或构造新 requests.post(),I/O 开销和连接数会爆炸式增长。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 写文件:用 open(..., 'wb') 一次打开,循环中只调 f.write(chunk),避免 flush 频繁可加 buffering=8192
  • 转发 HTTP:用 requests.post(url, data=r.iter_content()),让底层自动流式转发,不要自己读完再 post
  • 若需中间处理(如日志、过滤),用生成器函数包装:def process_stream(r): yield from (transform(c) for c in r.iter_content()),保持惰性
流式处理真正的复杂点不在语法,而在边界控制:服务端是否真按需吐数据、网络抖动时如何重试、chunk 解析失败后怎么定位偏移、下游消费速度慢导致上游堆积——这些都得结合具体协议(HTTP/1.1 chunked、HTTP/2 streaming、SSE)来设计,不能靠一个 iter_content() 就高枕无忧。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

234

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

509

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

521

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

235

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

406

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3585

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

41

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

58

2026.01.13

Golang处理数据库错误教程合集
Golang处理数据库错误教程合集

本专题整合了Golang数据库错误处理方法、技巧、管理策略相关内容,阅读专题下面的文章了解更多详细内容。

2

2026.02.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号