0

0

Python 日志量失控的治理方法

冷漠man

冷漠man

发布时间:2026-02-25 12:52:02

|

385人浏览过

|

来源于php中文网

原创

日志重复打印的根本原因是logger.propagate=true且重复添加handler,导致日志被root和自定义handler各输出一次;应设propagate=false或统一用dictconfig管理。

python 日志量失控的治理方法

日志重复打印:为什么 logger.info() 会输出两遍?

根本原因不是代码写错了,而是 logging.getLogger() 返回的 logger 默认自带一个 root handler,而你又手动 addHandler() 了一次。结果同一条日志被 root 和自定义 handler 各刷一遍。

  • 每次调用 getLogger("myapp") 都返回同一个 logger 实例,但它的传播(propagate)默认是 True,会把日志往上传到 root logger
  • 如果没显式关闭 propagation,又给它加了 handler,就等于“本地打一次 + root 再打一次”
  • 常见触发场景:模块里反复调用 getLogger(<strong>name</strong>) 并配置 handler,尤其在 import 时执行初始化逻辑

解决方法很简单:

  • logger.propagate = False(推荐,干净利落)
  • 或者不用 basicConfig(),改用 dictConfig() 统一管控 root 和子 logger
  • 不要在一个模块里既调用 basicConfig() 又自己 addHandler()

日志文件爆炸:RotatingFileHandler 为啥越滚越大?

不是轮转失效,而是默认参数太宽松:maxBytes=0(不触发切割)、backupCount=0(不清理旧文件)。很多项目直接复制示例代码,忘了改这俩值。

  • maxBytes 设太小(比如 1KB)会导致频繁切文件,IO 开销大;设太大(比如 100MB)又起不到控量作用
  • backupCount 控制保留几个历史文件,设为 0 就等于只写一个文件,永远不删
  • 注意:Windows 下文件重命名可能失败,导致轮转卡住,此时日志会静默丢弃(无报错),看起来像“不写了”

建议配置:

立即学习Python免费学习笔记(深入)”;

亿众购物系统
亿众购物系统

一套设计完善、高效的web商城解决方案,独有SQL注入防范、对非法操作者锁定IP及记录功能,完整详细的记录了非法操作情况,管理员可以随时查看网站安全日志以及解除系统自动锁定的IP等前台简介:  1)系统为会员制购物,无限会员级别。  2)会员自动升级、相应级别所享有的折扣不同。  3)产品可在缺货时自动隐藏。  4)自动统计所有分类中商品数量,并在商品分类后面显示。  5)邮件列表功能,可在线订阅

下载
  • maxBytes=10_485_760(10MB)比较平衡
  • backupCount=5 足够查最近问题,又不占太多磁盘
  • 加上 delay=True,避免启动时就创建空日志文件

异步/多进程下日志错乱:print() 式写法扛不住

print() 或直接写文件对象,在并发场景下必然出问题:内容粘连、换行丢失、甚至写入截断。logging 模块本身线程安全,但多进程不默认支持。

  • RotatingFileHandler 在多进程下不是原子的,两个进程同时触发轮转,可能删掉对方的备份文件
  • 异步框架(如 FastAPI + uvicorn)里,如果在协程里用同步 handler,会阻塞 event loop
  • 真正安全的做法只有两种:用 QueueHandler + QueueListener 把日志转发到单独线程处理;或者用支持多进程的第三方方案(如 concurrent-log-handler

简单项目可先这样兜底:

  • 确保所有日志都走 logging 接口,别混用 print()
  • 多进程部署时,让每个 worker 写独立文件(比如加 os.getpid() 到文件名)
  • 不要指望 FileHandler 自己搞定跨进程同步

DEBUG 日志泄露:为什么生产环境还在打 SQL 和请求体?

不是没关 DEBUG,而是 logger 级别和 handler 级别是两套开关。比如 logger.setLevel(logging.DEBUG),但 handler 设了 setLevel(logging.WARNING),看起来该过滤,实际仍可能漏——因为某些库(如 sqlalchemy)会用自己的 logger,且默认传播到 root。

  • Django、Flask、SQLAlchemy 这些框架内部 logger 名字固定(如 "sqlalchemy.engine""urllib3"),必须显式禁用或调级
  • logging.disable(logging.DEBUG) 是全局开关,但会关掉所有 DEBUG,包括你真正需要的调试信息
  • 更隐蔽的是:某些包在 import 时就注册了 handler,比你的配置还早执行

稳妥做法:

  • 在应用启动最开头就调用 logging.getLogger("sqlalchemy.engine").setLevel(logging.WARNING)
  • logging.getLogger().handlers = [] 清掉 root 的默认 handler,再从头配
  • 生产环境配置里加一句:logging.getLogger("urllib3").setLevel(logging.WARNING)

日志量失控从来不是单一配置点的问题,而是 logger 层级、handler 行为、第三方库默认策略、运行时环境四者叠加的结果。最容易被忽略的,是以为“配了 logger 就万事大吉”,却没检查它实际发往哪里、被谁接收、又被谁二次传播。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

智谱清言 - 免费全能的AI助手
智谱清言 - 免费全能的AI助手

智谱清言 - 免费全能的AI助手

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

1027

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

337

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

379

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1842

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

377

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1415

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

585

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

437

2024.04.29

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

32

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号