0

0

Python 数据库连接池的调优

舞夢輝影

舞夢輝影

发布时间:2026-02-22 22:16:49

|

566人浏览过

|

来源于php中文网

原创

连接池大小应根据应用并发与数据库吞吐的平衡点动态调整,推荐从minconn=5、maxconn=20起步,结合qps和threads_connected监控优化;需匹配idle超时与数据库wait_timeout,多线程用threadedconnectionpool并全局单例,异步场景用asyncpg.create_pool,务必用with或try/finally确保连接归还。

python 数据库连接池的调优

连接池大小设多少才不拖慢应用又不浪费资源

连接池太小,请求排队等连接,响应变慢;太大,数据库扛不住,还可能触发连接数上限报错 Too many connections。真实场景里,它不是靠公式算出来的,而是看应用并发和数据库吞吐的平衡点。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • minconn=5maxconn=20 起步(以 psycopg2.pool.ThreadedConnectionPool 为例),观察应用平均 QPS 和数据库 show status like 'Threads_connected' 的波动
  • 如果 95% 请求能在 pool_timeout=5 内拿到连接,且数据库连接数长期稳定在 maxconn * 0.7 以下,说明当前值较合理
  • 别盲目按 CPU 核数设 maxconn——Python 的 GIL 和 I/O 等待会让实际并发远低于理论值
  • PostgreSQL 推荐单实例总连接数不超过 100(含应用池、管理连接、复制连接),MySQL 则要看 max_connections 配置,留至少 20% 余量

空闲连接被数据库主动断开怎么办

connection_idle_timeout 或数据库的 wait_timeout(MySQL)/tcp_keepalives_idle(PG)不匹配时,连接池里“看着健康”的连接,一用就抛 server closed the connection unexpectedlyLost connection to MySQL server during query

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 把连接池的 idle_timeout(如 SQLAlchemypool_pre_ping=True)设得比数据库 wait_timeout 少 10–15 秒,强制复用前检测
  • 避免依赖 pool_recycle 做定时重连——它会无差别关闭所有空闲连接,引发瞬时建连风暴
  • 对 PostgreSQL,启用 tcp_keepalives_idle + tcp_keepalives_interval,让 OS 层保活,比应用层轮询更轻量

多线程/多进程下用错池类型直接卡死

SimpleConnectionPool 跑多线程服务,会出现连接被不同线程反复 close/reopen,甚至 AttributeError: 'NoneType' object has no attribute 'cursor';用 ThreadedConnectionPool 跑多进程,则每个子进程都持有一套独立池,连接数翻倍爆炸。

艺帆集团公司企业网站源码1.7.5
艺帆集团公司企业网站源码1.7.5

艺帆集团公司企业网站源码基于艺帆企业cms制作,全站div+css 制作;它包含了单页设置、单页分类设置、新闻、产品、下载、在线招聘、在线留言、幻灯管理、友情链接管理和数据库备份等功能。 DIV+CSS布局优势一.精简代码,减少重构难度。网站使用DIV+CSS布局使代码很是精简,相信大多朋友也都略有所闻,css文件可以在网站的任意一个页面进行调用,而若是使用table表格修改部分页面却是显得很麻烦

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • Web 应用(如 Flask/FastAPI)默认多线程:选 ThreadedConnectionPool,并确保全局单例(比如放在模块级变量或依赖注入容器中)
  • 多进程模型(如 Gunicorn 的 preload=False + workers > 1):必须用进程安全的池,或者改用 QueuePool(SQLAlchemy 默认)配合 poolclass=StaticPool(仅限 SQLite 等单文件场景)
  • 异步框架(FastAPI + asyncpg):别混用同步池,直接上 asyncpg.create_pool,它的 min_size/max_size 是真正的协程安全池

事务没正确归还连接导致池饿死

忘记 conn.close() 或没进 finally 块,连接一直被占着,池里可用连接越来越少,最终所有新请求卡在 getconn() timeout。这种问题在线上往往表现为“偶发性超时”,查日志却找不到明显错误。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 永远用 with pool.getconn() as conn:(支持上下文管理的池)或 try/finally 包裹 getconn() + putconn()
  • 禁用 closeall() 在业务逻辑里调用——它会暴力关掉所有连接,后续请求全得重建,雪崩风险高
  • 在连接池初始化时打开 echo=True(SQLAlchemy)或打日志记录 getconn/putconn,快速定位漏还连接的代码段

最麻烦的不是调参,是连接生命周期脱离了你的控制——一旦有中间件、装饰器或异常分支绕过了归还逻辑,池就会无声地越缩越小。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

680

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

392

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

286

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

264

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

537

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

638

2023.08.14

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1030

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号