0

0

BotoCore 1.28.0+ 多线程性能下降的解决方案

聖光之護

聖光之護

发布时间:2026-03-09 12:27:01

|

380人浏览过

|

来源于php中文网

原创

BotoCore 1.28.0+ 多线程性能下降的解决方案

botocore ≥1.28.0 因服务模型预加载机制变更导致多线程场景下资源初始化显著变慢;本文提供复用预加载 loader 实例的高效修复方案,可恢复接近旧版本的启动性能。

botocore ≥1.28.0 因服务模型预加载机制变更导致多线程场景下资源初始化显著变慢;本文提供复用预加载 loader 实例的高效修复方案,可恢复接近旧版本的启动性能。

自 Botocore 1.28.0 起,其内部在创建 ServiceModel(如 S3)时默认触发全量端点规则集(endpoint-rule-set-1)与分页器(paginators-1)等元数据的加载逻辑(见 botocore#2785)。该行为虽提升了首次调用的健壮性,但在高并发、短生命周期的多线程或多进程场景(如测试套件、批量 S3 下载/上传任务)中,会导致每个线程重复执行耗时的 load_service_model 操作——实测中单次加载可消耗数毫秒至数十毫秒,累积后造成整体延迟激增(如报告中所述:测试耗时额外增加 20 分钟)。

根本原因在于:默认 Loader 实例是惰性、非共享的,每次新建 Session 或 Client 时都会触发完整模型解析流程,而该过程包含 JSON 解析、Schema 验证及规则编译,无法被线程安全地复用。

✅ 正确解法是 全局预加载关键服务模型,并将同一 Loader 实例注入所有会话,从而绕过重复加载。以下为生产就绪的实现:

import threading
import botocore.session
import boto3
from botocore.loaders import Loader

# 1. 全局预加载:仅需一次,覆盖常用类型
_preloaded_loader = Loader()
for type_name in ('endpoint-rule-set-1', 'paginators-1'):
    _preloaded_loader.load_service_model(service_name='s3', type_name=type_name)
    # 如需其他服务(如 'dynamodb'),在此追加

# 2. 线程安全的 Session 工厂(避免重复注册)
_session_lock = threading.Lock()

def get_thread_safe_boto3_session():
    """返回已绑定预加载 Loader 的 boto3 Session"""
    session = botocore.session.get_session()
    # 关键:替换默认 data_loader 组件
    session.register_component('data_loader', _preloaded_loader)

    # 注意:boto3.session.Session 构造本身是线程安全的,无需锁
    # 但若需定制 botocore_session 参数(如 credentials),可在此注入
    with _session_lock:
        return boto3.session.Session(botocore_session=session)

在工作线程中直接调用:

BJXSHOP网上购物系统 - 书店版
BJXSHOP网上购物系统 - 书店版

BJXSHOP购物管理系统是一个功能完善、展示信息丰富的电子商店销售平台;针对企业与个人的网上销售系统;开放式远程商店管理;完善的订单管理、销售统计、结算系统;强力搜索引擎支持;提供网上多种在线支付方式解决方案;强大的技术应用能力和网络安全系统 BJXSHOP网上购物系统 - 书店版,它具备其他通用购物系统不同的功能,有针对图书销售而进行开发的一个电子商店销售平台,如图书ISBN,图书目录

下载
# ✅ 每个线程内使用
session = get_thread_safe_boto3_session()
s3_resource = session.resource('s3', region_name='us-east-1')
# 或 client = session.client('s3', ...)

# 后续操作(如 download_file, upload_file)性能不受影响
s3_resource.Object('my-bucket', 'key').download_file('/tmp/file')

⚠️ 注意事项:

  • 不要在循环中重复调用 load_service_model:预加载只需一次,且应限定在应用启动阶段;
  • Loader 是线程安全的:Loader 实例本身无状态写入,可安全共享于多线程环境;
  • 服务范围可控:仅预加载实际用到的服务(如仅 S3)和类型(endpoint-rule-set-1 和 paginators-1 是最常见开销源),避免冗余加载;
  • 不适用于动态服务名场景:若线程需访问大量不同服务(如 20+ 个 AWS 服务),预加载成本可能反升,此时建议结合 LRU 缓存 Loader 实例;
  • 进程间不共享:多进程场景(如 concurrent.futures.ProcessPoolExecutor)需在每个子进程中单独预加载(可封装为 initializer 函数)。

? 进阶提示:若使用 boto3.client() 而非 resource(),同样适用本方案——只需确保 client 创建所依赖的 Session 注入了预加载 Loader 即可。

通过该方案,实测可消除 >90% 的初始化延迟,使 Botocore 1.28.0+ 在多线程负载下的表现回归至 1.27.x 水平,同时完全兼容新版 endpoint 规则引擎特性。这是官方推荐模式(Boto3 多线程指南)与底层优化的完美结合。

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

454

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

331

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

resource是什么文件
resource是什么文件

Resource文件是一种特殊类型的文件,它通常用于存储应用程序或操作系统中的各种资源信息。它们在应用程序开发中起着关键作用,并在跨平台开发和国际化方面提供支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

179

2023.12.20

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

334

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

775

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

59

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号