0

0

requests 如何实现带 jitter 的指数退避重试(不依赖 backoff 库)

冷炫風刃

冷炫風刃

发布时间:2026-01-23 19:31:02

|

457人浏览过

|

来源于php中文网

原创

<p>urllib3.Retry 通过自定义 backoff_func 实现带 jitter 的指数退避,公式为 min(backoff_max, (2 retry_count) backoff_factor random.uniform(0.5, 1.5)),需设 backoff_factor=0 避免叠加,默认返回值即 sleep 秒数。</p>

requests 如何实现带 jitter 的指数退避重试(不依赖 backoff 库)

requests 自带重试机制不支持 jitter,必须手动封装

requests 的 urllib3.Retry 能做指数退避,但所有重试间隔是确定的(如 1s、2s、4s),没有随机抖动(jitter)。生产环境直接用它容易触发服务端限流或雪崩,必须自己加 jitter —— 也就是在每次计算出的基础等待时间上乘一个 [0.5, 1.5) 之间的随机因子。

用 urllib3.Retry + 自定义 backoff_func 实现 jitter

urllib3.Retry 允许传入 backoff_factorbackoff_max,但它默认的退避逻辑是线性的(实际是指数,但无 jitter)。真正可控的方式是传入自定义的 backoff_func 参数,该函数接收重试次数 retry_count,返回应等待的秒数。

  • 基础公式: base = min(backoff_max, (2 ** retry_count) * backoff_factor)
  • jitter 部分:乘以 random.uniform(0.5, 1.5),避免重试请求扎堆
  • 注意:这个函数只在 urllib3 内部调用,不能抛异常,也不能依赖外部状态
import random
import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
<p>def jittered_backoff(retry_count):
base = (2 *<em> retry_count) </em> 0.5  # backoff_factor=0.5
max_wait = 60.0
return min(max_wait, base * random.uniform(0.5, 1.5))</p><p>retry_strategy = Retry(
total=5,
status_forcelist=[429, 500, 502, 503, 504],
backoff_factor=0,  # 必须设为 0,否则会叠加默认逻辑
backoff_max=60,
backoff_func=jittered_backoff,
)</p><p>adapter = HTTPAdapter(max_retries=retry_strategy)
session = requests.Session()
session.mount("http://", adapter)
session.mount("https://", adapter)

requests.Session 不会自动 sleep,需在 backoff_func 中控制阻塞

很多人误以为 backoff_func 返回值会被 urllib3 自动用于 time.sleep() —— 实际上不是。urllib3 仅用它来决定是否重试(比如超时前还剩多少时间),真正的等待逻辑在它内部实现。但关键点是:**只有当 backoff_func 返回值 ≤ 剩余重试时间时,urllib3 才会 sleep 对应时长**。所以你返回的值就是最终 sleep 秒数,不需要额外 time.sleep()

歌者PPT
歌者PPT

歌者PPT,AI 写 PPT 永久免费

下载
  • 如果你返回 3.7,urllib3 就会 sleep 约 3.7 秒(精度取决于系统调度)
  • 返回负数或 None 会导致立即重试(不推荐)
  • 若用 Retry(total=3)retry_count 取值为 0, 1, 2(不是 1~3)

注意 time.monotonic() vs time.time() 与系统时钟漂移

urllib3 内部用 time.monotonic() 计算剩余等待时间,所以你的 backoff_func 返回值不会受系统时间回拨影响。这点不用额外处理,但如果你在自定义重试逻辑里手动 sleep,就得自己用 monotonic() 校验 —— 而用 backoff_func 方式就天然规避了这个问题。

真正容易被忽略的是:jitter 的随机源必须是线程安全的。如果 session 被多线程共用(比如在 FastAPI 的全局 client 里),random.uniform() 默认使用全局 random.Random 实例,在 CPython 中是线程安全的,但不保证跨平台;更稳妥的做法是每个重试策略绑定独立的 random.Random 实例,不过对绝大多数场景,直接用 random.uniform 已足够。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

251

2026.02.06

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

336

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

776

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号