0

0

C++如何构建一个支持动态限流的高并发令牌桶算法?(分布式系统组件)

穿越時空

穿越時空

发布时间:2026-03-11 17:12:10

|

990人浏览过

|

来源于php中文网

原创

令牌桶需用atomic存每毫秒token数和最大容量,配合steady_clock时间戳防漂移;用int128_t或版本号+token双原子变量解决aba问题;配置通过grpc推送+本地atomic缓存实现零锁热更。

c++如何构建一个支持动态限流的高并发令牌桶算法?(分布式系统组件)

令牌桶核心结构体怎么设计才支持动态重配

动态限流的关键不是“桶能不能漏”,而是“漏速和容量能不能在线改而不锁全量请求”。用 std::atomic 管理速率和容量,但别直接原子更新浮点数——double 不是所有平台原子的。换成整型时间戳 + 原子 int64_t 表示每毫秒允许的 token 数(例如 1000 表示 1 QPS),再配合 std::atomic<int64_t></int64_t> 存当前剩余 token。

常见错误:把 ratecapacity 设成非原子变量,然后在限流逻辑里加互斥锁——高并发下锁争用直接拖垮吞吐。更糟的是用 std::shared_mutex 读多写少,但写操作(重配)仍阻塞所有新请求。

  • std::atomic<int64_t></int64_t>tokens_per_msmax_tokens,写配置时只做一次 store(memory_order_relaxed 足够)
  • 每次 try_consume()load(memory_order_acquire) 读取最新值,不加锁
  • 桶内 token 计算必须基于单调时钟(std::chrono::steady_clock),避免系统时间跳变导致误放行

如何避免 try_consume() 在高并发下出现 ABA 问题

单纯用 compare_exchange_weak 更新剩余 token 是不够的——如果两次重配之间 token 值碰巧回到原值(比如从 100→50→100),CAS 就会误判为“没变过”,导致漏算时间流逝。必须把时间戳或版本号混入原子操作。

典型现象:压测时偶发超限,日志显示某次 try_consume(1) 返回 true,但实际已超出配置的 QPS,且无法复现。

立即学习C++免费学习笔记(深入)”;

纳米漫剧流水线
纳米漫剧流水线

360推出的国内首个工业级AI漫剧生产平台

下载
  • 把 token 值和最后更新时间戳打包进一个 int128_t(GCC/Clang 支持),高位存时间(ms),低位存 token 数,用 compare_exchange_weak 原子更新整个 128 位
  • 若无 int128_t,改用 std::atomic<uint64_t></uint64_t> 存 token,另起一个 std::atomic<uint64_t></uint64_t> 存版本号(每次重配 ++),消费时先读版本,再 CAS token,失败则重试并校验版本是否变更
  • 不要用 std::atomic_flag 或自旋锁模拟,它无法携带状态信息,解决不了本质的 ABA

分布式场景下怎么同步限流配置又不依赖中心存储

微服务里每个实例要独立运行令牌桶,但配置需全局一致。如果每次改配置都走 Redis 或 etcd,try_consume() 就得网络 IO,彻底失去高性能意义。真正在用的方案是“推送 + 本地缓存 + 版本校验”。

错误做法:每个请求都去查一次配置中心;或者用 long polling 轮询,连接堆积、延迟毛刺大。

  • 控制面通过 gRPC 或 HTTP/2 主动推送新配置到各实例,实例收到后更新本地 std::atomic 变量,并写入内存映射文件(mmap)作持久化兜底
  • 客户端 SDK 启动时从 mmap 文件加载初始配置,避免冷启动拉不到配置
  • 推送通道必须带递增序列号(如 uint64_t version),实例只接受比当前 version 大的推送,防止乱序覆盖

为什么 std::chrono::steady_clock::now() 调用不能省

有人图快,把上一次计算时间缓存成成员变量,只在 token 不足时才调用 now()。这会导致严重漂移:多个线程并发调用时,不同线程看到的“上次填充时间”可能差几毫秒,桶内 token 计算结果就不一致,最终限流精度崩坏。

实测数据:在 10w QPS 下,省掉每次 now() 会让实际速率偏离配置值 ±15%,且偏差随负载升高而扩大。

  • 每次 try_consume() 都必须调用 std::chrono::steady_clock::now() 获取当前时间
  • 别用 gettimeofday()CLOCK_MONOTONIC 手动封装——C++11 的 steady_clock 在主流平台(Linux glibc / Windows MSVC)底层就是最优实现
  • 编译时加 -O2,现代编译器能把 now() 内联成几条指令,开销稳定在 20–50 ns,远低于一次 cache miss

真正难的不是写对单机桶,而是让成百上千个桶在配置热更、时钟漂移、线程竞争下,仍保持亚毫秒级精度和零锁吞吐——这些细节不抠,上线后流量一峰,限流就形同虚设。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

405

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

251

2023.10.07

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6606

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

842

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1092

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

2108

2024.03.01

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

490

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

202

2025.07.04

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11.1万人学习

C 教程
C 教程

共75课时 | 5.3万人学习

C++教程
C++教程

共115课时 | 21.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号