0

0

如何在并发环境下高效统计UV_HashSet、BitMap与LongAdder对比

P粉602998670

P粉602998670

发布时间:2026-03-08 11:53:23

|

541人浏览过

|

来源于php中文网

原创

uv统计不宜直接用concurrenthashmap,因其需存储完整用户id导致内存开销大、gc压力高,且size()不准确、computeifabsent易引发无效对象分配;bitmap适用于id可映射为可控范围非负整数的场景,否则误判率高;uv_hashset通过复用boolean.true节省内存,较concurrenthashmap显著降低堆占用。

如何在并发环境下高效统计uv_hashset、bitmap与longadder对比

UV统计为什么不能直接用ConcurrentHashMap

因为UV本质是去重计数,ConcurrentHashMap存的是完整用户ID(比如UUID或手机号),内存开销大、GC压力高,1000万UV可能占几百MB堆内存;并发put还涉及锁分段或CAS重试,吞吐上不去。真正要的只是“这个ID来过没”,不是“把它存下来”。

常见错误现象:ConcurrentHashMap.size()在高并发下不准——它不加锁统计,返回的是估算值;有人误用computeIfAbsent反复构造对象,触发无谓对象分配。

  • 场景:日活/小时活统计、实时风控中的设备去重
  • 关键取舍:精度(是否允许极低概率误判) vs 内存 vs 速度
  • BitMap适合固定ID空间(如用户ID是连续整数),UV_HashSet和LongAdder则面向离散字符串ID

BitMap在UV统计中怎么用才不翻车

BitMap高效的前提是ID能映射成非负整数且范围可控。比如用户表主键是long型自增ID,最大值1亿,那用RoaringBitmap(比原生java.util.BitSet更省内存)只要约12MB;但如果ID是UUID或手机号,强行转hashCode()会撞桶,误判率飙升。

容易踩的坑:BitSet.get(i)对超限索引静默返回false,不报错,导致漏统计;RoaringBitmap.add(负数)直接抛IllegalArgumentException

  • 必须做ID归一化:用Math.abs(id.hashCode()) % MAX_SIZE不如用Murmur3Hash32再& (size-1)(确保size是2的幂)
  • 线上务必预估峰值UV,避免BitMap扩容(RoaringBitmap扩容是拷贝全量数据)
  • 不要拿BitMap当唯一凭证——布隆过滤器(BloomFilter)更适合做“是否存在”判断,BitMap更适合“确定存在且范围已知”

UV_HashSet为什么比ConcurrentHashMap省内存

核心在于复用java.util.HashSet底层的HashMap结构,但把value统一设为Boolean.TRUE(静态常量),避免每个entry都new一个对象;再配合ConcurrentHashMap的分段写入能力,做到线程安全+低内存。

Veed AI Voice Generator
Veed AI Voice Generator

Veed推出的AI语音生成器

下载

实测对比:1000万随机UUID,ConcurrentHashMap<string boolean></string>约占用850MB,而ConcurrentHashMap<string boolean></string>new ConcurrentHashMap(1初始容量 + <code>loadFactor=0.75,压到约420MB——省了一半,但仍是BitMap的30倍以上。

  • 参数差异:initialCapacity建议设为预估UV的1.3倍,避免rehash;concurrencyLevel(旧版)或CPU核数(新版)影响分段数,太高反而增加CAS失败率
  • 注意containsKey()putIfAbsent(key, TRUE)的原子性差异:后者才是“有就跳过,没有才记”,前者+手动put不是原子的
  • 如果业务允许少量重复(比如UV误差ConcurrentSkipListSet替代,写性能略低但遍历有序,方便后续聚合

LongAdder只适合UV中间态计数,别直接当UV结果

LongAdder快是因为它把累加分散到多个cell上,避免单点竞争,但它统计的是“调用次数”,不是“去重后数量”。你不能靠它算UV——除非前面已经用BitMap或HashSet筛过一遍,只把“新用户”才发给LongAdder加1。

典型误用:if (!set.contains(id)) { set.add(id); counter.increment(); }counterLongAdder是对的,但有人把set换成ConcurrentHashMap又用LongAdder,结果发现UV虚高——因为containsadd之间有竞态窗口,两个线程同时判断“不存在”,都进了increment()

  • 正确姿势:先用线程安全集合完成去重逻辑(比如putIfAbsent返回null才increment),LongAdder只负责最后一步计数
  • 性能影响:LongAdder.sum()需要遍历所有cell,高并发下可能比AtomicLong.get()慢,别在高频读场景频繁调用
  • 兼容性:Java 8+才有,Android需注意API Level(API 24+)

真正难的不是选哪个组件,而是想清楚你的ID分布、误差容忍度、内存预算这三点。比如日志系统采样率1%,那用布隆过滤器+LongAdder就够了;要是支付系统要精确UV,就得老老实实用ConcurrentHashMap,再加定时落盘去重校验。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

970

2023.08.02

java中boolean的用法
java中boolean的用法

在Java中,boolean是一种基本数据类型,它只有两个可能的值:true和false。boolean类型经常用于条件测试,比如进行比较或者检查某个条件是否满足。想了解更多java中boolean的相关内容,可以阅读本专题下面的文章。

366

2023.11.13

java boolean类型
java boolean类型

本专题整合了java中boolean类型相关教程,阅读专题下面的文章了解更多详细内容。

42

2025.11.30

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1561

2023.10.24

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

738

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

219

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1561

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号