0

0

Redis如何降低哈希等复合结构的内存消耗

P粉602998670

P粉602998670

发布时间:2026-03-13 09:04:31

|

851人浏览过

|

来源于php中文网

原创

哈希字段过多时,Redis会从ziplist升级为hashtable编码导致内存激增;应调低hash-max-ziplist参数、用HSCAN替代HGETALL、按访问模式决定是否拆分为string key,并避免线上CONFIG SET引发阻塞。

redis如何降低哈希等复合结构的内存消耗

哈希字段太多时,HSET 会悄悄吃掉大量内存

Redis 的哈希(hash)结构在字段数少、值小的时候很省空间,用的是 ziplist 编码;但一旦字段数超过 hash-max-ziplist-entries(默认 512)或任意字段值长度超过 hash-max-ziplist-value(默认 64 字节),就会升级成 hashtable 编码——内存占用直接翻几倍,还失去紧凑性。

常见错误现象:MEMORY USAGE 查一个只有 200 个字段的 hash,结果占了 20KB+;或者用 INFO memory 发现 used_memory_human 涨得快,但 dbX 的 key 数没变多。

  • 检查当前编码:OBJECT ENCODING your_hash_key,返回 hashtable 就已“膨胀”
  • 调低 hash-max-ziplist-entrieshash-max-ziplist-value(比如设为 128 / 32),让更小的 hash 继续走 ziplist
  • 注意:不能无限制压低,否则频繁 rehash 反而增加 CPU 开销;建议先用 redis-cli --bigkeys 找出真正“胖”的 hash 再针对性处理

HSCAN 替代 HGETALL 避免单次加载全量字段

HGETALL 把整个 hash 拷贝到客户端内存里,字段一多(比如上千个),不仅服务端序列化压力大,客户端也容易 OOM。这不是内存“存储”问题,而是“使用方式”引发的瞬时内存峰值。

典型场景:后台任务遍历用户属性 hash 做聚合,写成 HGETALL user:123 + for 循环处理,结果 Redis 实例 RSS 突增,慢日志里全是 HGETALL 超时。

  • 改用 HSCAN user:123 MATCH * COUNT 50 分批拉取,每次只处理几十个字段
  • COUNT 不是硬限制,只是提示,实际返回可能略多;别设太大(如 1000+),否则仍可能卡住连接
  • 如果业务允许最终一致性,可考虑把 hash 拆成多个小 hash(如 user:123:profileuser:123:settings),天然限宽

字符串替代哈希?看访问模式再决定

不是所有“多个字段”都该用 hash。如果字段之间从不一起读写,比如 user:123:nameuser:123:email 各自独立更新,那用独立 string key 反而更省内存——没有 hash 的元数据开销(dictEntry、sds header 等),还能按需过期、迁移。

Joker AIx
Joker AIx

一站式AI创意生产平台,覆盖图像、视频、音频、文案全品类创作

下载

性能影响明显:10 万个用户,每个用 1 个 hash 存 5 个字段 vs 拆成 5 个 string key,前者内存高约 18%(实测 6.2MB → 7.3MB),且 EXPIRE 必须整 hash 设,没法单独过期邮箱。

  • 适合保留 hash 的情况:HMGET/HMSET 高频、字段强关联(如商品 SKU 的 price/stock/status)、需要原子性批量操作
  • 适合拆成 string 的情况:字段生命周期不同(头像 URL 过期快,注册时间永不过期)、读写粒度极细(前端只查 name,从不碰 email)、key 总数可控(避免 key 数爆炸)
  • 别为了“结构清晰”硬套 hash——Redis 不是 MySQL,没有 schema 约束,存得散点没关系

CONFIG SET 动态调参有风险,上线前必须压测

hash-max-ziplist-entries 看似立竿见影,但线上直接 CONFIG SET 可能触发批量 rehash:Redis 会逐个检查现有 hash,符合条件的立刻转编码,期间阻塞主线程,QPS 断崖下跌。

错误做法:运维在凌晨发一条 CONFIG SET hash-max-ziplist-entries 64,然后去睡觉,早上发现监控里有 3 秒以上的 command 延迟 spike。

  • 新实例直接配 redis.conf,避免运行时变更
  • 老实例要调参,先用 DEBUG OBJECT key 抽样看目标 hash 的当前编码和字段分布,估算 rehash 量级
  • 如果已有大量 hashtable hash,不如新建一批小 hash,逐步迁移,比硬切配置更稳

最常被忽略的一点:内存节省是有代价的——ziplist 查询是 O(N),字段越多越慢;别为了省几百 KB 内存,把热点 hash 的平均延迟从 0.1ms 拉到 0.8ms。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

686

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

513

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

267

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

542

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

668

2023.08.14

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号