0

0

如何通过物化视图降低大表COUNT(*)的开销_构建仅包含记录数统计的单行视图

P粉602998670

P粉602998670

发布时间:2026-03-10 21:06:03

|

680人浏览过

|

来源于php中文网

原创

物化视图不能直接替代 count(*),但在postgresql≥9.3、oracle、clickhouse等支持原生mv的系统中可实现近实时秒级计数;mysql等不支持者需用定时汇总表模拟。

物化视图能替代 count(\*) 吗?——取决于数据库是否支持原生 mv

不能直接替代,但 postgresql(≥9.3)、oracle、clickhouse 等支持原生物化视图的系统里,可以做到近乎实时的 count(*) 查询秒出;mysql 和早期 postgresql 则不支持,强行用普通视图或定时表模拟,反而容易数据过期或锁表。

关键判断点:查 pg_matviews(PostgreSQL)或 USER_MVIEWS(Oracle),如果查不到对应视图记录,说明不是真物化视图,只是个普通视图加了 CREATE MATERIALIZED VIEW 的名字而已。

  • PostgreSQL 需启用 postgres 扩展并用 REFRESH MATERIALIZED VIEW CONCURRENTLY 避免锁表
  • Oracle 要注意 ON COMMIT vs ON DEMAND 刷新策略:前者事务提交即更新,但写入压力大;后者需手动或调度 DBMS_MVIEW.REFRESH
  • ClickHouse 的 MATERIALIZED VIEW 实质是自动写入目标表的“管道”,不存原始数据,必须配合 ReplacingMergeTreeSummingMergeTree 才能正确聚合计数

只统计行数的单行物化视图怎么写?——别漏掉 GROUP BY 和唯一键约束

最简结构不是 SELECT COUNT(*) FROM big_table,而是必须带 GROUP BY 伪键(比如常量 1),否则某些数据库(如 PostgreSQL)拒绝创建物化视图,报错 materialized view must have a GROUP BY clause

示例(PostgreSQL):

CREATE MATERIALIZED VIEW mv_table_count AS
  SELECT 1 AS dummy_key, COUNT(*) AS row_count
  FROM huge_log_table
  GROUP BY 1;
  • dummy_key 是必需的:没有它,物化视图无法被 CONCURRENTLY 刷新(因为没主键/唯一键支撑差异比对)
  • 刷新时用 REFRESH MATERIALIZED VIEW CONCURRENTLY mv_table_count,否则默认会锁住整个视图,阻塞查询
  • 如果源表有频繁 DELETE/UPDATE,建议加 WHERE 过滤有效状态(如 status != 'deleted'),否则计数不准

为什么 COUNT(\*) 物化后还是慢?——检查底层执行计划和索引覆盖

物化视图本身快,不代表你查它就快。常见陷阱是:物化视图定义用了 COUNT(*),但源表没合适索引,导致每次 REFRESH 都全表扫描;或者查询时没走物化视图,优化器仍去算原始表。

Vozo
Vozo

Vozo是一款强大的AI视频编辑工具,可以帮助用户轻松重写、配音和编辑视频。

下载
  • PostgreSQL 中执行 EXPLAIN SELECT * FROM mv_table_count,确认 Seq Scan on mv_table_count —— 如果出现 Subquery Scan 或扫源表,说明物化视图没生效,可能因未 ANALYZE 或统计信息过旧
  • 源表至少要有主键或非空唯一索引,否则 PostgreSQL 物化视图刷新时无法高效定位变更行
  • 避免在物化视图上再套复杂逻辑,比如 SELECT row_count * 1.0 / (SELECT COUNT(*) FROM other_table) —— 分母又触发新扫描,白搭

MySQL 用户怎么办?——用定时汇总表 + REPLACE INTO 模拟

MySQL 没原生物化视图,硬上 CREATE VIEW 只是语法糖,每次查都重算 COUNT(*),毫无意义。

可行做法:建一张单行汇总表,用定时任务(EVENT 或外部 cron)更新:

CREATE TABLE table_count_summary (
  tbl_name VARCHAR(64) PRIMARY KEY,
  row_count BIGINT NOT NULL,
  updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);
REPLACE INTO table_count_summary (tbl_name, row_count)
SELECT 'huge_log_table', COUNT(*) FROM huge_log_table;
  • REPLACE INTOINSERT ... ON DUPLICATE KEY UPDATE 更简洁,前提是 tbl_name 是主键
  • 事件调度器开启:确保 SET GLOBAL event_scheduler = ON,否则事件不运行
  • 注意 SELECT COUNT(*) 在大表上仍会锁读(InnoDB 下是快照读,但可能触发大量 buffer pool 加载),建议在低峰期跑,或用近似值函数 TABLE_ROWS(来自 information_schema.TABLES),但误差可能达 10%~40%

真正难的不是建这个表,而是让所有业务代码改查它而不是原始表——漏掉一处,就前功尽弃。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

686

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

493

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

267

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

542

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

666

2023.08.14

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

4

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号