0

0

如何加速从 Elasticsearch 多索引中获取唯一值?

碧海醫心

碧海醫心

发布时间:2026-01-09 14:49:01

|

529人浏览过

|

来源于php中文网

原创

如何加速从 Elasticsearch 多索引中获取唯一值?

通过单次跨索引聚合(terms on `_index` + 子聚合 on `provider.keyword`),替代逐索引循环查询,可显著提升多索引去重查询性能。

在 Elasticsearch 中,当需要从上百个索引中提取某个字段(如 provider.keyword)的所有唯一值时,若采用“遍历每个索引 → 单独执行 terms 聚合 → 合并结果”的方式(即原始代码中的 for 循环),不仅会产生大量 HTTP 请求和网络开销,还会因重复初始化搜索上下文、分片协调及结果归并而严重拖慢响应速度。

更优解:使用跨索引聚合 + 嵌套聚合(Multi-level Aggregation)

Elasticsearch 支持对多个索引(甚至通配符或 _all)一次性执行聚合操作。关键优化点如下:

  • ✅ 使用 indices("_all") 或通配符索引名(如 "logs-*")发起单次请求,避免 N 次 round-trip;
  • ✅ 设置 .size(0) 禁用 hits 返回,仅关注聚合结果,减少序列化与传输开销;
  • ✅ 构建两级 terms 聚合:外层按 _index 分桶(便于后续区分来源),内层按 provider.keyword 分桶并自动去重;
  • ✅ 为两级聚合显式设置足够大的 .size()(如 100),防止高频值被截断(注意:ES 默认仅返回前 10 个 terms,需主动扩容)。

示例优化代码(Java High-Level REST Client):

遨虾
遨虾

1688推出的跨境电商AI智能体

下载
SearchRequest searchRequest = new SearchRequest();
searchRequest.indices("_all"); // 或更安全的 getIndicesPattern(),如 "myapp-202*-*" 

SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query(QueryBuilders.matchAllQuery()).size(0); // 关键:不返回文档内容

String aggregationIndexName = "by_index";
String aggregationProviderName = "by_provider";

searchSourceBuilder.aggregation(
    AggregationBuilders.terms(aggregationIndexName)
        .field("_index")
        .size(100) // 确保覆盖全部索引(索引数 ≤ 100)
        .subAggregation(
            AggregationBuilders.terms(aggregationProviderName)
                .field("provider.keyword")
                .size(1000) // 根据业务预估 provider 去重后数量,建议 ≥ 实际唯一值量级
        )
);

searchRequest.source(searchSourceBuilder);

SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

解析聚合结果(提取全部唯一 provider 值):

Terms indicesAgg = response.getAggregations().get(aggregationIndexName);
Set<String> allUniqueProviders = new HashSet<>();

for (Terms.Bucket indexBucket : indicesAgg.getBuckets()) {
    Terms providerAgg = indexBucket.getAggregations().get(aggregationProviderName);
    for (Terms.Bucket providerBucket : providerAgg.getBuckets()) {
        allUniqueProviders.add(providerBucket.getKeyAsString());
    }
}
// allUniqueProviders 即为全量去重后的 provider 列表

⚠️ 注意事项:

  • _all 在 ES 7.x+ 已弃用,生产环境推荐显式传入索引列表(如 client.indices().getAlias(...) 动态获取)或使用索引别名;
  • 若 provider.keyword 字段存在大量唯一值(>10k),需考虑启用 collect_mode: breadth_first 或调整 execution_hint,但通常 size=1000 已满足多数场景;
  • 确保 provider.keyword 字段已正确定义为 keyword 类型(而非 text),否则无法用于精确聚合;
  • 高并发下建议添加超时控制(searchRequest.requestOptions().withTimeout(...))并捕获 ElasticsearchStatusException。

综上,将 N 次独立聚合收敛为 1 次嵌套聚合,是提升多索引唯一值提取性能最直接、最有效的方式——既降低集群负载,又大幅缩短端到端延迟。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

483

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

448

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

3198

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2770

2024.08.16

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

48

2026.02.28

Golang 工程化架构设计:可维护与可演进系统构建
Golang 工程化架构设计:可维护与可演进系统构建

Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则,涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术,帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。

44

2026.02.28

Golang 性能分析与运行时机制:构建高性能程序
Golang 性能分析与运行时机制:构建高性能程序

Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面,深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略,并结合实际案例剖析 Go 程序的运行时行为,帮助开发者掌握构建高性能应用的关键技能。

37

2026.02.28

Golang 并发编程模型与工程实践:从语言特性到系统性能
Golang 并发编程模型与工程实践:从语言特性到系统性能

本专题系统讲解 Golang 并发编程模型,从语言级特性出发,深入理解 goroutine、channel 与调度机制。结合工程实践,分析并发设计模式、性能瓶颈与资源控制策略,帮助将并发能力有效转化为稳定、可扩展的系统性能优势。

22

2026.02.27

Golang 高级特性与最佳实践:提升代码艺术
Golang 高级特性与最佳实践:提升代码艺术

本专题深入剖析 Golang 的高级特性与工程级最佳实践,涵盖并发模型、内存管理、接口设计与错误处理策略。通过真实场景与代码对比,引导从“可运行”走向“高质量”,帮助构建高性能、可扩展、易维护的优雅 Go 代码体系。

19

2026.02.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.1万人学习

C# 教程
C# 教程

共94课时 | 10.5万人学习

Java 教程
Java 教程

共578课时 | 75.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号