0

0

Java中基于ID高效合并多个数据集并累加字段值的完整教程

霞舞

霞舞

发布时间:2026-02-05 18:46:18

|

934人浏览过

|

来源于php中文网

原创

Java中基于ID高效合并多个数据集并累加字段值的完整教程

本文介绍一种内存友好、时间复杂度为o(n)的java方案,使用hashmap按id索引并聚合多个sheet中的data对象,自动汇总amount1/amount2/amount3字段,确保所有id不丢失。

在实际业务场景(如Excel多表合并、报表聚合、ETL预处理)中,我们常需将多个来源的结构化数据(如不同Sheet)按唯一标识(如id)进行横向合并,并对数值字段做累加(sum)。若采用嵌套循环逐个查找匹配ID,时间复杂度将升至O(n²),且易遗漏或重复。更优解是利用哈希表实现单次遍历聚合——即以id为键构建累加缓存,边读边合并。

以下为推荐实现(已适配Lombok注解,兼容@Data和构造器):

import java.util.*;

public class DataMerger {

    public static List mergeSheetsBySum(Map> sheetMap) {
        // 使用 ID 作为 key,避免重复创建对象;value 存储当前累计的 Data 实例
        Map accumulator = new HashMap<>();

        // 遍历每个 Sheet(如 "sheet1", "sheet2", "sheet3")
        for (List dataList : sheetMap.values()) {
            for (Data data : dataList) {
                int id = data.getId();

                if (accumulator.containsKey(id)) {
                    // 已存在:累加各 amount 字段
                    Data existing = accumulator.get(id);
                    existing.setAmount1(existing.getAmount1() + data.getAmount1());
                    existing.setAmount2(existing.getAmount2() + data.getAmount2());
                    existing.setAmount3(existing.getAmount3() + data.getAmount3());
                } else {
                    // 首次出现:深拷贝(避免引用原对象导致副作用)
                    accumulator.put(id, Data.builder()
                            .id(data.getId())
                            .amount1(data.getAmount1())
                            .amount2(data.getAmount2())
                            .amount3(data.getAmount3())
                            .build());
                }
            }
        }

        // 转为 List 并返回(顺序不保证,如需有序可转为 TreeMap 或后续排序)
        return new ArrayList<>(accumulator.values());
    }
}

关键优化点说明

  • 时间效率:仅需一次全量遍历(O(N),N为所有Sheet中Data总数),远优于暴力搜索的O(N×M);
  • 内存安全:使用builder()或显式构造新实例,避免修改原始Data对象(尤其当原始列表被复用时);
  • ID完整性:HashMap天然去重+覆盖逻辑,确保任意Sheet中出现的ID均被保留,无遗漏;
  • 扩展友好:若后续增加amount4等字段,只需在累加块中补充一行,无需重构主干逻辑。

⚠️ 注意事项

千问APP
千问APP

阿里最强大模型官方AI助手

下载

立即学习Java免费学习笔记(深入)”;

  • 若原始Data类未提供Builder或不可变构造器,建议优先补全@Builder或添加带参构造函数;
  • 如需结果按ID升序排列,可在返回前添加:
    return accumulator.values().stream()
            .sorted(Comparator.comparingInt(Data::getId))
            .collect(Collectors.toList());
  • 对于超大数据集(百万级),可考虑ConcurrentHashMap配合并行流(但需注意累加操作的线程安全性,此处简单累加可用compute()方法替代if-else)。

综上,该方案兼顾简洁性、性能与健壮性,是Java中跨数据源ID级聚合的工业级实践范式。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

794

2023.08.22

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

589

2023.08.10

excel对比两列数据异同
excel对比两列数据异同

Excel作为数据的小型载体,在日常工作中经常会遇到需要核对两列数据的情况,本专题为大家提供excel对比两列数据异同相关的文章,大家可以免费体验。

1410

2023.07.25

excel重复项筛选标色
excel重复项筛选标色

excel的重复项筛选标色功能使我们能够快速找到和处理数据中的重复值。本专题为大家提供excel重复项筛选标色的相关的文章、下载、课程内容,供大家免费下载体验。

414

2023.07.31

excel复制表格怎么复制出来和原来一样大
excel复制表格怎么复制出来和原来一样大

本专题为大家带来excel复制表格怎么复制出来和原来一样大相关文章,帮助大家解决问题。

564

2023.08.02

excel表格斜线一分为二
excel表格斜线一分为二

在Excel表格中,我们可以使用斜线将单元格一分为二。本专题为大家带来excel表格斜线一分为二怎么弄的相关文章,希望可以帮到大家。

1249

2023.08.02

excel斜线表头一分为二
excel斜线表头一分为二

excel斜线表头一分为二的方法有使用合并单元格功能方法、使用文本框功能方法、使用自定义格式方法。本专题为大家提供excel斜线表头一分为二相关的各种文章、以及下载和课程。

370

2023.08.02

绝对引用的输入方法
绝对引用的输入方法

绝对引用允许在公式中引用一个固定的单元格,而不会随着公式的复制和粘贴而改变引用的单元格。本专题为大家提供绝对引用相关内容的文章,大家可以免费体验。

4531

2023.08.09

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

7

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 15.6万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号