本文介绍如何使用 java stream api 高效处理百万级 person 数据，通过分组计数与流式排序，精准提取出现频次最高的 100 个 lastname 及其对应人数，避免全量排序开销。
在处理大规模数据（如数百万 Person 对象）时，盲目使用 Stream.sorted().limit(n) 容易引发性能陷阱——它会触发对整个数据集的完整排序，时间复杂度达 O(m log m)（m 为唯一姓氏数量），而我们真正需要的只是 Top-K（K=100）结果。正确的策略是“先聚合、再局部排序”，将计算分解为两个高效阶段：
✅ 第一阶段：按 lastName 分组计数（O(n) 时间）
利用 Collectors.groupingBy + Collectors.counting() 在单次遍历中完成频次统计，底层基于哈希表，平均时间复杂度为线性：
Map<String, Long> lastNameFrequencies = personList.stream()
.collect(Collectors.groupingBy(
Person::getLastName,
Collectors.counting()
));? 提示：确保 Person.getLastName() 方法已正确定义（非 null 安全场景下建议提前过滤 null 姓氏：.filter(p -> p.getLastName() != null)）。
✅ 第二阶段：对频次 Map 的 entrySet 流式 Top-K 提取（O(m log k)）
不排序全部条目，而是仅对 entrySet() 流进行 sorted(...).reversed().limit(100) —— JVM 通常可优化为堆式 Top-K（虽未强制保证，但实践中 limit(n) 与 sorted 组合在多数实现中具备良好剪枝行为）。关键在于结果收集时需保持插入顺序：
Map<String, Long> top100LastNames = lastNameFrequencies.entrySet().stream()
.sorted(Map.Entry.<String, Long>comparingByValue().reversed())
.limit(100)
.collect(Collectors.toMap(
Map.Entry::getKey,
Map.Entry::getValue,
(v1, v2) -> v1, // 冲突保留前者（实际不会发生，因 key 唯一）
LinkedHashMap::new // 确保结果按排序顺序存储
));⚠️ 注意事项与优化建议
- 内存友好性：整个流程仅需两轮遍历（一次原始列表、一次频次 Map），空间复杂度为 O(u)，u 为唯一 lastName 数量（远小于原始数据量）。
- 避免常见错误：切勿写成 personList.stream().sorted(...).map(...).limit(100) —— 这会导致对百万对象排序，严重低效。
- 扩展性增强：若需支持动态 Top-K 或后续复用频次数据，可将 lastNameFrequencies 缓存为 ConcurrentHashMap（多线程安全）或封装为不可变 Map.copyOf(...)。
-
Null 安全增强（推荐）：
.filter(p -> p.getLastName() != null && !p.getLastName().trim().isEmpty())
综上，Stream 并非“天生低效”，其性能取决于是否契合数据处理语义。本方案以“分组聚合 → 键值排序 → 截断收集”三步范式，兼顾代码简洁性与工业级性能，是处理海量离散统计类任务的标准实践。
立即学习“Java免费学习笔记（深入）”；
