0

0

如何使用Java开发文本统计分析工具_JavaMap计数实战解析

P粉602998670

P粉602998670

发布时间:2026-01-02 14:50:06

|

135人浏览过

|

来源于php中文网

原创

hashmap统计词频最直接,但需规范字符串:清洗标点、转小写、跳过空串,用merge方法计数;排序用treemap,保序用linkedhashmap;中文须分词,大文本需预设容量和流式处理。

如何使用java开发文本统计分析工具_javamap计数实战解析

HashMap 统计词频是最直接的方案,但要注意键的类型和字符串规范化

Java 中统计文本中单词出现次数,HashMap<string integer></string> 是最常用且够用的选择。关键不是“能不能用”,而是“怎么用才不出错”。常见坑是直接对原始单词调用 split(" ") 后就塞进 map,结果大小写、标点、空格不一致导致重复计数。比如 "Hello""hello," 会被当成两个词。

实操建议:

  • 先用正则 replaceAll("[^a-zA-Z0-9\s]", " ") 清洗标点,再 trim().split("\s+") 拆分(避免多个空格产生空字符串)
  • 统一转小写:word.toLowerCase(),否则 "The""the" 算两个键
  • 跳过空字符串和纯空白:if (word.isEmpty()) continue;
  • 计数逻辑推荐用 map.merge(word, 1, Integer::sum),比手动 get + put 更简洁且线程安全(单线程下也更少出错)

TreeMapLinkedHashMap 什么情况下该换?

默认用 HashMap 没问题,但输出需要排序或按输入顺序时就得换。注意:这不是性能优化,而是语义需求。

选型依据:

立即学习Java免费学习笔记(深入)”;

Favird No-Code Tools
Favird No-Code Tools

无代码工具的聚合器

下载
  • 要按字母序输出词频?用 TreeMap<string integer></string>,它天然按键排序,但插入慢一点(O(log n)),且不保留原始出现顺序
  • 要按单词首次出现顺序排列?用 LinkedHashMap,它保持插入序,遍历时顺序可预测;但需自己控制插入逻辑(比如首次遇到才 put
  • 如果只是最终排序一次再打印,别提前换 TreeMap —— 先用 HashMap 统计完,再转 List<map.entry>> + Collections.sort()</map.entry> 更灵活

中文文本统计不能直接套英文逻辑

中文没有空格分词,split(" ") 会整个字符串当一个词。必须引入分词环节,否则统计毫无意义。

轻量级方案(适合简单场景):

  • 用开源库如 hanlpik-analyzer,例如:
    Segment segment = HanLP.newSegment().enableNameRecognize(true);  
    List<Term> termList = segment.seg(text);  
    for (Term term : termList) {  
        String word = term.word.trim();  
        if (!word.isEmpty()) map.merge(word, 1, Integer::sum);  
    }
  • 不用第三方?至少做基础切分:按字符统计(text.chars().mapToObj(c -> String.valueOf((char)c))),适用于字频分析,但无法识别“人工智能”这种词
  • 注意编码:确保读取文件时指定 StandardCharsets.UTF_8,否则中文变乱码,HashMap 里存的全是错误键

大文本下 HashMap 的内存和性能临界点在哪?

几 MB 的文本没问题,但百 MB 以上或词表超 50 万项时,HashMap 默认初始容量(16)和负载因子(0.75)会导致频繁扩容,GC 压力明显。

可提前干预:

  • 预估词数:若知道文本约有 10 万个不同词,初始化时写 new HashMap(131072)(2 的幂,略大于 10w / 0.75)
  • 避免装箱开销:高频场景考虑用 IntObjectHashMap(来自 fastutil 库),key 还是 String,但 value 用原生 int,省去 Integer 对象创建
  • 流式处理:不要一次性 readAllBytes 加载全文,改用 BufferedReader.readLine() 分行处理,边读边统计,内存可控

真正卡住的往往不是 Map 本身,而是没意识到中文分词或文件编码这些前置环节已经让统计结果失真了。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1010

2023.08.02

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

846

2023.08.22

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

409

2023.09.04

java break和continue
java break和continue

本专题整合了java break和continue的区别相关内容,阅读专题下面的文章了解更多详细内容。

261

2025.10.24

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.3万人学习

C# 教程
C# 教程

共94课时 | 11.2万人学习

Java 教程
Java 教程

共578课时 | 81万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号