0

0

Java HTML内容清理与纯文本提取指南

碧海醫心

碧海醫心

发布时间:2025-11-12 16:40:01

|

902人浏览过

|

来源于php中文网

原创

Java HTML内容清理与纯文本提取指南

java中,直接通过字符串操作或正则表达式来移除html标签以提取纯文本是不可靠且容易出错的。本文将详细介绍如何利用专业的html解析库,如jsoup,以及java内置的dom api,安全高效地将html内容转换为纯文本,避免因html结构复杂或格式不规范而导致的解析问题。

为什么不推荐手动字符串处理或正则表达式?

尝试手动编写逻辑来剥离HTML标签,例如通过遍历字符来判断是否在标签内部,或者使用正则表达式,通常会遇到以下问题:

  1. HTML复杂性: HTML的结构远比简单的标签匹配复杂,它包含嵌套标签、属性、注释、CDATA区、特殊实体等。
  2. 非规范HTML: 实际生产环境中的HTML往往不完全符合规范,存在缺失的闭合标签、错误的嵌套等情况,手动逻辑难以健壮处理。
  3. 边缘情况: 例如,像<或>这样的字符如果不是标签的一部分,手动逻辑可能无法正确识别并保留或移除。
  4. 安全风险: 不正确的HTML剥离可能导致跨站脚本(XSS)攻击,因为恶意脚本可能通过巧妙构造的HTML绕过简单的过滤规则。

原始问题中提供的自定义stripHtml方法就是一个典型案例,它无法正确处理单独的<或>字符,因为其逻辑基于严格的<和>成对出现且内部内容才被移除的假设,这在面对不规范HTML时会失效。

推荐方案:使用专业HTML解析库

处理HTML最安全和最健壮的方法是使用专门的HTML解析库。这些库能够将HTML文档解析成一个结构化的DOM(文档对象模型)树,然后可以方便地遍历和提取所需内容。

1. 使用JSoup库提取纯文本

JSoup是一个非常流行的Java库,用于解析、操作和清理HTML。它提供了直观的API,并且能够很好地处理不规范的HTML。

立即学习Java免费学习笔记(深入)”;

步骤一:添加JSoup依赖

如果您使用Maven,请在pom.xml中添加以下依赖:

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.17.2</version> <!-- 请使用最新稳定版本 -->
</dependency>

如果您使用Gradle,请在build.gradle中添加:

implementation 'org.jsoup:jsoup:1.17.2' // 请使用最新稳定版本

步骤二:编写代码提取纯文本

JSoup的核心思想是将HTML解析为Document对象,然后通过text()方法即可获取文档中所有元素的纯文本内容,JSoup会自动处理标签、实体等。

Nanonets
Nanonets

基于AI的自学习OCR文档处理,自动捕获文档数据

下载
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class HtmlTextExtractor {

    /**
     * 使用JSoup从HTML字符串中提取纯文本。
     *
     * @param htmlContent 包含HTML标签的字符串
     * @return 提取出的纯文本内容
     */
    public static String extractPlainTextWithJsoup(String htmlContent) {
        if (htmlContent == null || htmlContent.trim().isEmpty()) {
            return "";
        }
        // 使用Jsoup解析HTML字符串
        Document doc = Jsoup.parse(htmlContent);
        // 获取文档中所有元素的文本内容,Jsoup会自动剥离标签并处理实体
        return doc.text();
    }

    public static void main(String[] args) {
        // 原始问题中的示例
        String input1 = "app<html>le";
        String input2 = "app<le";
        String input3 = "app>le"; // 模拟单独的'>'字符

        // 更多复杂HTML示例
        String input4 = "<div>Hello <b>World</b>! <a href='#'>Click here</a>   &copy; 2023</div>";
        String input5 = "<p>This is a paragraph.</p><!-- A comment --><br>Another line.";
        String input6 = "<span>No tags here.</span>";

        System.out.println("--- JSoup 提取纯文本示例 ---");
        System.out.println("输入: '" + input1 + "' -> 输出: '" + extractPlainTextWithJsoup(input1) + "'"); // 预期: 'apple'
        System.out.println("输入: '" + input2 + "' -> 输出: '" + extractPlainTextWithJsoup(input2) + "'"); // 预期: 'apple'
        System.out.println("输入: '" + input3 + "' -> 输出: '" + extractPlainTextWithJsoup(input3) + "'"); // 预期: 'apple'
        System.out.println("输入: '" + input4 + "' -> 输出: '" + extractPlainTextWithJsoup(input4) + "'"); // 预期: 'Hello World! Click here   © 2023' (注意空格和实体转换)
        System.out.println("输入: '" + input5 + "' -> 输出: '" + extractPlainTextWithJsoup(input5) + "'"); // 预期: 'This is a paragraph. Another line.'
        System.out.println("输入: '" + input6 + "' -> 输出: '" + extractPlainTextWithJsoup(input6) + "'"); // 预期: 'No tags here.'
    }
}

代码解析:

  • Jsoup.parse(htmlContent):这是核心步骤,JSoup会解析输入的HTML字符串,即使是格式不规范的HTML也能尽可能地构建出DOM结构。
  • doc.text():这个方法会遍历整个DOM树,提取所有文本节点的内容,并将其拼接成一个字符串。它会自动忽略HTML标签、注释、脚本等非文本内容,并正确处理HTML实体(如 会被转换为空格,©会被转换为©)。

2. 使用Java内置DOM API (结合HTML解析器)

Java标准库提供了org.w3c.dom包,用于处理XML和HTML文档。虽然DocumentBuilderFactory主要用于XML,但通过配置或结合其他库(如TagSoup),它也可以用于HTML解析。关键在于org.w3c.dom.Node接口提供的getTextContent()方法。

Node.getTextContent()方法说明:

根据Oracle官方API文档,Node.getTextContent()方法返回此节点及其后代的文本内容。它不会执行任何序列化,返回的字符串不包含任何标记。这意味着,如果一个节点是HTML元素,调用getTextContent()将返回该元素及其所有子元素内部的纯文本。

使用示例(概念性):

由于DocumentBuilderFactory直接解析HTML存在一些复杂性(特别是对于不规范HTML),通常我们会借助于像TagSoup这样的库来生成一个org.w3c.dom.Document对象。

// 假设您已经通过某种方式(例如使用TagSoup或自定义SAX解析器)
// 获得了一个 org.w3c.dom.Document 对象
// Document doc = ...; 

// 然后,您可以直接调用根元素的getTextContent()方法
// String plainText = doc.getDocumentElement().getTextContent();

// 或者,如果您只关心某个特定元素内的文本
// Element someElement = (Element) doc.getElementsByTagName("div").item(0);
// String divText = someElement.getTextContent();

注意事项:

  • 直接使用Java内置的XML解析器(如DocumentBuilderFactory)解析HTML通常需要额外配置(如设置setValidating(false)和setFeature("http://apache.org/xml/features/nonvalidating/load-external-dtd", false)),并且对不规范HTML的处理能力不如JSoup或TagSoup强大。
  • TagSoup是一个SAX-compliant的HTML解析器,它可以将HTML(即使是格式不规范的)解析成DOM树,然后可以利用Node.getTextContent()来提取文本。

注意事项与最佳实践

  1. 安全性优先: 当处理用户生成的内容时,剥离HTML标签是防止XSS攻击的重要步骤。但如果需要保留部分格式(如粗体、斜体),则应使用更复杂的HTML清理(Sanitization)库,例如JSoup的Cleaner类,它允许定义白名单标签和属性。
  2. 性能考量: 对于非常大的HTML文档,解析和构建完整的DOM树可能会消耗较多内存和CPU。在极端性能敏感的场景下,可以考虑使用基于SAX的流式解析器,但其编程复杂度会更高。对于大多数应用,JSoup的性能已经足够。
  3. 选择合适的工具
    • JSoup: 推荐用于大多数HTML解析、操作和纯文本提取场景,因为它功能强大、API友好且对不规范HTML有很好的容错性。
    • TagSoup: 如果您需要一个将HTML转换为标准XML DOM的SAX解析器,TagSoup是一个很好的选择,尤其是在与其他XML工具链集成时。
    • Java DOM API: 适合与现有的XML处理逻辑集成,但直接用于HTML解析时需要注意其对HTML规范性的要求。
  4. 文本清理: 提取纯文本后,可能还需要进行额外的文本清理,例如去除多余的空白字符(String.trim()或正则表达式replaceAll("\s+", " "))、换行符等,以获得更整洁的输出。

总结

在Java中安全、高效地从HTML中提取纯文本,应优先选择使用专业的HTML解析库,如JSoup。这些库能够正确处理HTML的复杂性和不规范性,避免了手动字符串操作或正则表达式带来的诸多问题和安全隐患。通过将HTML解析为DOM树并利用text()或getTextContent()等方法,可以轻松可靠地获取所需的纯文本内容。

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

531

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

258

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

766

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

219

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

357

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

293

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

245

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

547

2023.12.06

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

1

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
SQL 教程
SQL 教程

共61课时 | 4.3万人学习

Java 教程
Java 教程

共578课时 | 81.5万人学习

oracle知识库
oracle知识库

共0课时 | 0.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号