推荐使用jsoup库提取html链接，因其能解析复杂结构，而正则表达式易出错且难维护。1. jsoup通过解析html为dom树，支持css选择器定位元素，自动处理相对路径并提取绝对url，代码简洁可靠。2. 使用正则表达式提取链接虽可行，但面对不规范html易失效，需处理引号、属性顺序、嵌套结构等问题，不推荐用于复杂场景。3. jsoup自动处理相对路径和编码问题，解析时可指定基准url和字符集，确保提取链接的完整性和正确性。
要用Java从HTML里提取链接，主要就两种主流办法：正则表达式和Jsoup库。简单来说，Jsoup更可靠，更推荐，因为它能像浏览器一样解析HTML，处理各种复杂和不规范的网页结构；而正则表达式虽然直接，但面对HTML这种非正则语言，很容易出错且难以维护。
解决方案
说起从HTML里抠链接，我个人经验是，Jsoup几乎是首选，除非你的需求极其简单，或者你对正则表达式有种近乎偏执的爱。
使用Jsoup提取URL
立即学习“Java免费学习笔记（深入）”；
Jsoup是一个非常强大的Java库，它提供了一套非常方便的API来解析、操作和遍历HTML文档。它的核心在于将HTML解析成一个DOM树，然后你就可以用CSS选择器或DOM遍历方法来定位元素。
首先，你需要在你的项目里引入Jsoup依赖。如果你用Maven，大概是这样：
org.jsoup jsoup 1.17.2
接着，代码实现起来就挺直观了。无论是从URL加载还是从字符串解析，Jsoup都能搞定。
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.util.HashSet;
import java.util.Set;
public class JsoupLinkExtractor {
public static Set extractLinksFromUrl(String url) throws IOException {
Set links = new HashSet<>();
try {
// 连接到URL并获取文档
Document doc = Jsoup.connect(url)
.timeout(5000) // 设置超时时间
.userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36") // 模拟浏览器User-Agent
.get();
// 使用CSS选择器选择所有带有href属性的标签
Elements linkElements = doc.select("a[href]");
for (Element link : linkElements) {
// 获取原始href属性值
String href = link.attr("href");
// 获取绝对URL，Jsoup会自动处理相对路径
String absUrl = link.absUrl("href");
// 你可以根据需求选择存储href或absUrl
if (!absUrl.isEmpty()) { // 确保链接不为空
links.add(absUrl);
} else if (!href.isEmpty()) {
// 对于某些特殊情况，absUrl可能为空，但href不为空，可以考虑手动处理或忽略
links.add(href);
}
}
} catch (IOException e) {
System.err.println("从URL提取链接时发生错误: " + url + " - " + e.getMessage());
throw e; // 抛出异常或进行更细致的错误处理
}
return links;
}
public static Set extractLinksFromString(String htmlContent, String baseUrl) {
Set links = new HashSet<>();
// 从字符串解析HTML
Document doc = Jsoup.parse(htmlContent, baseUrl);
Elements linkElements = doc.select("a[href]");
for (Element link : linkElements) {
String absUrl = link.absUrl("href");
if (!absUrl.isEmpty()) {
links.add(absUrl);
}
}
return links;
}
public static void main(String[] args) {
// 示例：从URL提取
String testUrl = "https://www.example.com/"; // 换成你自己的测试URL
try {
Set extractedLinks = extractLinksFromUrl(testUrl);
System.out.println("从 " + testUrl + " 提取的链接：");
extractedLinks.forEach(System.out::println);
} catch (IOException e) {
System.out.println("无法连接到 " + testUrl);
}
System.out.println("\n---");
// 示例：从HTML字符串提取
String htmlString = "" +
"Page 1" +
"Google" +
"Section" +
"@@##@@" + // 确保只提取a标签
"";
String base = "http://www.testsite.com";
Set stringLinks = extractLinksFromString(htmlString, base);
System.out.println("从HTML字符串提取的链接 (基准URL: " + base + "):");
stringLinks.forEach(System.out::println);
}
} 使用Java正则表达式提取URL
如果你坚持用正则，那也可以，但得知道它的局限性。HTML不是一个“正则语言”，这意味着它不能被简单的正则表达式完全解析。不过，对于非常规整或者你确定结构的HTML片段，正则也能凑合用。
这里给一个相对常用的正则表达式，用于匹配，正则很难正确处理这种嵌套结构。一旦HTML文档的结构稍微变动，你的正则表达式可能就彻底失效了。这种脆弱性在实际项目中是灾难性的。
所以，业界有个很流行的说法：“如果你用正则表达式解析HTML，那么你现在有两个问题了。”第一个问题是你需要解析HTML，第二个问题是你决定用正则表达式。这并不是在贬低正则表达式，它在处理字符串模式匹配上非常强大，只是HTML这种复杂的结构，超出了它的能力范围。
Jsoup在处理复杂HTML结构时有哪些优势？
Jsoup之所以能成为Java世界里解析HTML的“瑞士军刀”，主要就是因为它在处理复杂HTML结构方面有着天生的优势。它不像正则表达式那样，只盯着字符串的字面模式，而是真正地“理解”HTML。
首先，Jsoup会把HTML解析成一个DOM（文档对象模型）树。这就像把一堆散乱的积木按照它们的连接方式，搭成一个完整的房子。一旦有了这棵树，你就能用类似浏览器开发者工具里的CSS选择器来定位任何元素。比如，你想找所有href为"]*href\\s*=\\s*['\"]([^'\"]*)['\"][^>]*>"的标签下的链接，Jsoup可以直接>。这比你用正则去写一长串复杂的模式要清晰、直观太多了。
其次，Jsoup对不规范的HTML有很强的容错能力。我们都知道，很多网页的HTML代码并不总是那么“干净”，可能缺少闭合标签，或者标签嵌套错误。Jsoup在解析时，会尽量模拟浏览器，对这些不规范的地方进行修复和纠正，最终生成一个可用的DOM树。这意味着你不需要担心目标网站的HTML写得不够标准，Jsoup会帮你搞定大部分麻烦。
再者，Jsoup提供了非常方便的DOM遍历和操作API。你可以轻松地获取元素的属性、文本内容，或者向上、向下、同级地遍历元素。比如，拿到一个链接元素后，你可以直接href=获取链接，'获取链接文本。它甚至支持修改DOM树，然后重新输出HTML，这在某些场景下非常有用。
最后，Jsoup还内置了对绝对URL处理的支持。当你的HTML里包含相对路径的链接（比如"），Jsoup的href方法能自动帮你拼接成完整的绝对URL，省去了你手动处理基准URL和相对路径的麻烦。这个功能在爬虫和数据提取中尤其重要。
如何处理提取链接时的常见问题，如相对路径或编码问题？
在实际从网页提取链接的过程中，确实会遇到一些小麻烦，最常见的就是相对路径和编码问题。不过别担心，Jsoup都提供了优雅的解决方案。
1. 相对路径问题：
很多网页的链接并不是完整的URL，而是相对于当前页面或网站根目录的相对路径，比如href或者。如果你直接提取这些路径，它们是无法直接访问的。Jsoup对此有非常好的支持。
当你使用方法从HTML字符串解析时，第二个参数就非常关键。Jsoup会用这个作为基准，来解析HTML中所有的相对路径。
而如果你是从一个URL加载HTML（比如），Jsoup会自动将这个作为基准URL。
无论哪种情况，一旦class对象被创建，你就可以直接使用product-title方法来获取任何属性（包括h2、doc.select("h2.product-title a")等）的绝对URL。
import java.util.HashSet;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class RegexLinkExtractor {
public static Set extractLinks(String htmlContent) {
Set links = new HashSet<>();
// 匹配标签中href属性的正则表达式
// 注意：这个正则很脆弱，对不规范的HTML可能无效
String regex = "]*href\\s*=\\s*['\"]([^'\"]*)['\"][^>]*>";
Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE); // 忽略大小写
Matcher matcher = pattern.matcher(htmlContent);
while (matcher.find()) {
String link = matcher.group(1); // group(1)是捕获组，即href的值
links.add(link);
}
return links;
}
public static void main(String[] args) {
String html = "" +
"Product 1" +
"About Us" +
"Contact" + // 单引号href
"Some text here.
" +
"Do Nothing" + // 这种链接可能需要过滤
"";
Set extractedLinks = extractLinks(html);
System.out.println("通过正则表达式提取的链接：");
extractedLinks.forEach(System.out::println);
}
} linkElement.attr("href")方法是Jsoup的一大亮点，它省去了我们自己写逻辑来拼接URL的麻烦，而且处理得非常健壮。
2. 编码问题：
网页的字符编码是一个老生常谈的问题。如果Jsoup解析HTML时使用的编码与网页实际编码不符，你提取到的中文或其他非ASCII字符可能会变成乱码。
Jsoup在连接和解析HTML时，会尝试自动检测编码。它会检查HTTP响应头中的linkElement.text()字段（例如/images/logo.png），以及HTML内部absUrl("href")标签或/products/item1。
如果自动检测失败，或者你明确知道网页的编码，你可以在连接时指定：
// 假设我们从一个HTML字符串中提取链接 String htmlContent = "Relative Link" + "Another Relative"; String baseUrl = "http://www.example.com/base/"; // 这是你的基准URL Document doc = Jsoup.parse(htmlContent, baseUrl); Elements links = doc.select("a[href]"); for (Element link : links) { String relativeHref = link.attr("href"); // 得到 "/relative/path" String absoluteUrl = link.absUrl("href"); // 得到 "http://www.example.com/relative/path" System.out.println("相对路径: " + relativeHref + " -> 绝对路径: " + absoluteUrl); }
通常情况下，Jsoup的自动检测已经做得相当不错了。但如果遇到乱码，首先检查HTTP响应头和HTML内部的编码声明，然后尝试手动指定编码。这是一个排查乱码问题的有效途径。
总的来说，Jsoup在这些细节处理上考虑得很周到，这也是它在实际应用中如此受欢迎的原因。
// 从URL加载并指定编码
Document doc = Jsoup.connect("http://example.com/chinese-page.html")
.timeout(5000)
.charset("GBK") // 明确指定编码
.get();
// 从字符串解析并指定编码
String htmlString = new String(someByteArray, "GBK"); // 假设你从某个地方获取到字节流
Document docFromString = Jsoup.parse(htmlString, "http://example.com/", Charset.forName("GBK")); 
