本文探讨了在java中从文本文件读取数据并添加到`arraylist`时，如何有效避免重复元素的问题。通过对比使用`arraylist`的`contains()`方法和`set`集合的特性，详细阐述了利用`hashset`自动去重的优势，并提供了实际代码示例，旨在帮助开发者选择最适合的数据结构和策略，以确保集合中元素的唯一性，同时兼顾性能和代码简洁性。
Java集合中元素唯一性处理概述
在Java编程中，我们经常需要从外部源（如文本文件）读取数据并将其存储到集合中。ArrayList是常用的动态数组实现，但它允许存储重复元素。当业务需求要求集合中的元素必须是唯一时，我们需要采取特定的策略来防止重复数据的添加。本教程将深入探讨两种主要方法：利用ArrayList的contains()方法进行检查，以及使用Set接口的实现（如HashSet），后者天生就保证了元素的唯一性。
问题场景分析
假设我们有一个文本文件，其中包含一系列数字，我们需要将这些数字读取到一个列表中，但要求列表中不能有任何重复的数字。
// 原始尝试，旨在避免重复但可能存在问题或效率不高
// BufferedReader br = new BufferedReader(new FileReader("s.txt"));
// for (String line = br.readLine(); line != null; line = br.readLine()) {
// if(!listID.contains(Integer.parseInt(line))){
// listID.add(Integer.parseInt(line));
// }
// for(int i=0;i上述代码片段尝试在添加元素前使用listID.contains()方法进行检查。虽然这种方法在逻辑上是正确的，可以防止重复元素被添加到ArrayList中，但它可能存在以下问题：
-
性能问题： ArrayList的contains()方法在底层需要遍历整个列表来查找元素，其时间复杂度为O(n)。如果列表非常大，或者需要频繁地添加元素，这将导致性能显著下降。
-
代码冗余： 每次添加前都需要显式地进行检查，增加了代码的复杂性。
推荐方案：使用Set集合确保唯一性
Java集合框架提供了Set接口，其核心特性就是不允许包含重复元素。Set的常用实现包括HashSet、LinkedHashSet和TreeSet。对于需要快速查找和添加，且不关心元素顺序的场景，HashSet是最佳选择，因为它提供了平均O(1)的时间复杂度进行添加、删除和查找操作。
立即学习“Java免费学习笔记（深入）”；
以下是使用HashSet解决上述问题的示例代码：
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
public class UniqueElementsProcessor {
public static void main(String[] args) {
// 创建一个Set来自动处理元素的唯一性
Set uniqueIDs = new HashSet<>();
// 用于存储最终结果的List，如果需要保持插入顺序或转换为List类型
List finalIDList = new ArrayList<>();
try (BufferedReader br = new BufferedReader(new FileReader("s.txt"))) {
String line;
while ((line = br.readLine()) != null) {
try {
// 将字符串转换为整数
int id = Integer.parseInt(line.trim());
// Set的add方法在元素已存在时会返回false，否则返回true并添加元素
uniqueIDs.add(id);
// 如果需要在处理过程中对每个唯一的ID执行操作，可以这样：
// if (uniqueIDs.add(id)) { // 只有当元素是新添加时才执行
// // do stuff with the new unique id
// }
} catch (NumberFormatException e) {
System.err.println("跳过无效数字行: " + line);
}
}
} catch (IOException e) {
System.err.println("读取文件时发生错误: " + e.getMessage());
e.printStackTrace();
}
// 如果最终需要一个List而不是Set，可以将Set转换为List
finalIDList.addAll(uniqueIDs);
// 打印结果以验证
System.out.println("去重后的ID列表: " + finalIDList);
System.out.println("列表大小: " + finalIDList.size());
// 可以在这里对finalIDList进行后续操作
for (int id : finalIDList) {
// do stuff with each unique id
System.out.println("处理ID: " + id);
}
}
} 代码解析：
-
Set
uniqueIDs = new HashSet(); : 我们首先声明并初始化一个HashSet。HashSet是Set接口的一个实现，它使用哈希表来存储元素，保证元素的唯一性。当尝试添加一个已经存在的元素时，add()方法会返回false并且不会重复添加该元素。
-
uniqueIDs.add(id);: 在循环中，我们直接将从文件中读取并转换后的id添加到uniqueIDs这个HashSet中。HashSet会自动处理重复项，确保每个元素只存储一次。
-
finalIDList.addAll(uniqueIDs);: 如果最终的业务逻辑需要一个List类型的数据（例如，因为List支持索引访问，或者需要保持某种特定顺序），可以在所有元素都被添加到Set之后，将Set中的所有元素一次性添加到ArrayList中。HashSet本身不保证元素的顺序，如果需要保持插入顺序，可以使用LinkedHashSet；如果需要自然排序，可以使用TreeSet。
ArrayList.contains()与Set的对比
特性
ArrayList + contains()
Set (例如HashSet)
唯一性
需要手动检查并控制
自动保证元素的唯一性
性能
contains()操作的时间复杂度为O(n)，添加元素为O(1)
add()操作的平均时间复杂度为O(1)
代码简洁
需要额外的if判断
直接调用add()方法即可
适用场景
列表较小，或对元素唯一性要求不严格，且需要保持插入顺序和索引访问
对元素唯一性有严格要求，性能是关键，不关心元素插入顺序
注意事项
-
自定义对象唯一性： 如果集合中存储的是自定义对象而不是基本类型包装类，那么需要正确重写对象的equals()和hashCode()方法，Set才能正确判断对象的唯一性。HashSet依赖这两个方法来确定两个对象是否相等。
-
选择合适的Set实现：
- HashSet：性能最佳，不保证元素顺序。
- LinkedHashSet：保持元素的插入顺序，性能略低于HashSet。
- TreeSet：对元素进行自然排序或通过Comparator进行自定义排序，性能通常低于HashSet和LinkedHashSet。
-
错误处理： 在从文件读取数据并进行类型转换时，务必添加适当的异常处理（如NumberFormatException和IOException），以提高程序的健壮性。
总结
当需要在Java集合中存储唯一元素时，Set接口（特别是HashSet）是比手动使用ArrayList.contains()方法更高效、更简洁、更符合Java惯用法的选择。它不仅能自动处理重复项，还能在大多数操作中提供更好的性能。理解不同集合类型的特性并根据具体需求选择最合适的集合，是编写高效、健壮Java代码的关键。
