本文档旨在帮助开发者解决在使用 StringTokenizer 处理文本文件时遇到的首行读取问题。我们将探讨 StringTokenizer 的局限性，并提供一种更现代、更灵活的解决方案，使用 BreakIterator 和 Java 8 Stream API 从文本文件中提取所有单词，并将其存储到 ArrayList 中。
问题分析：StringTokenizer 的局限性
最初的代码尝试使用 BufferedReader 逐行读取文件，并使用 StringTokenizer 将每行分解为单词。然而，代码跳过了文件的第一行，因为在进入 while 循环之前调用了 reader.readLine() 一次。此外，StringTokenizer 在处理复杂的文本时可能不够灵活，例如包含标点符号或特殊字符的单词。
解决方案：BreakIterator 和 Java 8 Stream API
为了更有效地提取单词，我们可以使用 BreakIterator 类，它提供了用于定位文本中的单词边界的工具。结合 Java 8 Stream API，我们可以简化代码并提高可读性。
以下是使用 BreakIterator 和 Stream API 的示例代码：
import java.text.BreakIterator;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Stream;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.IOException;
public class WordCollector {
public static void main(String[] args) {
try {
List<String> words = WordCollector.getWords(Files.lines(Paths.get(args[0])));
System.out.println(words);
} catch (IOException e) {
System.err.println("Error reading file: " + e.getMessage());
e.printStackTrace();
} catch (Throwable t) {
t.printStackTrace();
}
}
public static List<String> getWords(Stream<String> lines) {
List<String> result = new ArrayList<>();
BreakIterator boundary = BreakIterator.getWordInstance();
lines.forEach(line -> {
boundary.setText(line);
int start = boundary.first();
for (int end = boundary.next(); end != BreakIterator.DONE; start = end, end = boundary.next()) {
String candidate = line.substring(start, end).replaceAll("\p{Punct}", "").trim();
if (candidate.length() > 0) {
result.add(candidate);
}
}
});
return result;
}
}代码解释：
-
getWords(Stream<String> lines) 方法：
- 接收一个 Stream<String> 对象，表示文件的所有行。
- 创建一个 ArrayList 来存储提取的单词。
- 使用 BreakIterator.getWordInstance() 获取一个用于查找单词边界的 BreakIterator 实例。
- 使用 lines.forEach() 遍历每一行。
- 对于每一行，使用 boundary.setText(line) 设置 BreakIterator 的文本。
- 使用 boundary.first() 获取第一个单词的起始位置。
- 使用一个 for 循环，通过 boundary.next() 迭代单词边界。
- 使用 line.substring(start, end) 提取候选单词。
- 使用 replaceAll("\p{Punct}", "") 删除标点符号。\p{Punct} 是一个正则表达式，匹配任何标点字符。
- 使用 trim() 删除前导和尾随空格。
- 如果候选单词的长度大于 0，则将其添加到结果列表中。
- 返回包含所有提取单词的 ArrayList。
-
main(String[] args) 方法：
- 使用 Files.lines(Paths.get(args[0])) 从命令行参数指定的文件中读取所有行，并创建一个 Stream<String> 对象。
- 调用 getWords() 方法来提取单词。
- 打印提取的单词。
- 处理 IOException 和其他 Throwable 异常。
使用方法：
- 将代码保存为 WordCollector.java。
- 使用 javac WordCollector.java 编译代码。
- 使用 java WordCollector <filename> 运行代码，其中 <filename> 是要处理的文本文件的名称。
注意事项和总结
- 此解决方案使用 BreakIterator 来更准确地识别单词边界，并使用 Java 8 Stream API 来简化代码。
- 使用 replaceAll("\p{Punct}", "") 可以删除标点符号，但您可以根据需要调整正则表达式以满足您的特定需求。
- 确保在 main 方法中正确处理异常，以避免程序崩溃。
- StringTokenizer 在简单场景下仍然可用，但在处理复杂文本时，BreakIterator 和 Stream API 提供了更强大和灵活的替代方案。
通过使用 BreakIterator 和 Stream API，您可以更有效地从文本文件中提取单词，并避免 StringTokenizer 带来的问题。此解决方案提供了更高的灵活性和可读性，使其成为处理文本数据的更好选择。
