本文介绍在 Java 词法分析器中避免 System.out.println() 输出空行的两种专业实践：一是在生成 token 数组时预过滤空白元素，二是在打印前动态跳过空字符串，确保每行仅输出有效 token。
本文介绍在 java 词法分析器中避免 `system.out.println()` 输出空行的两种专业实践：一是在生成 token 数组时预过滤空白元素，二是在打印前动态跳过空字符串，确保每行仅输出有效 token。
在实现词法分析器（Lexer）时，一个常见但易被忽视的问题是：经过注释移除、正则切分和语义映射后，tokenizeLine() 方法可能生成包含空字符串（""）或仅含空白字符（如 " "）的 token 数组。当直接遍历并调用 System.out.println(token) 时，这些空白元素会触发换行，导致输出中出现大量冗余空行——正如示例输出中反复出现的孤立空行所示。
根本原因在于当前 tokenizeLine() 的切分逻辑（使用复杂正则 split()）和后续 replaceAll("\s+", "") 处理存在边界缺陷：
- split() 在连续分隔符或行首/行尾位置可能产生空字符串；
- replaceAll("\s+", "") 仅清空 token 内部空白，但无法消除原本就为空的数组元素；
- 后续 if-else 映射分支未对空字符串做防御性校验，导致空串被原样保留并最终输出。
✅ 推荐方案一：打印前过滤（简洁、低侵入、推荐初学者使用）
修改 Tokenize() 方法中的循环体，添加非空判断：
for (String token : tokens) {
if (!token.isBlank()) { // Java 11+ 推荐：isBlank() 同时检查 null、"" 和纯空白
System.out.println(token);
}
}⚠️ 注意：String.isBlank() 是 Java 11 引入的安全方法，比 !token.isEmpty() 或 !token.trim().isEmpty() 更健壮。若项目受限于 Java 8，可替换为 token != null && !token.trim().isEmpty()。
✅ 推荐方案二：预处理 token 数组（更彻底、适合生产环境）
在 tokenizeLine() 方法末尾，对结果数组进行流式过滤，彻底剔除无效元素：
import java.util.Arrays;
import java.util.function.Predicate;
// ... 在 tokenizeLine 方法内，return 语句前添加：
return Arrays.stream(tokens)
.filter(Predicate.not(String::isBlank))
.toArray(String[]::new);该方式从源头净化数据，使后续所有消费方（如语法分析器、调试日志、测试断言）均无需重复校验，提升代码健壮性与可维护性。
立即学习“Java免费学习笔记（深入）”；
? 额外优化建议：
- 当前 token.matches("...") 使用的是全匹配（^...$），但部分正则（如 "[++]"）存在转义歧义，建议统一改用 token.equals("++") 或预编译 Pattern 提升性能；
- removeComments() 中的块注释正则 "/\*.*?\*/" 在跨行场景下可能失效（因 DOTALL 仅影响 .，而 readLine() 已按行读取），需确保注释均位于单行内，否则应改用逐字符状态机解析；
- 最终错误提示 "SYNTAX ERROR: INVALID IDENTIFIER NAME" 被无条件打印，建议仅在检测到非法标识符时触发，避免干扰正常输出流。
通过上述任一方案，即可彻底消除输出中的空行，获得紧凑、规范的 token 序列，为后续语法分析奠定清晰基础。
