0

0

如何在 CSV 文件中查找指定数值模式并自动分类文件

心靈之曲

心靈之曲

发布时间:2026-01-16 13:27:09

|

237人浏览过

|

来源于php中文网

原创

如何在 CSV 文件中查找指定数值模式并自动分类文件

本文介绍如何使用 java 遍历目录下的 csv 文件,逐行解析并检测是否同时包含特定数值(如 50、500、5000),满足条件则将文件移至 `invalid_files` 目录,否则归入 `processed` 目录。

在数据处理自动化场景中,常需根据 CSV 内容特征对文件进行智能分拣。例如:当某 CSV 的 score 列中同时出现 50、500 和 5000 这三个值时,视为“含异常数值模式”,应归类为无效文件;否则视为正常待处理文件。以下是一个结构清晰、可维护性强的 Java 实现方案,基于 OpenCSV 库(v5.7+)构建。

✅ 核心设计原则

  • 职责分离:目录扫描、文件解析、条件校验、文件移动各由独立方法承担;
  • 条件可配置:通过 Predicate 列表定义匹配逻辑,支持任意数量/类型的数值约束;
  • 高效终止:一旦确认文件含全部目标值(即触发“无效”判定),立即退出循环,避免冗余解析;
  • 健壮路径处理:自动创建目标子目录(processed / invalid_files),规避 NoSuchFileException。

? 示例 CSV 结构(以分号分隔)

car;score;description
Opel;30;43
Volvo;500;434
Kia;50;3
Toyota;4;4
Mazda;5000;4

对应实体类(注意 position = 1 表示第二列 score):

X-Node企业快速建站1.0.6.0801
X-Node企业快速建站1.0.6.0801

特色介绍: 1、ASP+XML+XSLT开发,代码、界面、样式全分离,可快速开发 2、支持语言包,支持多模板,ASP文件中无任何HTML or 中文 3、无限级分类,无限级菜单,自由排序 4、自定义版头(用于不规则页面) 5、自动查找无用的上传文件与空目录,并有回收站,可删除、还原、永久删除 6、增强的Cache管理,可单独管理单个Cache 7、以内存和XML做为Cache,兼顾性能与消耗 8、

下载
import com.opencsv.bean.CsvBindByPosition;
import lombok.Data;

@Data
public class CsvLine {
    @CsvBindByPosition(position = 1)
    private BigDecimal value; // 对应 score 列
}

⚙️ 完整可运行代码

import com.opencsv.bean.CsvToBeanBuilder;
import lombok.Data;

import java.io.*;
import java.math.BigDecimal;
import java.nio.file.*;
import java.util.*;
import java.util.function.Predicate;
import java.util.stream.Collectors;

public class CsvPatternClassifier {

    public static void main(String[] args) throws IOException {
        // 1. 配置目录与过滤器
        File directory = Path.of("/path/to/your/csv/directory").toFile();
        FilenameFilter csvFilter = (dir, name) -> name.toLowerCase().endsWith(".csv");

        // 2. 定义“非法值”条件:若某行 score == 50/500/5000 → 触发无效判定
        List
> invalidValueConditions = List.of(
                eq(new BigDecimal("50")),
                eq(new BigDecimal("500")),
                eq(new BigDecimal("5000"))
        );

        // 3. 启动批量处理
        processDirectory(directory, csvFilter, invalidValueConditions);
    }

    public static void processDirectory(File directory, FilenameFilter filter,
                                        List
> invalidConditions) throws IOException {
        Path processedDir = createDirectory(Path.of(directory.getAbsolutePath(), "processed"));
        Path invalidDir = createDirectory(Path.of(directory.getAbsolutePath(), "invalid_files"));

        File[] files = directory.listFiles(filter);
        if (files == null) return;

        for (File file : files) {
            boolean isValid = isFileValid(file, invalidConditions);
            Path targetDir = isValid ? processedDir : invalidDir;
            moveFile(file, targetDir, StandardCopyOption.REPLACE_EXISTING);
        }
    }

    // 判定文件是否“有效”:即 —— 不同时包含所有非法值
    public static boolean isFileValid(File file, List
> invalidConditions) throws IOException {
        try (Reader reader = Files.newBufferedReader(file.toPath())) {
            List lines = new CsvToBeanBuilder(reader)
                    .withType(CsvLine.class)
                    .withSkipLines(1)     // 跳过表头
                    .withSeparator(';')   // 指定分隔符
                    .build()
                    .parse();

            Set foundInvalids = new HashSet<>();
            for (CsvLine line : lines) {
                if (line.getValue() == null) continue;
                // 检查当前值是否命中任一非法条件
                for (Predicate cond : invalidConditions) {
                    if (cond.test(line.getValue())) {
                        foundInvalids.add(line.getValue());
                        break;
                    }
                }
                // 一旦凑齐全部非法值,立即判定为无效文件
                if (foundInvalids.size() == invalidConditions.size()) {
                    return false;
                }
            }
        }
        return true; // 未集齐全部非法值 → 视为有效
    }

    // 工具方法:生成“等于某值”的谓词
    public static Predicate eq(BigDecimal target) {
        return value -> value != null && value.compareTo(target) == 0;
    }

    public static void moveFile(File file, Path targetDir, StandardCopyOption option) throws IOException {
        Files.move(file.toPath(), targetDir.resolve(file.getName()), option);
    }

    public static Path createDirectory(Path path) throws IOException {
        return Files.exists(path) ? path : Files.createDirectory(path);
    }
}

⚠️ 关键注意事项

  • 分隔符适配:示例使用 ;,若你的 CSV 是逗号分隔,请将 .withSeparator(';') 改为 .withSeparator(',');
  • 编码声明:若 CSV 含中文或特殊字符,建议显式指定编码:
    Files.newBufferedReader(file.toPath(), StandardCharsets.UTF_8)
  • 性能优化:对超大 CSV,可考虑流式解析(CsvParser)替代 CsvToBeanBuilder,避免全量加载内存;
  • 扩展性提示:如需支持“范围匹配”(如 score > 1000)或“正则匹配”,只需新增对应 Predicate 实现即可,无需修改主流程。

该方案彻底规避了原代码中因逻辑嵌套混乱、状态重置错误(如 found50 = false 位置不当)、资源重复关闭(br.close() 多次调用)导致的功能失效问题,兼具可读性、可测试性与生产就绪性。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

833

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

738

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

734

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

397

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

398

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

446

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

430

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

16926

2023.08.03

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

8

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 2.5万人学习

C# 教程
C# 教程

共94课时 | 6.8万人学习

Java 教程
Java 教程

共578课时 | 46.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号