如何使用Node.js csv 包按条件移除含空字段的CSV记录

const fs = require("fs");
const { parse } = require("csv"); // 确保安装了 'csv' 包

// 假设 csvFilePath 是您的CSV文件路径
const csvFilePath = "path/to/your/data.csv"; 

// 同步读取CSV文件内容
const csvData = fs.readFileSync(csvFilePath, "utf-8");

// 同步解析CSV数据
const parsedData = parse(csvData, {
   delimiter: ",",
   skip_empty_lines: true, // 跳过空行
   skip_records_with_error: true, // 跳过有错误的记录
   cast: function (val, ctx) {
      // 如果是标题行，直接返回原始值
      if (ctx.header) {
         return val;
      }

      // 如果值为空字符串，则返回 undefined
      if (!val.length) {
         return undefined;
      }

      // 根据字段索引进行类型转换
      switch (ctx.index) {
         case 0: // 假设第一个字段是日期
            return new Date(val);
         default: // 其他字段转换为保留两位小数的数字
            return Number(val).toFixed(2);
      }
   },
   columns: true, // 将每条记录解析为对象，以标题作为键
   trim: true, // 移除字段值两端的空白字符
});

if (!val.length) {
    return undefined;
}

// 筛选出不包含任何 undefined 值的记录
const filteredData = parsedData.filter(record => {
  // 获取记录对象的所有值，并检查是否所有值都不是 undefined
  return Object.values(record).every(value => value !== undefined);
});

// 最终的清洗后的数据
const filteredObject = filteredData;

// 现在可以使用 filteredObject 进行后续操作
console.log(filteredObject);

const fs = require("fs");
const { parse } = require("csv");

// 示例CSV文件内容 (假设存在于 data.csv)
// Header1,Header2,Header3
// 2023-01-01,10.50,20.00
// 2023-01-02,,30.00   <-- 此行将被移除 (Header2为空)
// 2023-01-03,40.00,
// ,50.00,60.00       <-- 此行将被移除 (Header1为空)
// 2023-01-04,70.00,80.00
// ,,,                 <-- 此行将被移除 (所有字段为空)

// 创建一个模拟的CSV文件路径和内容
const csvFilePath = "data.csv";
const sampleCsvContent = `Header1,Header2,Header3
2023-01-01,10.50,20.00
2023-01-02,,30.00
2023-01-03,40.00,
,50.00,60.00
2023-01-04,70.00,80.00
,,,`;

// 写入模拟CSV文件 (实际应用中您会读取现有文件)
fs.writeFileSync(csvFilePath, sampleCsvContent, "utf-8");

try {
    // 读取CSV文件内容
    const csvData = fs.readFileSync(csvFilePath, "utf-8");

    // 解析CSV数据
    const parsedData = parse(csvData, {
        delimiter: ",",
        skip_empty_lines: true,
        skip_records_with_error: true,
        cast: function (val, ctx) {
            if (ctx.header) {
                return val;
            }

            // 将空字符串转换为 undefined
            if (!val.length) {
                return undefined;
            }

            switch (ctx.index) {
                case 0:
                    return new Date(val);
                default:
                    return Number(val).toFixed(2);
            }
        },
        columns: true,
        trim: true,
    }, (err, records) => {
        if (err) {
            console.error("CSV解析错误:", err);
            return;
        }

        // 筛选出不包含任何 undefined 值的记录
        const filteredData = records.filter(record => {
            return Object.values(record).every(value => value !== undefined);
        });

        // 存储最终的过滤数据
        const finalProcessedData = filteredData;

        console.log("原始解析数据 (包含 undefined):", records);
        console.log("\n过滤后的数据 (移除含空字段的记录):", finalProcessedData);
    });

} catch (error) {
    console.error("处理CSV文件时发生错误:", error);
} finally {
    // 清理模拟文件
    fs.unlinkSync(csvFilePath);
}

原始解析数据 (包含 undefined): [
  { Header1: 2023-01-01T00:00:00.000Z, Header2: '10.50', Header3: '20.00' },
  { Header1: 2023-01-02T00:00:00.000Z, Header2: undefined, Header3: '30.00' },
  { Header1: 2023-01-03T00:00:00.000Z, Header2: '40.00', Header3: undefined },
  { Header1: undefined, Header2: '50.00', Header3: '60.00' },
  { Header1: 2023-01-04T00:00:00.000Z, Header2: '70.00', Header3: '80.00' },
  { Header1: undefined, Header2: undefined, Header3: undefined }
]

过滤后的数据 (移除含空字段的记录): [
  { Header1: 2023-01-01T00:00:00.000Z, Header2: '10.50', Header3: '20.00' },
  { Header1: 2023-01-04T00:00:00.000Z, Header2: '70.00', Header3: '80.00' }
]