Python处理CSV文件：高效清除无效行、转换分隔符与编码

import csv

# 同时打开输入和输出文件，并指定各自的编码
with open('input.csv', 'r', encoding="utf-16") as read_file, \
     open('output.csv', 'w', newline='', encoding="utf-8") as write_file:
    # 后续的读取和写入操作将在此代码块内进行
    pass

import csv

with open('input.csv', 'r', encoding="utf-16") as read_file, \
     open('output.csv', 'w', newline='', encoding="utf-8") as write_file:
    # 配置CSV读取器：输入文件使用逗号作为分隔符
    reader = csv.reader(read_file, delimiter=",")
    # 配置CSV写入器：输出文件使用分号作为分隔符
    writer = csv.writer(write_file, delimiter=";")

    # 后续的数据处理逻辑

# ... (文件打开和reader/writer配置)

    # 定义新的头部
    new_header = ['column1', 'column2', 'column3', 'column4', 'column5', 'column6', 'column7', 'column8']
    # 写入新的头部到输出文件
    writer.writerow(new_header)

    # 后续的数据处理逻辑

# ... (文件打开和reader/writer配置)

    rows_to_skip = 10 # 假设要跳过前10行
    for row_number, row in enumerate(reader, start=1):
        if row_number <= rows_to_skip:
            continue # 跳过当前行
        # 处理有效行
        # ...

# ... (文件打开和reader/writer配置)

    writer.writerow(new_header) # 写入头部

    for row in reader:
        # 过滤掉空行或只有一个字段的行（通常是无效行，如全连字符行）
        # csv.reader会将 "-----------------" 解析为 ['-----------------']
        # 而空行可能解析为 [] 或 ['']
        if not row or len(row) == 1:
            continue

        # 处理有效行：字段内字符替换和写入
        # ...

# ... (文件打开和reader/writer配置)

    writer.writerow(new_header) # 写入头部

    for row in reader:
        # 假设我们要求最后一列必须是浮点数
        if not row or len(row) < 5: # 确保行至少有足够的列
            continue
        try:
            _ = float(row[-1]) # 尝试将最后一列转换为浮点数
        except ValueError:
            continue # 如果转换失败，则跳过此行

        # 处理有效行：字段内字符替换和写入
        # ...

# ... (文件打开和reader/writer配置)

    writer.writerow(new_header) # 写入头部

    for row in reader:
        # 过滤无效行 (这里使用方法二作为示例)
        if not row or len(row) == 1:
            continue

        # 对行中的每个字段执行字符替换：将连字符 '-' 替换为分号 ';'
        # 注意：这里的分号是字段内容的一部分，不是分隔符
        processed_row = [field.replace('-', ';') for field in row]

        # 将处理后的行写入输出文件
        writer.writerow(processed_row)

import csv

def process_csv_file(input_filename, output_filename, input_encoding="utf-16", output_encoding="utf-8"):
    """
    处理CSV文件，执行以下操作：
    1. 从UTF-16编码转换为UTF-8编码。
    2. 将逗号分隔符转换为分号分隔符。
    3. 添加新的头部。
    4. 过滤掉空行或只有一个字段的无效行。
    5. 将字段内的连字符'-'替换为分号';'。
    """

    # 定义新的头部
    new_header = ['cars', 'Date', 'TimeRange', 'AvgValue', 'Share'] # 根据示例数据调整列名

    with open(input_filename, 'r', encoding=input_encoding) as read_file, \
         open(output_filename, 'w', newline='', encoding=output_encoding) as write_file:

        reader = csv.reader(read_file, delimiter=",")
        writer = csv.writer(write_file, delimiter=";")

        # 写入新的头部
        writer.writerow(new_header)

        # 标志位，用于跳过文件开头的非数据行
        # 假设数据从包含 "cars,Date,Daypart" 的行开始
        data_start_found = False

        for row in reader:
            # 检查是否找到数据开始行
            if not data_start_found:
                # 假设数据行的第一个字段是 'cars'
                if row and row[0].strip().lower() == 'cars':
                    data_start_found = True
                    continue # 跳过原始头部行
                elif not row or len(row) == 1: # 过滤掉空行或只有单个元素的行
                    continue
                else: # 如果还没找到数据开始行，但也不是空行，继续跳过
                    continue

            # 确保行不是空的，并且包含有效数据
            if not row or len(row) == 1:
                continue

            # 对行中的每个字段执行字符替换：将连字符 '-' 替换为分号 ';'
            # 注意：这里的分号是字段内容的一部分，不是分隔符
            processed_row = [field.replace('-', ';') for field in row]

            # 将处理后的行写入输出文件
            writer.writerow(processed_row)

    print(f"文件 '{input_filename}' 已成功处理并保存为 '{output_filename}'")

# 运行示例
if __name__ == "__main__":
    process_csv_file('input.csv', 'output.csv')