本教程详细介绍了如何使用python的`csv`模块对csv文件进行数据清洗和格式转换。内容涵盖了如何删除特定行、替换数据字段内的字符、更改文件分隔符以及实现utf-16到utf-8的编码转换。通过逐行处理数据，本教程提供了一个高效且内存友好的解决方案，并纠正了常见的编程错误，旨在帮助用户构建健壮的csv处理脚本。
引言：CSV文件处理的常见挑战
在数据处理工作中，CSV（逗号分隔值）文件因其简洁性而广泛应用。然而，由于数据来源的多样性，我们经常需要对CSV文件进行清洗、格式化和编码转换。这可能包括删除不必要的行、统一分隔符、替换特定字符，以及处理不同的文件编码。本教程将通过一个具体的案例，详细讲解如何利用Python的csv模块高效地完成这些任务。
核心需求分析
假设我们有一个名为input.csv的CSV文件，需要对其进行以下转换以生成一个新的output.csv文件：
- 删除前导无效行： 移除文件开头的一些空行或包含无效数据的行（例如，只有连字符的行）。
- 添加新文件头： 在输出文件中加入自定义的列标题。
- 更改分隔符： 将原始的逗号(,)分隔符替换为分号(;)。
- 替换字段内字符： 将数据字段中所有的连字符(-)替换为分号(;)。
- 编码转换： 将原始文件的UTF-16编码转换为UTF-8编码。
- 生成新文件： 在保留原文件的同时，创建一个处理后的新文件。
Python csv模块基础
Python内置的csv模块是处理CSV文件的强大工具。它能够妥善处理各种分隔符、引号规则和换行符，避免了手动解析文本可能遇到的复杂问题。
- csv.reader(file_object, delimiter)：用于读取CSV文件，delimiter参数指定输入文件的分隔符。
- csv.writer(file_object, delimiter, newline='')：用于写入CSV文件，delimiter参数指定输出文件的分隔符。newline=''是推荐设置，用于防止在Windows系统上写入额外的空行。
解决方案：逐步实现CSV文件转换
我们将构建一个Python脚本，以流式处理的方式（即逐行读取和写入）来完成上述所有需求，从而避免将整个文件加载到内存中，这对于处理大型文件尤其重要。
立即学习“Python免费学习笔记（深入）”；
1. 文件打开与编码处理
首先，我们需要同时打开输入文件和输出文件。输入文件使用其原始编码（UTF-16），而输出文件则指定为目标编码（UTF-8）。使用单个with语句管理多个文件句柄是最佳实践，确保文件在处理完成后被正确关闭。
import csv
input_file_path = 'input.csv'
output_file_path = 'output.csv'
new_header = ['column1', 'column2', 'column3', 'column4', 'column5', 'column6', 'column7', 'column8']
with open(input_file_path, 'r', encoding="utf-16") as read_file, \
open(output_file_path, 'w', newline='', encoding="utf-8") as write_file:
reader = csv.reader(read_file, delimiter=",")
writer = csv.writer(write_file, delimiter=";")
# 写入新文件头
writer.writerow(new_header)
# 后续处理逻辑将在此处添加2. 过滤无效行
原始文件可能包含空行、只有连字符的行或其他无效数据。一种简单而有效的方法是检查行的字段数量。如果一行没有逗号分隔符，csv.reader通常会将其解析为一个只包含一个元素的列表（即原始行内容作为一个字段）。我们可以利用这个特性来过滤掉这些不含有效数据的行。
# ... (前面的文件打开和writer.writerow代码)
for row in reader:
# 过滤掉只有单个字段的行，这些行通常是空行或不含分隔符的无效行
if len(row) == 1 and not row[0].strip(): # 进一步检查是否为空字符串
continue
# 也可以根据更具体的模式过滤，例如只包含连字符的行
# if len(row) == 1 and all(c == '-' for c in row[0].strip()):
# continue
# 假设前10行是无效的，也可以使用enumerate硬编码跳过
# if reader.line_num <= 10: # line_num从1开始计数
# continue
# 后续的数据处理和写入逻辑将在此处添加3. 数据字段内字符替换与写入
在处理每一行数据时，我们需要遍历该行的每个字段，并将字段内的连字符(-)替换为分号(;)。这可以通过列表推导式高效完成。完成替换后，将新行写入输出文件。
# ... (前面的文件打开、writer.writerow和过滤逻辑)
for row in reader:
# 过滤逻辑 (同上)
if len(row) == 1 and not row[0].strip():
continue
# 替换数据字段中的连字符
new_row = [field.replace('-', ';') for field in row]
# 将处理后的行写入输出文件
writer.writerow(new_row)完整示例代码
将以上所有步骤整合，形成一个完整的Python脚本：
import csv
def process_csv_file(input_path, output_path, new_header_columns):
"""
处理CSV文件，执行以下操作：
1. 删除前导无效行（基于字段数量判断）。
2. 添加新的文件头。
3. 更改分隔符从逗号(,)到分号(;)。
4. 替换数据字段中所有的连字符(-)为分号(;)。
5. 转换文件编码从UTF-16到UTF-8。
Args:
input_path (str): 输入CSV文件的路径。
output_path (str): 输出CSV文件的路径。
new_header_columns (list): 包含新文件头列名的列表。
"""
try:
with open(input_path, 'r', encoding="utf-16") as read_file, \
open(output_path, 'w', newline='', encoding="utf-8") as write_file:
reader = csv.reader(read_file, delimiter=",")
writer = csv.writer(write_file, delimiter=";")
# 1. 写入新文件头
writer.writerow(new_header_columns)
# 2. 逐行读取、过滤、处理和写入
for row in reader:
# 过滤逻辑：跳过空行或只有单个字段（且内容为空或全为连字符）的行
# 这种过滤方式假设有效数据行至少包含两个字段
# 或者包含非空白的单个字段
if len(row) == 0: # 真正的空行，csv.reader可能解析为[]
continue
if len(row) == 1 and not row[0].strip(): # 只有一个字段且内容为空白
continue
if len(row) == 1 and all(c == '-' for c in row[0].strip()): # 只有一个字段且全为连字符
continue
# 3. 替换数据字段中的连字符
processed_row = [field.replace('-', ';') for field in row]
# 4. 写入处理后的行
writer.writerow(processed_row)
print(f"CSV文件处理完成：'{input_path}' 已转换为 '{output_path}'")
except FileNotFoundError:
print(f"错误：文件 '{input_path}' 未找到。")
except Exception as e:
print(f"处理文件时发生错误：{e}")
# 示例用法
input_csv_file = 'input.csv'
output_csv_file = 'output.csv'
custom_header = ['cars', 'Date', 'Daypart', 'Avg_000', 'Share'] # 根据实际数据调整列名
# 运行处理函数
process_csv_file(input_csv_file, output_csv_file, custom_header)
input.csv 示例内容 (用于测试上述代码):
empty line empty line empty line empty line empty line ------------------------------------ empty line empty line empty line cars,Date,Daypart,'000 (avg),Share (excluded: Other)) car1,2022-01-01,02:00-02:00,24.459,4.3 car1,2022-01-01,02:01-02:01,20.967,3.7 car1,2022-01-01,02:02-02:02,20.967,3.8 car1,2022-01-01,02:03-02:03,13.029,2.3 car1,2022-01-01,02:04-02:04,13.029,2.3 car1,2022-01-01,02:05-02:05,10.621,1.9 car1,2022-01-01,02:06-02:06,10.621,2.0 car1,2022-01-01,02:07-02:07,10.621,2.0 car1,2022-01-01,02:08-02:08,10.621,2.0
请注意，input.csv文件需要以UTF-16编码保存。
注意事项与最佳实践
-
错误处理：
- AttributeError: 'list' object has no attribute 'split'： 这个错误通常发生在尝试对一个列表对象调用字符串的split()方法时。例如，lines = list(); lines.split('-')。正确的做法是对列表中的每个字符串元素单独调用split()或replace()。
- ValueError: I/O operation on closed file.： 这个错误表明你试图在一个已经关闭的文件句柄上执行I/O操作。with open(...) as file:语句块会在代码块执行完毕后自动关闭文件。若要在块外部访问文件内容，需要将内容读取到内存变量中，或重新打开文件。本教程的流式处理方法通过在同一个with块中完成所有读写，有效避免了此问题。
内存效率： 本教程采用逐行处理的方式，即每次只读取一行、处理一行、写入一行。这种方法避免了将整个文件内容一次性加载到内存中，对于处理大型CSV文件至关重要，可以有效防止内存溢出。
-
灵活性： 过滤无效行的方法可以根据实际情况进行调整。除了检查len(row)，还可以：
- 基于行号： 使用enumerate或reader.line_num跳过固定的前N行。
- 基于内容模式： 使用正则表达式检查行内容是否符合特定模式。
-
基于数据类型： 尝试将某些字段转换为预期的数据类型（如float或int），如果转换失败则跳过该行。例如：
try: _ = float(row[-1]) # 尝试将最后一列转换为浮点数 except ValueError: continue # 如果转换失败，则跳过此行
编码： 务必确保在打开文件时指定正确的encoding参数。如果原始文件编码不确定，可以尝试常见的编码（如utf-8、latin-1、gbk等），或使用chardet等库进行自动检测。
总结
通过本教程，我们学习了如何使用Python的csv模块高效、健壮地处理CSV文件。我们掌握了删除无效行、添加新文件头、更改分隔符、替换字段内字符以及转换文件编码的技巧。通过流式处理和正确的错误处理实践，我们可以构建出可靠且高性能的数据预处理脚本，以应对各种复杂的CSV数据处理需求。
