本教程旨在指导您如何使用python高效处理结构不规范的csv文件，解决常见的清洗与转换问题。内容涵盖如何移除空行或特定格式的无效行、添加新文件头、更改数据分隔符、批量替换特定字符，以及进行文件编码转换。通过实用的代码示例和错误解析，帮助您掌握处理复杂csv数据的专业技巧，避免常见的i/o和数据类型错误。
在数据处理过程中，我们经常会遇到格式不规范的CSV文件。这些文件可能包含多余的空行、分隔符不一致、特定字符需要替换，甚至编码格式也与预期不符。直接使用这些数据往往会导致解析错误或数据处理逻辑混乱。例如，尝试在已关闭的文件对象上进行读写操作（ValueError: I/O operation on closed file.）或对不支持该方法的对象调用字符串方法（AttributeError: 'list' object has no attribute 'split'）是新手常犯的错误。
本教程将详细讲解如何使用Python的csv模块，结合文件I/O操作，高效且鲁棒地解决以下常见的CSV文件处理需求：
在深入解决方案之前，我们首先需要理解两个常见的错误，它们通常源于对Python文件操作和数据类型的不当使用：
这个错误通常发生在尝试对一个已经关闭的文件对象进行读写操作时。在Python中，使用with open(...) as file_object:语句可以确保文件在代码块执行完毕后自动关闭，即使发生异常也不例外。一旦with块结束，file_object就会被关闭，无法再进行I/O操作。
立即学习“Python免费学习笔记（深入）”；
错误示例：
with open('input.csv', 'r') as read_file:
# 在这里可以读取文件
lines = read_file.readlines()
# read_file 在此处已经关闭
for line in read_file: # 尝试再次读取，将导致 ValueError
print(line)正确做法： 确保所有对文件对象的读写操作都在with块内部完成，或者在文件关闭前将所需数据加载到内存中。
split()是一个字符串方法，用于根据指定的分隔符将字符串分割成一个字符串列表。这个错误表明您正在尝试对一个列表对象（而不是字符串对象）调用split()方法。
错误示例：
lines = [] # 这是一个列表
lines_ = lines.split('-') # 尝试对列表调用 split() 方法，将导致 AttributeError正确做法： 确保您是在字符串上调用split()方法。当处理CSV数据时，csv.reader会返回行（row）作为列表，列表中的每个元素都是一个字符串。如果需要对某个字段（即列表中的一个字符串元素）进行分割，应单独对其调用split()。
我们将采用一种高效且内存友好的方法，即逐行读取输入文件，处理后立即写入输出文件，而不是将所有数据一次性加载到内存中。
假设我们的input.csv文件包含以下内容：
empty line empty line ------------------------------------ cars,Date,Daypart,'000 (avg),Share (excluded: Other)) car1,2022-01-01,02:00-02:00,24.459,4.3 car1,2022-01-01,02:01-02:01,20.967,3.7
我们的目标是：
以下是实现上述所有需求的Python代码：
import csv
def process_csv_file(input_filepath, output_filepath, new_header):
"""
处理CSV文件，包括删除无效行、更改分隔符、替换字符和转换编码。
Args:
input_filepath (str): 输入CSV文件的路径。
output_filepath (str): 输出CSV文件的路径。
new_header (list): 新的标题行列表。
"""
try:
# 同时打开输入和输出文件，确保资源管理得当
# 注意：input.csv 假定为 UTF-16 编码
with open(input_filepath, 'r', encoding="utf-16") as read_file, \
open(output_filepath, 'w', newline='', encoding="utf-8") as write_file:
# 初始化 CSV 读取器，使用逗号作为原始分隔符
reader = csv.reader(read_file, delimiter=",")
# 初始化 CSV 写入器，使用分号作为新的分隔符
writer = csv.writer(write_file, delimiter=";")
# 1. 写入新的标题行
writer.writerow(new_header)
# 标记是否已跳过所有不需要的初始行
header_found = False
for row_number, row in enumerate(reader, start=1):
# 将每一行视为一个列表，row_number 从 1 开始
# 检查是否已找到有效数据行（即非空或非分隔线）
# 这里的逻辑是：如果行的字段数量小于等于1，则跳过
# 这可以有效跳过空行和只有分隔符的行（如 "-------------------"）
if len(row) <= 1:
continue # 跳过当前行，不写入输出文件
# 假设第一行有效数据是旧的标题行，我们需要跳过它
# 更通用的方法是检查行的内容，例如判断是否包含预期的数据类型
# 这里我们假设在跳过空行和分隔线后，第一行非空数据是旧的标题
if not header_found:
# 尝试更智能地识别数据行，例如检查最后一个字段是否可以转换为浮点数
# 如果不能，则可能是标题或无效行，继续跳过
try:
# 假设数据行的最后一个字段是数字
_ = float(row[-1])
header_found = True # 确认找到数据行
except (ValueError, IndexError):
continue # 不是有效数据行，跳过
# 确保我们已经跳过了所有初始的无效行和旧的标题行
if header_found:
# 4. 遍历当前行的每个字段，将连字符 '-' 替换为分号 ';'
# 使用列表推导式高效地创建新行
new_row = [field.replace('-', ';') for field in row]
# 写入处理后的行
writer.writerow(new_row)
print(f"文件 '{input_filepath}' 已成功处理并保存到 '{output_filepath}'")
except FileNotFoundError:
print(f"错误：文件 '{input_filepath}' 未找到。")
except Exception as e:
print(f"处理文件时发生错误：{e}")
# 定义输入和输出文件路径
input_file = 'input.csv'
output_file = 'output.csv'
# 定义新的标题行
custom_header = ['Column1', 'Column2', 'Column3', 'Column4', 'Column5', 'Column6', 'Column7', 'Column8']
# 调用函数进行处理
process_csv_file(input_file, output_file, custom_header)文件打开与编码处理：
CSV读取器与写入器：
写入新标题：
跳过无效行：
替换字段中的连字符：
错误处理：
通过本教程，我们学习了如何使用Python的csv模块和文件I/O操作，有效地清洗和转换结构不规范的CSV文件。我们不仅解决了删除特定行、更改分隔符、替换字符和转换编码等具体问题，还深入探讨了ValueError: I/O operation on closed file.和AttributeError: 'list' object has no attribute 'split'这两个常见错误的根源及规避方法。掌握这些技巧将使您能够更自信、更高效地处理实际数据清洗任务。
以上就是Python CSV文件清洗与转换：跳过无效行、替换字符与编码转换实战的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
947
收藏
