python处理csv文件最高效的方式是使用内置csv模块。1. 读取csv文件可使用csv.reader将每行解析为列表，或使用csv.dictreader将每行转为字典，便于通过字段名访问数据；2. 写入csv文件可使用csv.writer写入列表数据，或使用csv.dictwriter写入字典数据，并支持自动写入表头；3. 处理大型csv文件时应逐行迭代，避免一次性加载全部数据至内存；4. 编码问题可通过open()函数指定encoding参数解决，读取时需匹配文件实际编码，写入时推荐使用utf-8-sig防止乱码；5. csv模块支持自定义分隔符（delimiter）、引用字符（quotechar）、引用策略（quoting）、双引号转义（doublequote）及跳过空格（skipinitialspace），以适应非标准格式的csv文件。
Python处理CSV文件，最直接且高效的方式就是利用其内置的csv模块。这个模块提供了一套完善的工具集，能够轻松应对CSV文件的读写操作，无论是简单的文本数据还是需要特殊处理的复杂结构，它都能很好地胜任，避免了手动解析逗号、引号等繁琐细节。
解决方案
使用Python的csv模块处理CSV文件，核心在于理解其reader和writer对象，以及更便捷的DictReader和DictWriter。
1. 读取CSV文件
立即学习“Python免费学习笔记（深入）”；
最基础的读取方式是使用csv.reader。它会把CSV文件的每一行解析成一个列表（list），列表中的每个元素对应一个字段。
import csv
# 假设有一个名为 'data.csv' 的文件
# content of data.csv:
# name,age,city
# Alice,30,New York
# Bob,24,London
# Charlie,35,Paris
try:
with open('data.csv', 'r', newline='', encoding='utf-8') as csvfile:
csv_reader = csv.reader(csvfile)
header = next(csv_reader) # 通常第一行是表头，可以单独读取
print(f"表头: {header}")
for row in csv_reader:
print(f"数据行: {row}")
except FileNotFoundError:
print("文件 'data.csv' 未找到。")
except Exception as e:
print(f"读取文件时发生错误: {e}")
# 我个人更偏爱使用 DictReader，因为它能把每一行数据变成一个字典，
# 用列名（即表头）作为键访问数据，比通过索引数字要直观和健壮得多。
print("\n--- 使用 DictReader 读取 ---")
try:
with open('data.csv', 'r', newline='', encoding='utf-8') as csvfile:
csv_dict_reader = csv.DictReader(csvfile)
# DictReader 会自动将第一行识别为字段名
print(f"字段名: {csv_dict_reader.fieldnames}")
for row_dict in csv_dict_reader:
print(f"姓名: {row_dict['name']}, 年龄: {row_dict['age']}, 城市: {row_dict['city']}")
except FileNotFoundError:
print("文件 'data.csv' 未找到。")
except Exception as e:
print(f"使用 DictReader 读取文件时发生错误: {e}")2. 写入CSV文件
写入操作与读取类似，使用csv.writer或csv.DictWriter。
import csv
# 写入操作时，通常需要指定 'w' 模式，并且 newline='' 是非常重要的，
# 它能防止在Windows系统上写入空行。
data_to_write = [
['Product', 'Price', 'Quantity'],
['Laptop', 1200, 50],
['Mouse', 25, 200],
['Keyboard', 75, 150]
]
try:
with open('products.csv', 'w', newline='', encoding='utf-8') as csvfile:
csv_writer = csv.writer(csvfile)
csv_writer.writerows(data_to_write) # writerows 可以一次写入多行
print("\n'products.csv' 文件写入成功。")
except Exception as e:
print(f"写入文件时发生错误: {e}")
# 使用 DictWriter 写入，需要先定义好字段名（fieldnames），它会作为CSV的表头。
dict_data_to_write = [
{'name': 'David', 'age': 28, 'city': 'Berlin'},
{'name': 'Eve', 'age': 32, 'city': 'Rome'}
]
fieldnames = ['name', 'age', 'city'] # 字段顺序也很重要
try:
with open('new_users.csv', 'w', newline='', encoding='utf-8') as csvfile:
csv_dict_writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
csv_dict_writer.writeheader() # 写入表头
csv_dict_writer.writerows(dict_data_to_write) # 写入多行字典数据
print("'new_users.csv' 文件写入成功。")
except Exception as e:
print(f"使用 DictWriter 写入文件时发生错误: {e}")
在实际项目中，我发现DictReader和DictWriter用起来更顺手，因为它们直接映射了Python字典的数据结构，与我们处理数据时的思维模式更贴合。当然，如果数据量非常大，或者对内存占用有极致要求，csv.reader逐行迭代的特性可能会更受欢迎。
如何高效读取大型CSV文件，避免内存溢出？
当你面对一个动辄几百兆甚至上G的CSV文件时，直接一股脑儿地把它全读进内存，那基本上就是自寻烦恼，程序多半会直接崩溃或者卡死。Python的csv模块在设计上就考虑到了这一点，它的reader和DictReader对象都是迭代器。这意味着它们并不会一次性把所有数据都加载到内存里，而是当你需要一行数据时，它就读取一行，处理完再读取下一行。
所以，高效读取大型CSV文件的关键就在于利用这种迭代特性，逐行处理数据。你看到的for row in csv_reader:或者for row_dict in csv_dict_reader:这种循环模式，就是最典型的内存友好型处理方式。我们不应该尝试将整个CSV文件转换成一个列表的列表（list(csv_reader)），除非你确定文件很小，或者你的机器内存足够充裕。
例如，如果你只想统计某个字段的总和，完全没必要把所有数据都存起来：
import csv
# 假设 'sales_data.csv' 有大量销售数据，其中包含 'amount' 字段
# product,amount,date
# A,100.5,2023-01-01
# B,200.0,2023-01-02
# ... (millions of rows)
total_sales = 0.0
try:
with open('sales_data.csv', 'r', newline='', encoding='utf-8') as csvfile:
reader = csv.DictReader(csvfile)
# 确保 'amount' 字段存在
if 'amount' not in reader.fieldnames:
print("错误: CSV文件中缺少 'amount' 字段。")
else:
for row in reader:
try:
total_sales += float(row['amount'])
except ValueError:
# 处理非数字的 'amount' 值，比如跳过或者记录日志
print(f"警告: 无法将 '{row['amount']}' 转换为数字，跳过此行。")
print(f"\n总销售额: {total_sales:.2f}")
except FileNotFoundError:
print("文件 'sales_data.csv' 未找到。")
except Exception as e:
print(f"处理销售数据时发生错误: {e}")这种逐行处理的模式，无论是对内存还是CPU，压力都小得多，是处理大数据文件的不二法门。
处理CSV时常见的编码问题与解决方案是什么？
遇到乱码，十有八九是编码没对上。CSV文件本质上是纯文本，它的内容是用某种字符编码（比如UTF-8、GBK、Latin-1等）保存的。如果你用错误的编码去读取它，就会出现UnicodeDecodeError，或者更隐蔽的——读出来的是一堆“问号”或“方框”。同样，写入时如果编码不当，别人打开你的CSV文件也可能看到乱码。
常见问题及解决方案：
-
UnicodeDecodeError： 这是最直接的错误提示，意味着你尝试用一种编码去解码不属于它的字节序列。原因： 最常见的是CSV文件是GBK编码（尤其是国内很多老旧系统导出的），但你用默认的UTF-8去读。
-
解决方案： 在
open()函数中明确指定encoding参数。# 尝试用GBK编码读取 try: with open('some_gbk_encoded.csv', 'r', newline='', encoding='gbk') as f: reader = csv.reader(f) for row in reader: print(row) except UnicodeDecodeError: print("尝试GBK编码失败，可能是其他编码。") except FileNotFoundError: print("文件未找到。") -
如何确定编码？ 有时你需要一些工具来帮助判断，比如Notepad++打开文件后看右下角的编码显示，或者使用Python的
chardet库来猜测文件的编码。# pip install chardet import chardet def detect_encoding(file_path): with open(file_path, 'rb') as f: # 以二进制模式读取，因为要检测原始字节 raw_data = f.read(100000) # 读取文件前100KB来猜测 result = chardet.detect(raw_data) return result['encoding'], result['confidence'] # encoding, confidence = detect_encoding('unknown_encoding.csv') # print(f"检测到编码: {encoding}, 置信度: {confidence}") # 然后再用检测到的编码去打开文件
-
写入时乱码： 你写入的CSV文件，别人打开是乱码。
- 原因： 你可能使用了UTF-8编码写入，但对方的软件（比如Excel）默认以GBK或ANSI（Windows-1252）编码打开。
-
解决方案：
- 最稳妥的是始终使用
encoding='utf-8-sig'。utf-8-sig会在文件开头添加一个BOM（Byte Order Mark），很多软件（包括Excel）会识别这个BOM，从而正确地以UTF-8编码打开文件。with open('output_for_excel.csv', 'w', newline='', encoding='utf-8-sig') as f: writer = csv.writer(f) writer.writerow(['姓名', '城市']) writer.writerow(['张三', '北京']) - 如果明确知道对方只支持GBK，那就直接用
encoding='gbk'写入。
- 最稳妥的是始终使用
总而言之，处理CSV编码问题，核心就是明确地、正确地指定open()函数中的encoding参数。
除了基本的读写，csv模块还能实现哪些高级操作？
csv模块虽然看起来简单，但它提供了一些参数，可以帮助我们处理那些不那么“规矩”的CSV文件，或者在特定场景下提供更细粒度的控制。
-
自定义分隔符（
delimiter）： 有时CSV文件并不那么“规矩”，比如它可能用分号（;）而不是逗号（,）做分隔符，或者用制表符（\t）分隔（这种文件通常被称为TSV，Tab-Separated Values）。delimiter参数就是用来指定这个分隔符的。# 假设 'semicolon_data.csv' 是用分号分隔的 # name;age;city # Alice;30;New York import csv with open('semicolon_data.csv', 'r', newline='', encoding='utf-8') as f: reader = csv.reader(f, delimiter=';') # 指定分号为分隔符 for row in reader: print(f"分号分隔数据: {row}") # 写入时也可以指定 data = [['A', 'B'], ['C', 'D']] with open('tab_separated.tsv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f, delimiter='\t') # 指定制表符 writer.writerows(data) print("\n'tab_separated.tsv' 已写入，使用制表符分隔。") -
自定义引用字符与引用方式（
quotechar,quoting）： 当字段内容本身包含分隔符（比如一个描述文本里有逗号），或者包含换行符时，CSV标准会用一个引用字符（通常是双引号"）把整个字段括起来。csv模块可以自动处理这些情况，但你也可以自定义。-
quotechar：指定用于引用字段的字符，默认为"。 -
quoting：指定何时进行引用。这是个枚举类型，常用的有：-
csv.QUOTE_MINIMAL(默认)：只引用那些包含特殊字符（分隔符、引用字符、换行符）的字段。 -
csv.QUOTE_ALL：引用所有字段。 -
csv.QUOTE_NONNUMERIC：引用所有非数字字段。 -
csv.QUOTE_NONE：不引用任何字段（如果字段包含特殊字符，可能会导致解析错误）。
-
# 示例：写入包含逗号的字段 data_with_comma = [['Item', 'Description'], ['Book', 'A great read, highly recommended']] with open('quoted_data.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f, quoting=csv.QUOTE_MINIMAL) # 默认行为，但明确写出 writer.writerows(data_with_comma) print("\n'quoted_data.csv' 已写入，包含引用字段。") # 打开 'quoted_data.csv' 会看到 "A great read, highly recommended" 被双引号括起来 # 如果想所有字段都加引号 data_all_quoted = [['Value1', 'Value2'], ['Hello', 'World']] with open('all_quoted.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f, quoting=csv.QUOTE_ALL) writer.writerows(data_all_quoted) print("'all_quoted.csv' 已写入，所有字段都被引用。") -
-
处理双引号转义（
doublequote）： 在被引用的字段中，如果引用字符本身出现，它通常会被重复两次进行转义（例如"He said ""Hello""."）。doublequote参数控制是否启用这种转义，默认为True。# 假设 CSV 包含 "He said ""Hello""." # 通过 reader 读取时，它会自动处理双引号的转义 # 写入时，如果字段内容是 'He said "Hello".'，writer 会自动将其转义为 '"He said ""Hello""."''
-
跳过空行（
skipinitialspace）： 如果CSV文件在分隔符后面有额外的空格，skipinitialspace=True可以告诉reader自动跳过这些空格。# 假设 'spaced_data.csv' 内容是: # name, age # Alice, 30 import csv with open('spaced_data.csv', 'r', newline='', encoding='utf-8') as f: reader = csv.reader(f, skipinitialspace=True) for row in reader: print(f"跳过空格后的数据: {row}") # 30前面没有空格了
这些高级选项让csv模块在处理各种“奇形怪状”的CSV文件时，依然保持了强大的适应性和灵活性。在面对非标准格式的CSV时，我通常会先用文本编辑器打开文件，观察其分隔符和引用规则，然后相应地调整csv.reader或csv.writer的参数。
